Insolvenzbot unter Berücksichtigung einiger Gesetze und einiger Formulare sowie einiger Rechtsprechung

Wir haben einen Bot entwickelt, der natürliche Sprachverarbeitung nutzt, um die Leistungsfähigkeit von juristischer KI und juristischer NLP zu demonstrieren.

Fast Data Science hat mit einem Team aus KI- und Rechtsexperten der Fakultät für Recht und Kriminologie der Royal Holloway University und der Fakultät für Informatik der University of Surrey zusammengearbeitet, um einen Chatbot zu entwickeln, der Fragen zu Unternehmensinsolvenzen in England und Wales beantworten kann.

Mithilfe von Prompt Engineering, generativen Modellen und dem Text wichtiger britischer Gesetze, beispielsweise des Insolvency Act 1986 , wichtiger Rechtsprechung aus den National Archives sowie Verfahrensinformationen von der HMRC-Website sortiert das System eingehende Anfragen und sendet eine intelligente und informative Eingabeaufforderung an ein generatives Modell.

Unter diesem Link können Sie den Insolvenz- Chatbot ausprobieren.

Der Bot verwendet Retrieval Augmented Generation (RAG). RAG ist ein Entwurfsmuster, bei dem wir einem großen Sprachmodell (LLM) eine Komponente zum Informationsabruf hinzufügen, wodurch wir den Fähigkeiten des LLM internes Wissen hinzufügen können.

Die auf dieser Website bereitgestellten Informationen stellen keine Rechtsberatung dar und sind auch nicht als solche gedacht.

Validierung des Insolvenz-Bots

Wir haben einen innovativen Ansatz zur Bewertung der Bot-Ausgabe verwendet, da es sich um ein generatives Modell handelt, das normalerweise schwer zu bewerten ist. Wir verwenden ein von Menschen definiertes Bewertungsschema und verwenden das LLM, um die Antworten des Bots auf Prüfungsfragen zu bewerten und ihn zu bewerten, als würde er eine juristische Prüfung ablegen.

Wir nehmen die Antwort des Insolvenz- Bots und geben sie an GPT-4 weiter, mit einer begleitenden „Kriteriums“-Frage, wie etwa „Erwähnt der Anwalt, dass es aufgrund der Verletzung der Treuepflichten des Geschäftsführers gegenüber dem Unternehmen zu einem Durchgriff durch die Unternehmensverschleierung kommen kann?“ . Wenn die Antwort „ja“, „vielleicht“ oder „ja mit Vorbehalt“ lautet, werden entsprechend Punkte vergeben.

Wir haben einige Validierungsskripte in unserem Github-Repo unter: https://github.com/fastdatascience/evaluate_insolvency

Wir haben mehrere Varianten des Bots ausprobiert, darunter eine, die auf GPT-3.5 Turbo und GPT-4 basiert, und sie im direkten Vergleich mit den unveränderten Versionen von GPT getestet.

Wir haben festgestellt, dass GPT-4 viel langsamer reagiert als GPT-3.5 Turbo, seine Antworten jedoch erheblich präziser sind.

Das Team

Unser Team für dieses Projekt war interdisziplinär und bestand aus Mitgliedern unterschiedlicher Universitäten und Branchen . Sie können ihre Profile hier lesen.

Präsentation bei JURIX 2023

Der Insolvency Bot wurde von Marton Ribary auf JURIX 2023 (der 36. Internationalen Konferenz für Rechtswissen und Informationssysteme) vorgestellt, die am 19. Dezember 2023 an der Universität Maastricht in den Niederlanden stattfand. Auf dieser Konferenz konnten wir uns mit einer Reihe faszinierender Projekte vernetzen, bei denen es auch um den Einsatz von KI und LLMs zur Verbesserung des Zugangs zum Recht (A2J) ging, wie etwa der Präsentation von Toivonen et al . „Beyond Debt: The Intersection of Justice, Financial Wellbeing and AI“ und der Präsentation von Margaret Hagan „Good AI Legal Help, Bad AI Legal Help: Establishing quality standards for responses to people’s legal problem stories“ .

Zitieren des Insolvency Bot, DOIs und Ressourcen

Unser Paper wurde im JURIX-Konferenzband veröffentlicht. Sie können das Projekt mit folgender Quellenangabe zitieren:

• Ribary, M., Krause, P., Orban, M., Vaccari, E., Wood, TA, Prompt Engineering und Bereitstellung von Kontext bei der domänenspezifischen Verwendung von GPT , Frontiers in Artificial Intelligence and Applications 379: Rechtliches Wissen und Informationssysteme, 2023. https://doi.org/10.3233/FAIA230979

Paper: Evaluation scripts: PDF of presentation from JURIX 2023: [Click here to download the slideshow presented at the JURIX 2023 conference](/downloads/insolvency-llm-jurix-2023.pdf).

@software{Ribary_Prompt_Engineering_and_2023,
author = {Ribary, Marton and Krause, Paul and Orban, Miklos and Vaccari, Eugenio and Wood, Thomas Andrew},
doi = {10.3233/FAIA230979},
month = dec,
title = {{Prompt Engineering and Provision of Context in Domain Specific Use of GPT}},
url = {https://fastdatascience.com/insolvency/},
year = {2023}
}

Verweise

Ribary, M., et al. Insolvency Bot: Ein GPT-basiertes Rechtsberatungstool für kleine Unternehmen in Not [Langfassung] . Zenodo, 12. September 2023, doi:10.5281/zenodo.10029735.

Bilgin, O., Fields, L., Laverghetta, A. Jr., Marji, Z., Nighojkar, A., Steinle, S., & Licato, J. (2023). AMHR Lab 2023 COLIEE-Wettbewerbsansatz. In J. Rabelo, R. Goebel, Y. Kano, M.-Y. Kim, K. Satoh, & M. Yoshioka (Hrsg.), Proceedings des zehnten internationalen Wettbewerbs zur Extraktion/Entailment rechtlicher Informationen (COLIEE 2023) in Verbindung mit der 19. Internationalen Konferenz zu Künstlicher Intelligenz und Recht (S. 77–86).

Bittner, M. (1990). Die IRAC-Methode der Fallstudienanalyse: Ein juristisches Modell für die Sozialwissenschaften. Social Studies , 81 (5), 227–230.

Brown, TB, Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Child, R., Ramesh, A., Ziegler, DM, Wu, J., Winter, C., … Amodei, D. (2020). Sprachmodelle sind Lerner mit wenigen Versuchen. ArXiv . https://doi.org/10.48550/arXiv.2209.14500

Celikyilmaz, A., Clark, E., & Gao, J. (2020). Evaluation der Textgenerierung: Eine Umfrage. ArXiv . https://doi.org/10.48550/arXiv.2006.14799

Chalkidis, I., Fergadiotis, M., Malakasiotis, P., Aletras, N., & Androutsopoulos, I. (2020). LEGAL-BERT: Die Muppets direkt aus der juristischen Fakultät. Ergebnisse der Association for Computational Linguistics: EMNLP 2020 , 2898–2904. https://doi.org/10.18653/v1/2020.findings-emnlp.261

Chung, HW, Hou, L., Longpre, S., Zoph, B., Tay, Y., Fedus, W., Li, Y., Wang, X., Dehghani, M., Brahma, S., Webson, A., Gu, SS, Dai, Z., Suzgun, M., Chen, X., Chowdhery, A., Castro-Ros, A., Pellat, M., Robinson, K., … Wei, J. (2022). Skalierung von Anweisungs-Feinabstimmungs-Sprachmodellen. In arXiv . https://doi.org/10.48550/arXiv.2210.11416

Gesetz über Unternehmenskrisen und Insolvenzen 2022 (Italien) . (2022). https://www.normattiva.it/uri-res/N2Ls?urn:nir:stato:decreto.legislativo:2019-01-12;14

Gesetz über das Unternehmen (Rettungsverfahren für kleine und Kleinstunternehmen) 2021 (2020) . (2021). https://www.irishstatutebook.ie/eli/2021/act/30/section/3/enacted/en/html

Gesetz zur Unternehmensinsolvenz und -führung 2020 (Vereinigtes Königreich) . (2015). https://www.legislation.gov.uk/ukpga/2020/12/contents/enacted

Corporations Amendment (Corporate Insolvency Reforms) Act 2020 (Cth) (Gesetz) (Australien) . (2020). http://classic.austlii.edu.au/au/legis/cth/num_reg/cairr2020202001654694/

Debbarma, R., Prawar, P., Chakraborty, A., & Bedathur, S. (2023). IITDLI: Rechtsfallabruf basierend auf lexikalischen Modellen. In J. Rabelo, R. Goebel, Y. Kano, M.-Y. Kim, K. Satoh, & M. Yoshioka (Hrsg.), Proceedings des zehnten internationalen Wettbewerbs zur Extraktion/Entailment von Rechtsinformationen (COLIEE 2023) in Verbindung mit der 19. Internationalen Konferenz zu Künstlicher Intelligenz und Recht (S. 40–47).

Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Vortraining von tiefen bidirektionalen Transformatoren für das Sprachverständnis. Proceedings der Konferenz 2019 des nordamerikanischen Kapitels der Association for Computational Linguistics: Human Language Technologies, Band 1 (Lang- und Kurzbeiträge) , 4171–4186. https://doi.org/10.18653/v1/N19-1423

Europäische Kommission. (2003). Empfehlung der Kommission vom 6. Mai 2003 betreffend die Definition der Kleinstunternehmen sowie der kleinen und mittleren Unternehmen (Text von Bedeutung für den EWR) (Bekannt gegeben unter Aktenzeichen K(2003) 1422 (Techreport 2003/361/EG). http://data.europa.eu/eli/reco/2003/361/oj

Europäische Kommission. (2022). Vorschlag für eine Richtlinie des Europäischen Parlaments und des Rates zur Harmonisierung bestimmter Aspekte des Insolvenzrechts (Techreport COM/2022/702). https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=CELEX:52022PC0702

Fujita, M., Kiyota, N., & Kano, Y. (2021). Prädikatsargument-Resolver und Entitätsabstraktion zur Beantwortung juristischer Fragen: KIS-Teams bei COLIEE 2021 haben eine gemeinsame Aufgabe. In J. Rabelo, R. Goebel, Y. Kano, M.-Y. Kim, K. Satoh, & M. Yoshioka (Hrsg.), Proceedings des 8. internationalen Wettbewerbs zur Extraktion/Entailment juristischer Informationen (COLIEE 2021) (S. 15–24).

Glaese, A., McAleese, N., Trębacz, M., Aslanides, J., Firoiu, V., Ewalds, T., Rauh, M., Weidinger, L., Chadwick, M., Thacker, P., Campbell-Gillingham, L., Uesato, J., Huang, P.-S., Comanescu, R., Yang, F., See, A., Dathathri, S., Greig, R., Chen, C., … Irving, G. (2022). Verbesserung der Ausrichtung von Dialogagenten durch gezielte menschliche Urteile. ArXiv . https://doi.org/10.48550/arXiv.2209.14375

Hardcastle, D., & Scott, D. (2008). Können wir die Qualität von generiertem Text bewerten? In N. Calzolari, K. Choukri, B. Maegaard, J. Mariani, J. Odijk, S. Piperidis, & D. Tapias (Hrsg.), Proceedings der 6. Language Resources and Evaluation Conference (S. 3151–3158).

Hart, HLA ([1961] 2012). Der Begriff des Rechts (Dritte Ausgabe). Oxford University Press.

Hutchinson, GB (2021). Der Small Companies Rescue Act – falsche Hoffnung für scheiternde Unternehmen? Gesellschaftsrechtspraxis? , 7 .

Katz, DM, Bommarito, MJ, Gao, S., & Arredondo, P. (2023). GPT-4 besteht die Anwaltsprüfung. SSRN . https://doi.org/10.2139/ssrn.4389233

Kim, M.-Y., Rabelo, J., Goebel, R., Kano, Y., Satoh, K., & Yoshioka, M. (2023). COLIEE 2022 Zusammenfassung: Methoden für die Suche und Verknüpfung juristischer Dokumente. In Y. Takama, K. Yada, K. Satoh, & S. Arai (Hrsg.), Neue Grenzen der künstlichen Intelligenz. JSAI-isAI 2022 (Ausgabe 13859, S. 51–67). Springer. https://doi.org/10.1007/978-3-031-29168-5_4

Kojima, T., Shane Gu, S., Reid, M., Matsuo, Y., & Iwasawa, Y. (2023). Große Sprachmodelle sind Zero-Shot-Reasoner. ArXiv . https://doi.org/10.48550/arXiv.2205.11916

Lin, S., Hilton, J., & Evans, O. (2021). TruthfulQA: Messen, wie Modelle menschliche Unwahrheiten nachahmen. ArXiv . https://doi.org/10.48550/arXiv.2109.07958

Liu, Yiheng, Han, T., Ma, S., Zhang, J., Yang, Y., Tian, J., He, H., Li, A., He, M., Liu, Z., Wu, Z., Zhu, D., Li, X., Qiang, N., Shen, D., Liu, T., & Ge, B. (2023). Zusammenfassung der ChatGPT/GPT-4-Forschung und Perspektive für die Zukunft großer Sprachmodelle. ArXiv . https://doi.org/10.48550/arXiv.2304.01852

Liu, Yiqun, Li, H., Su, W., Wang, C., Wu, Y., & Ai, Q. (2023). THUIR@COLIEE 2023: Einbeziehung strukturellen Wissens in vorab trainierte Sprachmodelle für die Rechtsfallsuche. In J. Rabelo, R. Goebel, Y. Kano, M.-Y. Kim, K. Satoh, & M. Yoshioka (Hrsg.), Proceedings des zehnten internationalen Wettbewerbs zur Extraktion/Entailment von Rechtsinformationen (COLIEE 2023) in Verbindung mit der 19. Internationalen Konferenz zu Künstlicher Intelligenz und Recht (S. 1–6).

Lynch, K. (2023). Ist ChatGPT eine Bedrohung für die Kreativbranche? University of Derby Magazine , 17 . https://www.derby.ac.uk/magazine/issue-17/chat-gpt-threat-creative-industries/

Microsoft. (2023). Azure-Funktionen . Computersoftware. https://azure.microsoft.com/en-gb/products/functions

Miklos, O. (2023). Mickey-Bot . Computersoftware.

Mischcon de Reya. (2023). Mishcon de Reyas Erforschung von KI-Technologien, die in den Medien vorgestellt wurden . Mischcon de Reya. https://www.mishcon.com/news/mishcon-de-reyas-exploration-of-ai-technologies-featured-in-the-media

Mokal, RJ, Davis, R., Madaus, S., Mazzoni, A., Mevorach, I., Romaine, B., Sarra, JP, & Tirado, I. (2018). Insolvenz von Mikro-, Klein- und Mittelunternehmen: Ein modularer Ansatz . Oxford University Press.

Nationale Statistiken. (2023). Unternehmensinsolvenzstatistik: April bis Juni 2023 [Techreport]. https://www.gov.uk/government/statistics/company-insolvency-statistics-april-to-june-2023

Nguyen, ML, Bui, QM, Do, D.-T., Le, N.-K., Nguyen, D.-H., Nguyen, K.-H., & Anh, TPN (2023). JNLP@COLIEE 2023: Datenerweiterung und großes Sprachmodell für die Rechtsfallabfrage und Entailment. In J. Rabelo, R. Goebel, Y. Kano, M.-Y. Kim, K. Satoh, & M. Yoshioka (Hrsg.), Proceedings des zehnten internationalen Wettbewerbs zur Extraktion/Entailment von Rechtsinformationen (COLIEE 2023) in Verbindung mit der 19. Internationalen Konferenz zu Künstlicher Intelligenz und Recht (S. 17–26).

Norton III, WL, & Bailey, JB (2020). Die Vor- und Nachteile des Small Business Reorganization Act von 2019. Emory Bankruptcy Developments Journal , 36 (2), 383–393. https://scholarlycommons.law.emory.edu/ebdj/vol36/iss2/2

Novaes, LP, Vianna, D., & da Silva, A. (2023). Ein themenbasierter Ansatz für die Aufgabe der Rechtsfallabfrage. In J. Rabelo, R. Goebel, Y. Kano, M.-Y. Kim, K. Satoh, & M. Yoshioka (Hrsg.), Proceedings des zehnten internationalen Wettbewerbs zur Extraktion/Entailment von Rechtsinformationen (COLIEE 2023) in Verbindung mit der 19. Internationalen Konferenz zu Künstlicher Intelligenz und Recht (S. 27–31).

OpenAI. (2022a). Einführung von ChatGPT . Blogbeitrag. https://openai.com/blog/chatgpt

OpenAI. (2022b). Neues und verbessertes Einbettungsmodell . Blogbeitrag. https://openai.com/blog/new-and-improved-embedding-model

OpenAI. (2023). Technischer Bericht zu GPT-4. In arXiv [Techreport].

Oppenheimer, D. (2023). ChatGPT ist da – und nichts hat sich geändert. Times Higher Education . https://www.timeshighereducation.com/campus/chatgpt-has-arrived-and-nothing-has-changed

Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, CL, Mishkin, P., Zhang, C., Agarwal, S., Slama, K., Ray, A., Schulman, J., Hilton, J., Kelton, F., Miller, L., Simens, M., Askell, A., Welinder, P., Christiano, P., Leike, J., & Lowe, R. (2022). Sprachmodelle trainieren, um Anweisungen mit menschlichem Feedback zu befolgen. ArXiv . https://doi.org/10.48550/arXiv.2203.02155

Rabelo, J., Goebel, R., Kano, Y., Kim, M.-Y., Satoh, K., & Yoshioka, M. (2022). Überblick und Diskussion des Wettbewerbs zur Extraktion/Entailment rechtlicher Informationen (COLIEE) 2021. The Review of Socionetwork Strategies , 16 , 111–133. https://doi.org/10.1007/s12626-022-00105-z

Rattray, K. (2022). Wird ChatGPT Anwälte ersetzen? Clio. https://www.clio.com/blog/chat-gpt-lawyers/

Reimers, N., & Gurevych, I. (2019). Sentence-BERT: Satzeinbettungen mit siamesischen BERT-Netzwerken. In K. Inui, J. Jiang, V. Ng, & X. Wan (Hrsg.), Proceedings der Konferenz 2019 über empirische Methoden in der Verarbeitung natürlicher Sprache und der 9. Internationalen gemeinsamen Konferenz über die Verarbeitung natürlicher Sprache (EMNLP-IJCNLP) (S. 3982–3992). Association for Computational Linguistics. https://doi.org/10.18653/v1/D19-1410

Schilder, F., Chinnappa, D., Madan, K., Harmouche, J., Vold, A., Bretz, H., & Hudzina, J. (2021). Ein Pentapus setzt sich mit juristischem Denken auseinander. In J. Rabelo, R. Goebel, Y. Kano, M.-Y. Kim, K. Satoh, & M. Yoshioka (Hrsg.), Proceedings des 8. internationalen Wettbewerbs zur Extraktion/Entailment von Rechtsinformationen (COLIEE 2021) (S. 60–68).

Shidiq, M. (2023). Der Einsatz von ChatGPT auf Basis künstlicher Intelligenz und seine Herausforderungen für die Welt der Bildung: aus der Sicht der Entwicklung kreativer Schreibfähigkeiten. Proceedings of the International Conference on Education, Society and Humanity , 1 (1), 353–357.

Gesetz über Kleinunternehmen, Unternehmen und Beschäftigung 2015 (Vereinigtes Königreich) . (2015). https://www.legislation.gov.uk/ukpga/2015/26/contents/enacted

Small Business Reorganization Act von 2019 (USA) . (2019). https://www.congress.gov/bill/116th-congress/house-bill/3311

Die Weltbank. (2017). Bericht über die Behandlung von Insolvenzen kleiner und mittlerer Unternehmen [Techreport]. https://documents1.worldbank.org/curated/en/973331494264489956/pdf/114823-REVISED-PUBLIC-MSME-Insolvency-report-low-res-final.pdf

Thomson Reuters Institute. (2023). ChatGPT und Generative AI in Anwaltskanzleien Anwaltskanzleien sehen Potenzial, haben praktische Anwendungsfälle im Auge und mehr Wissen über Risiken [Techreport]. https://www.thomsonreuters.com/en-us/posts/wp-content/uploads/sites/20/2023/04/2023-Chat-GPT-Generative-AI-in-Law-Firms.pdf

UNCITRAL. (2021). Legislative Empfehlungen zur Insolvenz von Kleinst- und Kleinunternehmen [Techreport]. https://uncitral.un.org/en/ilmse

Vaccari, E. (2022). Ein modularer Ansatz für Restrukturierungs- und Insolvenzrecht: Vollstreckbare Verträge und belastendes Eigentum in England und Italien. Norton Journal of Bankruptcy Law and Practice , 5 .

Vaccari, E., Ehmke, D., & Burigo, F. (2023). KMU in Not: Regulierungskosten und Effizienzüberlegungen bei der Umsetzung präventiver Restrukturierungsmechanismen: Eine anglo-deutsch-italienische Perspektive. Zeitschrift für internationales und vergleichendes Recht .

Vaccari, E., & Ghio, E. (2022). Englisches Unternehmensinsolvenzrecht: Eine Einführung. Edward Elgar.

Van Rossum, G., & Drake, FL (2009). Python 3-Referenzhandbuch: (Python-Dokumentationshandbuch Teil 2) . CreateSpace.

Wakeling, D. (2023). A&O gibt exklusive Startpartnerschaft mit Harvey bekannt . Allen & Overy. https://www.allenovery.com/en-gb/global/news-and-insights/news/ao-announces-exclusive-launch-partnership-with-harvey

Walters, A. (2020). Der Small Business Reorganization Act: Amerikas neues Instrument zur Umstrukturierung kleiner und mittelständischer Unternehmen in der COVID- und Post-COVID-Ära. The Company Lawyer , 10 , 324–325.

Wang, X., Wei, J., Schuurmans, D., Le, Q., Chi, E., Narang, S., Chowdhery, A., & Zhou, D. (2022). Selbstkonsistenz verbessert das Denken in Gedankenketten in Sprachmodellen. ArXiv . https://doi.org/10.48550/arXiv.2203.11171

Warzel, C. (20230208). Mit KI zu sprechen, könnte die wichtigste berufliche Fähigkeit dieses Jahrhunderts sein . https://www.theatlantic.com/technology/archive/2023/02/openai-text-models-google-search-engine-bard-chatbot-chatgpt-prompt-writing/672991/

Wood, T. (2023a). Insolvenz auswerten . GitHub. https://github.com/fastdatascience/evaluate_insolvency

Wood, T. (2023b). Evaluierungsskript für Insolvenz-Bot . Zenodo. https://doi.org/10.5281/zenodo.8292105

Xian, Y., Akata, Z., Sharma, G., Nguyen, Q., Hein, M., & Schiele, B. (2016). Latente Einbettungen für die Zero-Shot-Klassifizierung . https://doi.org/10.48550/arXiv.1603.08895

Ye, X., & Durrett, G. (2022). Die Unzuverlässigkeit von Erklärungen beim Few-shot Prompting für textuelles Denken. ArXiv . https://doi.org/10.48550/arXiv.2205.03401

Yu, F., Quartey, L., & Schilder, F. (2022). Rechtliche Anregungen: Einem Sprachmodell beibringen, wie ein Anwalt zu denken. ArXiv . https://doi.org/10.48550/arXiv.2212.01326

Zelikman, E., Wu, Y., Mu, J., & Goodman, ND (2022). STaR: Bootstrapping Reasoning mit Reasoning. ArXiv . https://doi.org/10.48550/arXiv.2203.14465

Zhang, T., Kishore, V., Wu, F., Weinberger, KQ, & Artzi, Y. (2019). BERTScore: Auswertung der Textgenerierung mit BERT. ArXiv . https://doi.org/10.48550/arXiv.1904.09675