Retrieval-Augmented Generation (RAG) und Verarbeitung natürlicher Sprache

Die Verarbeitung natürlicher Sprache (NLP) revolutioniert die Art und Weise, wie Unternehmen mit Informationen interagieren . Große Sprachmodelle (LLMs, auch generative Modelle oder GenAI genannt) haben jedoch manchmal Probleme mit der sachlichen Genauigkeit und können mit Echtzeitinformationen nicht Schritt halten.

Wenn ChatGPT mit Daten bis zu einem bestimmten Jahr trainiert wurde, wie kann es dann Fragen zu Ereignissen beantworten, die nach dem Stichtag stattgefunden haben?

Mithilfe der Retrieval-Augmented Generation (RAG) können LLMs wie ChatGPT in ihren Antworten auf dem neuesten Stand bleiben.

Was ist Retrieval-Augmented Generation (RAG)?

Erinnern Sie sich an die alten Mobiltelefone, die einen Satz unter Berücksichtigung der vorhergehenden Wörter vervollständigten? Das ist alles, was LLMs tun.

Ein LLM ist eine Autovervollständigung mit Superkräften. Er ist hervorragend darin, Sprachmuster zu verstehen, kann aber an fachspezifischem Wissen mangeln. LLMs sind dafür berüchtigt, zu halluzinieren, wenn sie die Antwort nicht wissen.

Wir können das Problem von Trugbildern und Ungenauigkeiten abmildern, indem wir die Benutzereingabeaufforderung nehmen, eine externe Wissensdatenbank nutzen und einige nützliche Informationen voranstellen oder anhängen, von denen wir meinen, dass der LLM sie kennen sollte, bevor wir die Eingabeaufforderung an den LLM weitergeben. Wenn der Benutzer beispielsweise eine Frage zum englischen Insolvenzrecht hat, können wir ihm die ursprüngliche Frage zusammen mit einigen relevanten Informationen aus einer Datenbank senden.

Das Ändern der an ein LLM gesendeten Eingabeaufforderung wird auch als Prompt-Engineering bezeichnet.

Mit RAG erweitern wir die Anfrage, indem wir relevante Dokumente aus der Wissensdatenbank abrufen und sie zusammen mit der ursprünglichen Eingabeaufforderung an das LLM übermitteln. Dadurch kann das LLM genauere und aktuellere Antworten generieren.

Eine Demonstration des Insolvency Bot , einem Anwendungsfall von RAG (Retrieval Augmented Generation) im Rechtsbereich.

Wie Retrieval Augmented Generation Geld und Zeit sparen kann

So können Unternehmen von RAG und prompt engineering profitieren:

• Reduzierte Kosten: Die Schulung und Wartung von LLMs kann teuer sein. RAG ermöglicht es Unternehmen, vorhandene LLM-Modelle zu nutzen und ihre Fähigkeiten mit gezielten Wissensdatenbanken zu erweitern. Dadurch entfällt die Notwendigkeit einer kostspieligen Neuschulung anhand ständig wachsender Datensätze.
• Verbesserte Genauigkeit: Obwohl RAG Halluzinationen und Ungenauigkeiten bei LLMs nicht eliminiert, kann gezeigt werden, dass es die Leistung verbessert, indem es Antworten auf zuverlässigen Quellen gründet. Ein LLM kann dazu aufgefordert werden, relevante Zitate anzugeben. Dies schafft Vertrauen bei den Kunden und verringert das Risiko der Verbreitung von Fehlinformationen. Wir haben festgestellt, dass RAG die Genauigkeit von GPT-3.5 und GPT-4 im Rechtsbereich erheblich verbessert hat (Ribary, M., Krause, P., Orban, M., Vaccari, E., Wood, TA, Prompt Engineering and Provision of Context in Domain Specific Use of GPT , Frontiers in Artificial Intelligence and Applications 379: Legal Knowledge and Information Systems, 2023. https://doi.org/10.3233/FAIA230979 , siehe unseren Bericht hier ).
• Schnellere Informationsbeschaffung: RAG ermöglicht es Unternehmen, die Leistungsfähigkeit externer Wissensdatenbanken zu nutzen, wodurch die Informationsbeschaffung schneller und effizienter wird. Dadurch bleibt den Mitarbeitern mehr Zeit für strategische Aufgaben.

Reale Anwendungen der Retrieval Augmented Generation

• Domänenspezifische Fragenbeantwortung Probieren Sie unseren Insolvency Bot aus , der RAG verwendet, um Präzedenzfälle und englisches Gesetzesrecht abzurufen und Fragen zu englischen Insolvenzverfahren zu beantworten. Es handelt sich nicht um Rechtsberatung, sondern um eine Demo, die wir gemeinsam mit einem Team von Royal Holloway entwickelt und auf der JURIX Legal Tech-Konferenz 2023 vorgestellt haben.
• Kundenservice: Chatbots mit RAG-Technologie können Kundenanfragen präziser beantworten, wodurch menschliches Eingreifen weniger erforderlich ist und Supportkosten gespart werden. Fast Data Science verwendet beispielsweise RAG für unseren Chatbot auf fastdatascience.com . Probieren Sie es aus!
• Marktforschung: Analysieren Sie mit RAG riesige Mengen an Kundenbewertungen und Social-Media-Daten, um tiefere Einblicke in die Kundenpräferenzen zu gewinnen.
• Internes Wissensmanagement: RAG kann den Zugriff auf interne Dokumente und Ressourcen optimieren und so die Produktivität der Mitarbeiter verbessern.

Die Zukunft von NLP

RAG stellt einen bedeutenden Fortschritt im Bereich NLP dar. Durch die Kombination der Leistungsfähigkeit von LLMs mit externem Wissen können Unternehmen neue Ebenen der Effizienz, Genauigkeit und Kosteneffizienz bei der Informationsbeschaffung erreichen. Mit der Weiterentwicklung der Technologie wird RAG in der Zukunft der Mensch-Computer-Interaktion eine zentrale Rolle spielen.