Die Zukunft von Chatbots?

Vielleicht haben Sie die Neuigkeiten über Facebooks neuen futuristischen Chatbot gesehen, der anhand von 1,5 Milliarden Reddit-Posts auf Empathie trainiert wurde .

Sie fragen sich vielleicht, wie es möglich ist, ein Computerprogramm auf natürliche Weise mit Menschen kommunizieren zu lassen? Wohin entwickeln sich Chatbots und was hält die Zukunft für sie bereit?

Natürliche Sprachdialogsysteme, auch als virtuelle Assistenten oder Chatbots bekannt, sind ein interessanter Bereich der künstlichen Intelligenz und ein Feld mit einer langen Geschichte.

Bei der Erstellung eines Chatbots stehen wir vor mehreren Herausforderungen. Wir müssen:

• einen Dialogkontext aufrechterhalten
• Erinnern Sie sich über einen längeren Zeitraum an die Anfrage des Kunden
• Merken Sie sich einen Referenten, falls der Benutzer ihn sagt oder er/sie später
• den Ablauf eines Dialogs steuern
• angemessen reagieren, wenn der Benutzer zum falschen Zeitpunkt spricht
• natürlich klingende Sätze bilden
• verstehen und reproduzieren Sie eine menschenähnliche Intonation (denken Sie an ein neutrales „Ja, klar“ im Gegensatz zu einem sarkastischen „Ja, klar !“).

Bereits 1950 schlug Alan Turing vor, dass wir einen Computer als menschlich denkend betrachten können, wenn wir ihn befragen können und seine Antworten nicht von denen eines echten Menschen unterscheiden können. Dieses Gedankenexperiment wird heute Turing-Test genannt. Ob ein Bot den Turing-Test bestehen würde, hängt natürlich stark von der Art der Fragen ab, die wir stellen: Wenn wir uns auf einen kleinen Bereich beschränken, schneiden Bots in der Regel recht gut ab.

In den 1960er Jahren entwickelte Joseph Weizenbaum ein Programm namens ELIZA, einen Psychotherapeuten-Bot, der die Eingaben des Benutzers mittels cleverer Regeln umformulierte:

Benutzer: In mancher Hinsicht sind Sie wie mein Vater.

ELIZA: Welche Ähnlichkeit siehst du?

Benutzer: Sie sind nicht sehr aggressiv, aber ich glaube, Sie möchten nicht, dass ich das bemerke.

ELIZA: Wie kommst du darauf, dass ich nicht aggressiv bin?

Beispielgespräch mit ELIZA

Selbst wenn ELIZA den Turing-Test bestehen würde, ist klar, dass keine menschenähnliche Intelligenz vorhanden ist. ELIZA hat keine Ahnung, was aggressiv bedeutet, und würde nicht verstehen, dass streitlustig ein Synonym ist. Wenn Sie ELIZA sagen würden: „ Du bist eine Kartoffel“, würde sie wahrscheinlich blind antworten: „Warum denkst du, dass ich eine Kartoffel bin ?“

Kosteneinsparungen für Unternehmen

In den 2010er Jahren waren Chatbots bereits eine gängige Lösung für große Unternehmen, um Kosten für Callcenter-Personal einzusparen. Wenn Sie die Website einer großen Fluggesellschaft, eines Einzelhändlers oder einer Bank besuchen, werden Sie häufig von einem kleinen Chatfenster begrüßt, in dem ein Avatar anbietet, Sie durch die Website zu führen.

Diese Bots haben zwei Dinge gemeinsam: Sie arbeiten in einem engen Bereich und sind normalerweise regelbasiert, was bedeutet, dass ein Mensch sorgfältig einen Satz Regeln erstellt hat, um zu bestimmen, welche Antwort der Bot in welchem Kontext geben soll. Kurz gesagt, es handelt sich um denselben Trick wie bei ELIZA, nur mit mehr Blendwerk.

Wenn Sie beispielsweise eingeben , dass Sie ein Konto eröffnen möchten , wird ein Banking-Bot wahrscheinlich auf die Schlüsselwörter „eröffnen + Konto“ achten und die entsprechende vorgefertigte Antwort auslösen. Normalerweise gibt es eine Kaskade von Regeln, die der Bot zu erfüllen versucht, von streng bis weit gefasst. Der Bot sucht also zuerst nach „eröffnen + Konto“ und anderen Auslösern aus zwei Wörtern, dann einfach nach „Konto“ und greift dann auf eine allgemeine Antwort zurück, wie etwa „Es tut mir leid, ich habe nicht ganz verstanden, wonach Sie suchen“ .

Chatbots für Einzelhandelswebsites erfüllen den Zweck, für den sie entwickelt wurden, zufriedenstellend und können sogar Dialogkontexte, Pronomen wie es/er/sie und rudimentären Smalltalk aufrechterhalten. Sie können jedoch leicht durch Ausdrücke oder Situationen aus dem Konzept gebracht werden, für die sie nicht entwickelt wurden, und ihre Entwicklung ist arbeitsintensiv.

Sie sind fast immer mit einer Chat-Übergabe ausgestattet: Wenn der Bot die Eingabe nicht versteht, wird der Benutzer an einen menschlichen Operator übergeben.

Mobile Geräte

Steve Jobs, CEO von Apple, demonstriert ein iPhone. Quelle: Wikipedia

Eine Entwicklung, die Chatbots in den letzten zehn Jahren mehr als jede andere ins öffentliche Bewusstsein gerückt hat, war die Einführung von Siri durch Steve Jobs auf dem iPhone im Jahr 2011. Siri war ein Programm, mit dem man Dinge sagen konnte wie „Stell meinen Wecker auf morgen 5 Uhr“, anstatt dies über den Touchscreen zu tun.

Meines Wissens nach war Siri nicht ausgefeilter als die oben beschriebenen Bots, aber die Idee, einen Bot mit Sprachinteraktion zu kombinieren und auf einem Smartphone zu installieren, war damals völlig neuartig und löste in dem bis dahin ein Nischenfeld der Dialogsysteme darstellenden Bereich einen Sturm der Publizität aus.

Siri löste ein Wettrüsten mit anderen Elektronikunternehmen, Mobiltelefonherstellern und den Giganten des Silicon Valley aus, die sich beeilten, ihren eigenen sprachgesteuerten virtuellen Assistenten zu erwerben oder zu entwickeln. In den nächsten Jahren wurden Cortana von Microsoft, Bixby von Samsung, Alexa von Amazon und Google Now veröffentlicht.

Maschinelles Lernen ist die Zukunft für Chatbots

Mittlerweile ist es ganz einfach, mit der Erstellung eines eigenen Chatbots zu beginnen. Beispielsweise bieten Google, Microsoft und Amazon alle Optionen an, mit denen Sie kostenlos mit der Erstellung eines Bots beginnen können.

Wir beginnen, uns von handgeschriebenen Regeln zu entfernen. Bei modernen Bot-Design-Schnittstellen müssen Sie eine Reihe von Beispielphrasen eingeben, die Sie erkennen möchten. Mithilfe von maschinellem Lernen werden diese zu einem Muster verallgemeinert, sodass eine neue, noch nicht gesehene Äußerung richtig kategorisiert werden kann.

Was ist derzeit der neueste Stand der Verarbeitung natürlicher Sprache?

In den letzten Jahren haben wir einige spannende Fortschritte im Bereich Deep Learning für die Verarbeitung natürlicher Sprache erlebt.

Beispielsweise müssen wir nicht mehr auf Schlüsselwörter in einer Äußerung achten, um die Absicht des Benutzers zu erraten.

Beispiel dafür, wie Wörtern durch eine Wort- Einbettung Vektorpositionen im Raum zugewiesen werden. Hier zeige ich die Wörter im 3D-Raum, damit wir das Bild verstehen können, aber in der Praxis würden wir mehr Dimensionen verwenden. Beachten Sie, dass in diesem Bild die Verben in der Vergangenheitsform zusammen gruppiert sind und die Verben in der Gegenwartsform ebenfalls nahe beieinander liegen und dass eine Beziehung zwischen den beiden Gruppen besteht.

Im Jahr 2003 entwickelte Yoshua Bengio die Idee der Worteinbettung . Jedem Wort der englischen Sprache wird ein Vektor in einem mehrdimensionalen Raum zugewiesen. Beispielsweise bedeuten „want “ und „ desire“ fast dasselbe, sodass ihre Wortvektoren im Raum nahe beieinander liegen würden.

Wenn Sie Wort- Einbettungen verwenden, können Sie mit der Berechnung von Abständen zwischen Wörtern beginnen und so die Wahrscheinlichkeit ermitteln, dass ein Benutzer ein Konto eröffnen oder den Support kontaktieren möchte.

Der nächste Schritt nach den Word Embeddings ist eine Technologie namens BERT , die 2018 entwickelt wurde. BERT ist ein neuronales Netzwerkdesign , das es uns ermöglicht, einen Wortvektor unter Berücksichtigung des gesamten Satzes zu berechnen, sodass „Bank“ im Sinne von „Finanzinstitut“ und „ Flussufer“ unterschiedliche Vektoren hätte. Mit BERT ist es möglich, einen Vektor eines gesamten Satzes zu berechnen.

Wie geht es weiter mit Dialogsystemen?

Derzeit können Sie in allen Dialogsystem-Programmen, die ich ausprobiert habe, eine Liste mit Beispieläußerungen hochladen, um ein Modell zu trainieren , und manuell definieren, auf welche Werte Ihr Bot achten soll (Zielstädte, Kontotypen, Produktnamen usw.). Anschließend definieren Sie manuell das gewünschte Verhalten, wenn der Benutzer die richtigen Wörter ausspricht.

Ich stelle mir vor, dass wir maschinelles Lernen wirklich nutzen, um zukünftige Chatbots aus allen Blickwinkeln zu verbessern. Einige Beispiele für die Ideen, mit denen Forscher derzeit experimentieren, sind:

• Ein Unternehmen mit einer Reihe von Chat-Protokollen menschlicher Mitarbeiter kann die Chat-Protokolle in einen Algorithmus hochladen, der automatisch den Ablauf eines Dialogs lernt, anstatt einmalige Antworten zu geben, z. B. den Kunden authentifizieren, den Kontotyp identifizieren, auf das Konto zugreifen, nach Abflug- und Zielort des Flugs fragen usw.
• Ein Chatbot lernt, sobald er auf der Unternehmenswebsite oder im Telefonsystem eingesetzt wurde, kontinuierlich aus den Benutzerantworten. Wenn beispielsweise eine bestimmte Antwort die Benutzer immer zu verärgern scheint, lernt der Bot, diese Antwort zu ändern.
• Ein Chatbot kann Redewendungen und Ausdrücke von den Benutzern selbst lernen. Dies scheint Facebook mit seinem neuen Bot versucht zu haben. Bereits 2016 hatte Microsoft dies mit katastrophalen Ergebnissen versucht.

Wenn Sie der Meinung sind, dass ich etwas Wichtiges vergessen habe, fügen Sie es bitte in den Kommentaren unten hinzu.

Natürlich dauert es eine Weile, bis diese Ideen kommerziell umsetzbar sind. Aber wir können im nächsten Jahrzehnt einige spannende Fortschritte erwarten, da das Feld demokratisierter und für Nicht-Programmierer zugänglicher wird.

Verweise

• Jurafsky und Martin, Sprach- und Sprachverarbeitung (2008)
• Bengio et al., Ein neuronales probabilistisches Sprachmodell , J. Machine Learning Research (2003)
• Hancock et al., Lernen aus Dialogen nach der Bereitstellung: Ernähre dich selbst, Chatbot!, Proceedings der 57. Jahrestagung der Association for Computational Linguistics (2019)
• Hunt, Tay, Microsofts KI-Chatbot, erhält von Twitter einen Crashkurs in Rassismus, Guardian (2016)
• BBC und Facebook nutzen 1,5 Milliarden Reddit-Posts, um einen Chatbot zu erstellen (2020)