Suchen Sie Experten in Natürlicher Sprachverarbeitung? Veröffentlichen Sie Ihre Stellenangebote bei uns und finden Sie heute Ihren idealen Kandidaten!
Veröffentlichen Sie einen JobWas ist Sentiment-Analyse und was sind die wichtigsten Trends in der Sentiment-Analyse heute? Lernen Sie einige der einfachsten und modernsten Sentiment-Analyse-Technologien kennen und probieren Sie sie aus !
Meine erste Begegnung mit der Verarbeitung natürlicher Sprache als Fachgebiet hatte ich 2007, als ich nach Abschluss meines Physik-Grundstudiums mit dem Masterstudium begann. Die damals zur Sprachverarbeitung eingesetzte Technologie unterschied sich stark von den heutigen Spitzenansätzen.
Die Entwicklung von Stimmungsanalysetechniken
Stellen Sie sich vor, Ihre Aufgabe besteht darin, herauszufinden, ob eine Film- oder Produktrezension auf eine positive oder negative Stimmung seitens des Autors hinweist. Der einfachste Ansatz hierfür besteht darin, eine Liste positiver und negativer Wörter zu erstellen und einfach die positiven und negativen Wörter im Satz zu zählen.
So funktionierten die ersten Algorithmen zur Sentimentanalyse und man nennt es den lexikonbasierten Ansatz. Beispielsweise enthält die von Finn Årup Nielsen im Jahr 2011 entwickelte AFINN-Sentiment-Score-Liste eine Liste von Wörtern in der englischen Sprache, denen jeweils eine Bewertung zwischen -5 und +5 zugewiesen ist. Hier ist ein Auszug aus dem AFINN-Lexikon:
„ freundlich 2 verängstigt -2 Frikin -2 Frustration -2 ftw 3 … positiv 2 positiv 2 verschieben -1 verschoben -1 verschiebt -1 Verschiebung -1 Armut -1 Lob 3 gelobt 3 „
Der Sentiment-Score für eine Filmkritik wie „Dieser Film war absolut schrecklich“ kann durch einfaches Summieren der Polaritäten der Wörter im Satz berechnet werden. Obwohl dieser einfache Ansatz seine Vorteile hat, ist es ziemlich einfach, ihn zu durchbrechen.
Beispielsweise können Sätze, die negative Wörter oder Sarkasmus enthalten, von einem Lexikon einfach nicht verarbeitet werden. Und was ist mit „Dieser Film war absolut schrecklich“ (Sie können sehen, dass er in AFINN unabhängig vom Kontext eine positive Bewertung von +2 erhält).
Zu viele Informationen gehen verloren, wenn wir nur die Wörter im Satz nehmen und ihren Kontext ignorieren.
(Lesen Sie weiter, um eine Demo des AFINN-Stimmungsanalysealgorithmus in Javascript auszuprobieren und ihn mit einer moderneren Option zu vergleichen.)
Ich erinnere mich, dass ich während meines Masterstudiums verschiedene immer komplexer werdende handgefertigte Regeln studiert habe, mit denen Ingenieure versuchten, die Grammatik der englischen Sprache zu kodifizieren, um dieses Problem zu lösen. Beispielsweise wurde die Polaritätsbewertung eines Wortes beeinflusst, wenn es innerhalb eines engen Fensters eines Negationsworts wie „nicht“ vorkam.
Ein Beispiel für diesen Ansatz ist die VADER- Bibliothek, die für Valence Aware Dictionary und sEntiment Reasoner steht. Darin gibt es eine Reihe von Regeln für die Verneinung, für Großbuchstaben (Verstärkung des Gefühls) und auch eine Liste von Sonderfällen wie „to die for“.
 console using VADER.](https://raw.githubusercontent.com/fastdatascience/.github/master/profile/fast_data_science_nlp_sentiment_analysis_demo.png)
Eine Demonstration einer einfachen Stimmungsanalyse in der Python-Konsole mit VADER.
Eine Bibliothek wie VADER kann den Zweck erfüllen, wenn Sie eine einfache, leichtgewichtige Lösung benötigen.
Im Laufe des nächsten Jahrzehnts verlagerte sich die NLP- Community weg von manuell codierten Regeln hin zu einem Ansatz des maschinellen Lernens . Die frühesten Algorithmen zur Stimmungsanalyse für maschinelles Lernen verwendeten eine Mischung aus handcodierten Merkmalen und Gewichten. Beispielsweise könnte ein Ingenieur Code schreiben, um eine Reihe von Merkmalen zu extrahieren (befindet sich das Wort „nicht“ innerhalb eines Fensters von 5 Token?), und ein maschineller Lernalgorithmus wie die logistische Regression kann lernen, wie wichtig ein Merkmal ist.
Im Jahr 2013 entwickelte ein Forscherteam bei Google unter der Leitung von Tomáš Mikolov den Ansatz zur Einbettung von Wortvektoren mit dem Word2vec- Algorithmus, und Wortvektoreinbettungen wie Word2vec und GloVe wurden zum neuen Goldstandard für eine Reihe von NLP- Problemen, einschließlich Textklassifizierung und Stimmung Analyse.
Worteinbettungen funktionieren, indem sie jedem Wort im Lexikon einen einzelnen Vektor im kartesischen Raum signieren. Wörter mit ähnlicher Bedeutung oder Funktion liegen im Vektorraum nahe beieinander, während Wörter mit sehr unterschiedlicher Bedeutung weit voneinander entfernt liegen. Mithilfe des Worteinbettungsansatzes kann ein Satz aus reinem Text in eine Zahlenmatrix umgewandelt werden, die einem Bild ähnelt, und dann entweder an ein Faltungs-Neuronales Netzwerk oder eine andere tiefe neuronale Netzwerkarchitektur wie ein RNN oder LSTM übergeben werden.
Der Word2vec-Ansatz in Kombination mit einem neuronalen Netzwerk ermöglicht es einem Modell für maschinelles Lernen, Hinweise aus dem Kontext eines Satzes zu erfassen, sodass auf Wortvektoren basierende Modelle nicht so anfällig für Bedeutungs- und Navigationsnuancen sind wie ihre Vorgänger.
Der aktuelle Stand der Technik in der Sentimentanalyse ist der Transformer-Ansatz . Das bekannteste Transformatormodell heißt BERT . Transformatoren funktionieren ähnlich wie Wortvektoreinbettungen , indem Wörter in einem Satz in einem riesigen mehrdimensionalen Raum in Vektoren umgewandelt werden. Ein Unterschied besteht jedoch darin, dass ein Transformatormodell ein Wort abhängig von seiner Funktion in einem Satz als unterschiedlichen Vektor darstellen kann.
Leider erfordern die ausgefeiltesten Deep-Learning -Modelle wie Transformer viele Trainingsdaten und sind sehr energiehungrig, sodass sie in der Praxis nicht immer verwendet werden. Für einen Forscher oder NLP- Ingenieur ist es oft unpraktisch, ein Transformer-Modell auf seinem eigenen Computer auszuführen oder zu trainieren. Daher besteht die einzig praktische Möglichkeit darin, einen cloudbasierten Dienst oder cloudbasierte Sentiment-APIs zu verwenden, wie sie beispielsweise von Google oder Microsoft bereitgestellt werden , oder Amazon.
Eine cloudbasierte Stimmungsanalyse ist in der Industrie möglicherweise nicht immer eine Option, da viele Kunden über vertrauliche Daten verfügen, beispielsweise über Gesundheitsdaten , die das Betriebsgelände nicht verlassen dürfen.
Unten können Sie den ersten und den letzten Ansatz ausprobieren, den ich in diesem Artikel erwähnt habe, um zu sehen, wie sie sich bei verschiedenen Arten komplexer Sätze vergleichen lassen. Ist es einfacher, den lexikonbasierten Sentiment-Analysator zu täuschen als den cloudbasierten Sentiment-Analysator? Wie gut gehen sie mit Sarkasmus um?
Wenn Sie durch Vertraulichkeit oder andere kommerzielle Faktoren eingeschränkt sind und nicht in der Lage sind, einen Cloud-basierten Stimmungsanalysedienst zu nutzen, dann würde ich die Bibliothek, die ich für die Verwendung auf Ihrem eigenen Computer empfehlen würde, die NLTK- oder spaCy- Bibliotheken in Python oder deren Äquivalente in sein R . Diese Modelle können sofort ausgeführt werden und sind manchmal recht einfach zu trainieren. Wenn Ihr Computer leistungsstark genug ist, können Sie ein Transformatormodell wie BERT ausprobieren – auf der Website HuggingFace finden Sie einige nützliche Tutorials.
Eine der bekanntesten Methoden zur Messung der Leistung von Stimmungsanalysealgorithmen ist der IMDb-Datensatz – dabei handelt es sich um eine Sammlung von 50.000 Filmkritiken aus der IMDB-Filmdatenbank. Bewertungen werden als positiv oder negativ kategorisiert und ein maschineller Lernalgorithmus muss diese korrekt klassifizieren.
Einer der anderen Rezensenten hat erwähnt, dass man schon nach dem Ansehen einer 1-Oz-Folge begeistert sein wird.
(Beispiel für eine positive Bewertung aus dem IMDb-Datensatz)
Seit 2011, als Bag-of-Word- Algorithmen 88 % der Bewertungen genau kategorisieren konnten, haben Transformatormodelle diese Grenze auf erstaunliche 96 % erweitert.
Leistung einer Auswahl von NLP- Stimmungsanalysemodellen auf der IMDb-Benchmark, die in den letzten Jahren eine Verbesserung von 88 % (Maas et al., 2011) auf 96 % zeigt.
Der häufigste Einsatzbereich der Stimmungsanalyse in der Industrie ist die Überwachung der Meinungen der Öffentlichkeit über Produkte, Dienstleistungen und Unternehmen. Viele unzufriedene Kunden geben ihr negatives Feedback nicht direkt weiter. Daher können Unternehmen mit Software zur Stimmungsanalyse Änderungen in der öffentlichen Meinung oder Unzufriedenheit der Kunden erkennen. Es gibt eine Reihe handelsüblicher Social-Media-Überwachungsplattformen, mit denen Marketingmanager die Stimmung in Echtzeit überwachen können.
Angesichts der zunehmenden Verbreitung von Chatbots auf Unternehmenswebsites kann die Stimmungsanalyse nützlich sein, um die unzufriedensten Kunden an einen menschlichen Kundendienstmitarbeiter statt an einen Bot weiterzuleiten . Die Stimmungsanalyse ist in der Lage, die Stimmung der Kunden zu erfassen und entsprechend mit einem unzufriedenen Kunden umzugehen.
Pharmaunternehmen stehen zunehmend vor der Herausforderung, die Anwendung und Wirksamkeit ihrer Produkte zu überwachen, sobald diese bereits auf dem Markt sind. Dies steht im Gegensatz zu der großen Menge an Informationen, die Pharmaunternehmen aufgrund des strengen Prozesses klinischer Studien zur Verfügung stehen, bevor ein Medikament auf den Markt kommt.
Viele dieser Unternehmen erhalten große Mengen an Telefonprotokollen oder Umfrageantworten von Ärzten oder anderen Kunden auf der ganzen Welt. Eine auf den Pharmabereich spezialisierte Software zur Stimmungsanalyse ermöglicht es dem Aftermarket-Vertreter eines Pharmaunternehmens, wichtige Trends zu erkennen, z . B. dass X % der befragten Ärzte einem Patienten mit einer bestimmten Herzerkrankung nicht zwei bestimmte Medikamente in Kombination verabreichen würden, weil sie negative Nebenwirkungen beobachtet haben Auswirkungen in ähnlichen Fällen in der Vergangenheit .
Traditionelle Marktforschungsumfragen waren oft ausschließlich quantitativ und basierten auf der standardisierten Likert-Skala . Die Befragten wurden gebeten, Aussagen oder Produkte auf einer 5-Punkte-Skala von 1 ( stimme überhaupt nicht zu, gefällt mir sehr ) bis 5 ( stimme voll und ganz zu, mag es überhaupt nicht ) zu bewerten. Mit dem Aufkommen der Verarbeitung natürlicher Sprache haben Marktforscher jedoch nun die Möglichkeit, Freitextfelder in ihren Umfragen zu verwenden und Antworten mithilfe von Techniken der Verarbeitung natürlicher Sprache wie Stimmungsanalyse, Themenmodellierung , Dokumentenklassifizierung und Wortwolken zu kategorisieren.
In der Zeit, in der ich mich mit der Verarbeitung natürlicher Sprache beschäftige, habe ich viele Veränderungen in den Techniken gesehen, und die Philosophie des Fachgebiets hat sich von fast ausschließlich lexikalischen und regelbasierten Ansätzen zum entgegengesetzten Extrem von Modellen für maschinelles Lernen ohne manuell entwickelte Funktionen entwickelt alle. Die Leistung von Sentiment-Analyse-Algorithmen hat sich drastisch verbessert. Allerdings sind die einfachsten Modelle manchmal die besten. Wenn Sie über eine sehr kleine Menge an Trainingsdaten verfügen, kann sogar ein lexikonbasierter Ansatz einen Mehrwert bieten.
Natürlich stehen die Bedürfnisse des Kunden an erster Stelle und ich würde jede Sentiment-Analyse-Anwendung auf der Grundlage dessen entwickeln, was die beste Leistung erbringt, was nicht unbedingt ein neuronales Netzwerk ist. Bei einigen meiner NLP-Projekte sind möglicherweise nur 10 oder 20 Schulungsunterlagen verfügbar. Dies könnte auf Bedenken hinsichtlich der Vertraulichkeit des Kunden zurückzuführen sein oder einfach auf die Schwierigkeit, große Datenmengen zu kennzeichnen oder abzurufen. In Fällen, in denen nicht viele Daten vorhanden sind, muss der Ingenieur für die Verarbeitung natürlicher Sprache kreativ sein. Dabei werden häufig ältere oder einfachere Technologien anstelle der neuesten bahnbrechenden Modelle eingesetzt.
Bereit für den nächsten Schritt in Ihrer NLP-Reise? Vernetzen Sie sich mit Top-Arbeitgebern, die Talente in der natürlichen Sprachverarbeitung suchen. Entdecken Sie Ihren Traumjob!
Finden Sie Ihren Traumjob
Mittlerweile sind es Organisationen aller Größenordnungen und fast aller Sektoren werden zunehmend datengesteuert, insbesondere als größere Datenspeicher Systeme und schnellere Computer treiben die Leistungsgrenzen immer weiter voran.
Aufgrund des umfangreichen Einsatzes von Technologie und der Arbeitsteilung hat die Arbeit des durchschnittlichen Gig-Economy-Arbeiters jeden individuellen Charakter und damit auch jeden Charme für den Arbeitnehmer verloren.
Die Auswirkungen von KI auf die Humanressourcen Die Arbeitswelt verändert sich rasant, sowohl aufgrund der Einführung traditioneller Data-Science-Praktiken in immer mehr Unternehmen als auch aufgrund der zunehmenden Beliebtheit generativer KI-Tools wie ChatGPT und Googles BARD bei nicht-technischen Arbeitnehmern.
What we can do for you
