Verarbeitung natürlicher Sprache

Verarbeitung natürlicher Sprache und Textanalyse

Unser Schwerpunkt liegt auf der Verarbeitung natürlicher Sprache (NLP). Der Manager, Thomas Wood, studierte 2008 an der Universität Cambridge einen Master in Computersprache, Text und Internettechnologie und beschäftigt sich seitdem ausschließlich mit maschinellem Lernen und hauptsächlich mit NLP. Im Jahr 2018 gründete er Fast Data Science , um datenwissenschaftliche Beratung mit Schwerpunkt auf NLP anzubieten.

Wir haben NLP-Pipelines von Grund auf aufgebaut und an Dialogsystemen in natürlicher Sprache , Dokumentenklassifikatoren und textbasierten Empfehlungssystemen gearbeitet. Für diese Aufgaben haben wir sowohl traditionelle Techniken des maschinellen Lernens als auch modernste Techniken wie neuronale Netze eingesetzt. Normalerweise verwenden wir Python für unsere NLP-Arbeit.

NLP-Beispiele

Beispielanwendungen der Verarbeitung natürlicher Sprache sind:

Verständnis natürlicher Sprache – Interpretation eines von Menschen geschriebenen Textes und Umwandlung in eine strukturierte Form, beispielsweise Identifizierung der Anzahl der Teilnehmer an einer klinischen Studie anhand eines Nur-Text-Dokuments .
Natürlichsprachliche Dialogsysteme wie Chatbots oder Large Language Models (LLMs) wie GPT-4 oder Google BARD.
Textanalyse : Analyse großer Dokumentenkorpora .
Themenanalyse, Themenmodellierung oder Clustering (z. B. das Auffinden häufiger Fehler in Fabrikfehlerberichten : Was sind angesichts sechsmonatiger Fehlerprotokolle in einfachem Englisch die häufigsten Fehler, die dazu geführt haben, dass die Fabrik die Produktion unterbrach? )
Dokumentenklassifizierung, z. B. E-Mail-Sortierung ( Hat diese eingehende E-Mail hohe oder niedrige Priorität? )
Vorhersagemodelle, bei denen die unabhängige Variable Text ist (z. B. Vorhersage der Wahrscheinlichkeit eines Baumängels, der zu einer Eskalation zu einer Bauinspektion oder einem Rechtsstreit führt ).
Dokumentbasierte Empfehlungssysteme (Produktempfehlungen, Dating-Apps )
Unstrukturierte Datenanalyse
Anonymisierung von Dokumenten und Umgang mit sensiblen Daten

Die Kraft von NLP (interaktives Word2vec-Diagramm)

Unten sehen Sie eine Darstellung einiger Fachbegriffe, die in einem Datensatz von Dokumenten zu klinischen Studien im 3D-Raum verwendet werden.

Wörter mit ähnlicher Bedeutung und Verwendung liegen nahe beieinander. Wörter sind farblich in Cluster unterteilt, die Gruppen wie Krankheiten (Cluster 3), Verben (Cluster 1, 6 und 8) usw. entsprechen. Wenn Sie die Maus über ein Wort bewegen, können Sie die Cluster-Nummer dieses Wortes und die Cluster-Nummer sehen die nächsten Nachbarn des Wortes. Die nächsten Nachbarn eines Wortes sind in der Regel Wörter mit ähnlicher Bedeutung oder Funktion, beispielsweise Synonyme.

Dies ist eine Demonstration, wie die Verarbeitung natürlicher Sprache genutzt werden kann, um völlig unbeaufsichtigt Synonyme und gemeinsame Themen in einem völlig neuen Satz von Textdokumenten zu finden.

Die Wortvektoren wurden in 128 Dimensionen mit dem word2vec -Algorithmus auf der Google Cloud Platform berechnet und mit t-SNE auf drei Dimensionen reduziert. Die Wörter wurden mithilfe des k-Means-Clustering -Algorithmus 15 Clustern zugeordnet.

Fast Data Science - London

Need natural language processing?

Fast Data Science ist ein führendes Unternehmen im Bereich der Verarbeitung natürlicher Sprache – kontaktieren Sie uns für eine NLP-Beratungssitzung.

NLP und unstrukturierte Daten

Heutzutage verfügen viele Unternehmen, insbesondere in bestimmten Branchen wie dem Gesundheitswesen , der Pharmaindustrie , der Rechts- und Versicherungsbranche, über große Mengen unstrukturierter Daten . Hierbei handelt es sich typischerweise um Daten im Textformat, bei denen es sich auch um nicht gescannte Dokumente, PDFs, HTML oder andere Dateitypen handeln kann.

Unstrukturierte Daten sind sehr schwer zu handhaben, können aber eine Goldgrube an Informationen enthalten. Fast Data Science ist darauf spezialisiert, Mehrwert aus den unstrukturierten Datensätzen von Organisationen zu ziehen .

Anwendungen der Verarbeitung natürlicher Sprache im Gesundheitswesen

KI und die Verarbeitung natürlicher Sprache werden im Gesundheitswesen zunehmend eingesetzt. Diese Technologie wird manchmal als Healthtech oder MedTech bezeichnet. NLP wird verwendet, um Änderungen in klinischen Berichten zu vergleichen und zu erkennen, klinische Konzepte wie MeSH-Begriffe aus elektronischen Krankenakten zu extrahieren und Dialogsysteme zwischen Mensch und Maschine in natürlicher Sprache zu entwickeln, um das Gesundheitserlebnis zu verbessern.

Wir haben an einer Reihe von Projekten im Gesundheitswesen gearbeitet, darunter:

ein Modell zur Vorhersage der Komplexität klinischer Studien aus dem Studienprotokoll für Boehringer Ingelheim .
eine Desktop-Anwendung zur Analyse der Ergebnisse, Fachgebiete, Kooperationen und Zugehörigkeiten von Forschern mithilfe von PubMed- Suchergebnisexporten.
ein Modell zur Identifizierung von Forschern , die in ihrer veröffentlichten Forschung Open-Source-Moleküle ohne Quellenangabe verwendet haben, ebenfalls für Boehringer Ingelheim .

Technologien zur Verarbeitung natürlicher Sprache bei Fast Data Science

Wir verarbeiten viel natürliche Sprache mit Python. Wir haben an einer Vielzahl von NLP-Modellen gearbeitet, darunter:

Beutel mit Wörtern, tf*idf, Kosinusähnlichkeit
NLP-Pipelines , Lemmatisierung, Parser, Chunker
Tiefe neuronale Netze

*   [convolutional neural networks (CNNs)](/de/aufbau-einer-gesichtserkennung/) (text as well as images)

*   RNN, LSTM, Transformer models, LLMs (large language models)

*   Seq2seq, [word2vec](/de/ähnliche-dokumente-nlp-finden/), doc2vec

*   [see a live demo of a CNN for author identification](/de/forensische-stilometrie-linguistik-autorenanalyse-demo/)

Clustering: Latent Dirichlet Allocation und andere unbeaufsichtigte Lerntechniken

*   This is useful for extracting topics from a set of unstructured documents, for example [legal documents](/de/impact-ki-law-legal-industry/), survey responses, [factory error reports](/de/boehringer-ingelheim-nlp-clustering-factory-error-reports/), etc.

Suchmaschinen und Suchbegriff-Empfehler

Die Themenerkennung ist eine NLP-Technik, mit der Sie gemeinsame Themen in einer Reihe unstrukturierter Dokumente entdecken können.