Verarbeitung natürlicher Sprache

Verarbeitung natürlicher Sprache und Textanalyse

Unser Schwerpunkt ist Verarbeitung natürlicher Sprache (NLP). Der Manager, Thomas Wood, studierte 2008 einen Master an der Cambridge University in Computersprache, Text und Internettechnologie und seitdem arbeitet er ausschließlich im maschinellen Lernen und hauptsächlich im NLP. 2018 gründete er Fast Data Science, um datenwissenschaftliche Beratung mit Schwerpunkt auf NLP anzubieten.

Wir haben NLP-Pipelines von Grund auf neu gebaut und daran gearbeitet Natürlichsprachliche Dialogsysteme, Dokumentklassifikatoren und textbasierte Empfehlungssysteme. Für diese Aufgaben haben wir sowohl traditionelle maschinelle Lerntechniken als auch den Stand der Technik wie neuronale Netze verwendet. Wir verwenden normalerweise Python für unsere NLP-Arbeit.

• Read more about some real-life examples of NLP in business.

Die Kraft von NLP (interaktiver word2vec-Graph)

Unten sehen Sie eine Darstellung einiger Fachbegriffe, die in einem Datensatz von verwendet werden klinische Versuchsunterlagen im 3D-Raum.

Wörter mit ähnlicher Bedeutung und Verwendung stehen nah beieinander. Wörter sind in Clustern farbcodiert, die Gruppen wie Krankheiten (Cluster 3), Verben (Cluster 1, 6 und 8) usw. entsprechen. Wenn Sie die Maus über ein Wort bewegen, können Sie die Clusternummer dieses Wortes sehen und die Wort nächsten Nachbarn. Die nächsten Nachbarn eines Wortes sind in der Regel Wörter mit ähnlicher Bedeutung oder Funktion, wie z. B. Synonyme.

Dies ist eine Demonstration, wie die Verarbeitung natürlicher Sprache verwendet werden kann, um Synonyme und gemeinsame Themen in einem völlig neuen Satz von Textdokumenten auf völlig unüberwachte Weise zu finden.

Die Wortvektoren wurden in 128 Dimensionen mit berechnet Wort2vec Algorithmus an Google Cloud-Plattform und mithilfe von auf drei Dimensionen reduziert t-SNE. Die Wörter wurden mithilfe von 15 Clustern zugeordnet k-bedeutet Clusterbildung Algorithmus.

NLP und unstrukturierte Daten

Heutzutage verfügen viele Unternehmen, insbesondere in bestimmten Branchen wie Gesundheitswesen, Pharma, Rechts- und Versicherungswesen, über große Mengen an unstrukturierten Daten. Dies sind typischerweise Daten im Textformat, bei denen es sich sogar um ungescannte Dokumente, PDFs, HTML oder andere Dateitypen handeln kann.

Unstrukturierte Daten sind sehr schwierig zu handhaben, können aber eine Goldgrube an Informationen enthalten. Fast Data Science ist darauf spezialisiert, Werte aus den unstrukturierten Datensätzen von Unternehmen zu extrahieren.

KI und die Verarbeitung natürlicher Sprache werden zunehmend im gesamten Gesundheitssektor eingesetzt. Diese Technologie wird manchmal als Healthtech oder MedTech bezeichnet. NLP wird verwendet, um Änderungen in klinischen Berichten zu vergleichen und zu erkennen, klinische Konzepte wie MeSH-Begriffe aus elektronischen Krankenakten zu extrahieren und Mensch-Maschine-Dialogsysteme in natürlicher Sprache zu entwickeln, um die Erfahrung im Gesundheitswesen zu verbessern.