Natural Language Processing

Was es ist und was man darüber wissen sollte

Die Verarbeitung natürlicher Sprache (Natural Language Processing, NLP) ist ein Teilbereich der Artificial Intelligence. Sie soll Computer in die Lage versetzen, menschliche Sprache zu verstehen, zu interpretieren und zu manipulieren. NLP will die Lücke zwischen menschlicher Kommunikation und den Sprachverarbeitungsfähigkeiten von Computern schließen und greift dazu auf eine Vielzahl von Disziplinen zurück, unter anderem die Informatik und die Computerlinguistik.

Entwicklung von Natural Language Processing

Die Verarbeitung natürlicher Sprache ist keine neue wissenschaftliche Disziplin, aber die Technologie entwickelt sich gerade schnell weiter, angetrieben von einem verstärkten Interesse an der Mensch-Maschine-Kommunikation sowie der Verfügbarkeit von Big Data, hoher Rechenleistung und verbesserten Algorithmen.

Menschen kommunizieren, ob mündlich oder schriftlich, in Sprachen wie Deutsch, Englisch, Spanisch oder Chinesisch. Die „Sprache“ eines Computers – der Maschinencode oder die Maschinensprache – ist für die meisten Menschen dagegen weitgehend unverständlich. Auf der untersten Ebene erfolgt die Kommunikation bei einem Computer nicht in Form von Worten, sondern mit Millionen von Nullen und Einsen, die logische Aktionen hervorbringen.

Tatsächlich nutzten Programmierer vor 70 Jahren Lochkarten für die Kommunikation mit den ersten Computern. Mit diesem in mühsamer Handarbeit ausgeführten Prozess waren nur relativ wenige Menschen vertraut. Heute sagen Sie einfach „Alexa, ich mag diesen Song“. Daraufhin sinkt an dem Gerät, an dem die Wiedergabe läuft, die Lautstärke und eine menschenähnliche Stimme antwortet „OK. Bewertung gespeichert“. Danach wird der Algorithmus so angepasst, dass dieser Song – und ähnliche – abgespielt werden, wenn Sie den Musiksender das nächste Mal hören.

Schauen wir uns diese Interaktion einmal näher an. Ihr Gerät hat sich aktiviert, sobald Ihre Stimme erfasst wurde, es hat die unausgesprochene Absicht Ihres Kommentars verstanden, eine Aktion ausgeführt und Ihnen in korrektem Deutsch Rückmeldung gegeben – und all dies in gerade einmal etwa 5 Sekunden. Die gesamte Interaktion war nur möglich dank NLP sowie weiterer AI-Funktionen wie maschinelles Lernen und Deep Learning.

Weniger Kundenbeschwerden dank NLP

Die Royal Bank of Scotland extrahiert mit Text Analytics, einem NLP-Verfahren, wichtige Trends aus dem in vielen Formen eingehenden Kunden-Feedback. Das Unternehmen analysiert Daten aus E-Mails, Umfragen und Callcenter-Gesprächen, um die Ursachen für Unzufriedenheit bei den Kunden zu ermitteln und Verbesserungen einzuführen. Sehen Sie sich das Video an und erfahren Sie mehr über die Transformation von Kundenbeziehungen mithilfe von Analytics.

Warum ist NLP so wichtig?

Große Mengen an Textdaten

Die Verarbeitung natürlicher Sprache versetzt Computer in die Lage, mit Menschen in deren Sprache zu kommunizieren und weitere sprachbezogene Aufgaben zu bewältigen. So können Computer mithilfe von NLP beispielsweise Texte lesen, gesprochene Sprache hören, diese interpretieren, Sentimentanalysen durchführen und ermitteln, welche Teile wichtig sind.

Die heutigen Rechner können mehr sprachbasierte Daten analysieren, als Menschen dies könnten, und das ohne zu ermüden, konsistent und ohne Verzerrungen. Angesichts der überwältigenden Menge an unstrukturierten Daten, die Tag für Tag generiert wird, – von Patientenakten bis zu Social Media-Beiträgen – ist eine effiziente Analyse von Text- und Sprachdaten nur mittels Automatisierung möglich.

Strukturieren einer hochgradig unstrukturierten Datenquelle

Menschliche Sprache ist erstaunlich komplex und vielfältig. Wir verfügen über unendlich viele Ausdrucksmöglichkeiten, sowohl verbal als auch schriftlich. Es gibt nicht nur Hunderte von Sprachen und Dialekten, sondern darüber hinaus innerhalb jeder Sprache einzigartige Grammatik- und Syntaxregeln, Fachbegriffe und Slang. Zudem schreiben wir Wörter häufig falsch, verwenden Abkürzungen oder lassen Satzzeichen aus. In der gesprochenen Sprache kommen Dialekte und individuelle Merkmale wie Nuscheln und Stottern sowie aus anderen Sprachen übernommene Lehnwörter hinzu.

Überwachtes und unüberwachtes Lernen sowie insbesondere Deep Learning werden heute häufig zur Modellierung menschlicher Sprache verwendet, aber die ebenfalls erforderlichen Syntax- und Semantikkenntnisse sowie fachspezifisches Know-how sind in diesen Verfahren für das maschinelle Lernen nicht unbedingt gegeben. NLP ist wichtig, denn damit lassen sich Mehrdeutigkeiten in der Sprache besser auflösen und die Daten erhalten eine nützliche numerische Struktur für viele nachgelagerte Anwendungen wie Spracherkennung oder Text Analytics.

NLP in der Welt von heute

Erfahren Sie mehr über die Verarbeitung natürlicher Sprache in verschiedenen Branchen

Planung für NLP

Wie nutzen Unternehmen auf der ganzen Welt Artificial Intelligence und NLP? Wie hoch sind die Durchdringungsraten und was sind die künftigen Pläne für die Technologien? Wie sieht es mit den Budgets und den Bereitstellungsplänen aus? Und welche Geschäftsprobleme lassen sich heute mit NLP-Algorithmen lösen? Antworten finden Sie in diesem Bericht von TDWI.

Bericht lesen

Das ungenutzte Potenzial von unstrukturiertem Text

Überlegungen, Untersuchungen, Meinungen, Fakten und Feedback fließen über Social Media Feeds, Gerichtsakten, elektronische Patientenakten, Contact Center-Aufzeichnungen, Garantieanträge usw. in die digitale Welt ein. Die Verarbeitung natürlicher Sprache erschließt in den Wortströmen verborgene Erkenntnisse.

Artikel lesen

Was kann Text Analytics für Ihr Unternehmen leisten?

Text Analytics dient bei der Verarbeitung natürlicher Sprache dazu, Text zu Analysezwecken in Daten umzuwandeln. Erfahren Sie, wie Unternehmen aus dem Bankwesen, dem Gesundheitswesen und Life Sciences, Industrie und Produktion sowie dem öffentlichen Sektor mit Text Analytics das Kundenerlebnis verbessern, Betrug bekämpfen und eine bessere Gesellschaft schaffen.

Whitepaper lesen

Wie funktioniert NLP?

Aufschlüsseln von Sprache in ihre elementaren Bestandteile

Die Verarbeitung natürlicher Sprache umfasst verschiedenste Verfahren zur Interpretation menschlicher Sprache, von statistischen Ansätzen und Methoden für maschinelles Lernen bis zu regelbasierten und algorithmischen Ansätzen. Diese vielfältigen Ansätze sind unverzichtbar, denn text- und sprachbasierte Daten sind ebenso vielfältig wie ihre Verwendung in der Praxis.

Grundlegende NLP-Aufgaben sind Tokenisierung und Parsing, Lemmatisierung/Stemming, Part-of-Speech Tagging, die Spracherkennung und die Erkennung von Bedeutungszusammenhängen. Diese Aufgaben haben Sie höchstwahrscheinlich schon manuell bewältigt, und zwar bei der Satzbauanalyse im Schulunterricht.

Ganz allgemein ausgedrückt geht es bei den NLP-Aufgaben darum, Sprache in kürzere, elementare Bestandteile zu zerlegen, die Beziehungen zwischen diesen Teilen zu ermitteln und zu untersuchen, wie aus dem Zusammenspiel dieser Teile Bedeutung entsteht.

Diese zugrunde liegenden Aufgaben werden häufig bei NLP-Funktionen höherer Ebene eingesetzt.

Content-Kategorisierung: eine linguistisch basierte Dokumentenzusammenfassung, einschließlich Suche und Indizierung, Inhaltswarnungen und Erkennung von Duplikaten.
Themenerfassung und -modellierung: korrekte Erfassung der Bedeutung von Textsammlungen und der darin enthaltenen Themen sowie die Anwendung von Advanced Analytics auf Text, zum Beispiel Optimierung und Prognoseerstellung.
Kontextuelle Extraktion: automatisches Extrahieren strukturierter Informationen aus textbasierten Quellen.
Sentimentanalyse: Erkennung von Stimmungen oder subjektiven Meinungen in großen Textmengen, einschließlich durchschnittlicher Stimmungswerte und Opinion Mining.
Speech-to-Text- und Text-to-Speech-Konvertierung: die Transformation von Sprachbefehlen in schriftlichen Text und umgekehrt.
Dokumentenzusammenfassung: automatisches Generieren von Zusammenfassungen von umfangreichen Texten.
Maschinelle Übersetzung: automatische Übersetzung von geschriebenem oder gesprochenem Text von einer Sprache in eine andere.

Vorrangiges Ziel ist es in jedem Fall, einen rohen, unbearbeiteten Sprachinput mit linguistischen Ansätzen und Algorithmen zu transformieren oder anzureichern und damit wertvoller zu machen.

SAS^® Visual Text Analytics

Wie finden Sie Antworten in großen Mengen von Textdaten? Indem Sie maschinelles Lernen mit der Verarbeitung natürlicher Sprache und Text Analytics kombinieren. Erfahren Sie, wie unstrukturierte Daten analysiert werden können, um Probleme zu identifizieren, Stimmungen zu bewerten, aufkommende Trends zu erkennen und verborgene Geschäftschancen ausfindig zu machen.

NLP-Methoden und -Anwendungen

So erkennen Computer den Sinn in Textdaten

NLP und Text Analytics

Die Verarbeitung natürlicher Sprache und Text Analytics hängen eng miteinander zusammen, denn mit Text Analytics lassen sich in großen Mengen von Sprachdaten Wörter zählen, gruppieren und kategorisieren, um Struktur und Bedeutung zu extrahieren. Text Analytics dient zur Untersuchung von Textinhalten und zur Ableitung von neuen Variablen aus den Rohdaten, die dann visualisiert, gefiltert oder als Input für prädiktive Modelle oder andere statistische Methoden genutzt werden können.

NLP und Text Analytics werden für viele Anwendungen eingesetzt. Hier einige Beispiele:

Ermittlungen: Erkennung von Mustern und Hinweisen in E-Mails oder schriftlichen Berichten zur Aufdeckung und Aufklärung von Verbrechen.
Fachwissen Klassifizierung von Inhalten in aussagekräftige Themen, damit Maßnahmen ergriffen und Trends erkannt werden können.
Social Media Analytics: Nachverfolgen der Sensibilisierung für bestimmte Themen und des Stimmungsbilds zu diesen Themen sowie Erkennen der zentralen Influencer.

Beispiele für NLP im Alltag

Es gibt viele gängige und praktische Einsatzmöglichkeiten für NLP im alltäglichen Leben. Neben der Kommunikation mit virtuellen Assistenten wie Alexa oder Siri hier ein paar weitere Beispiele:

Haben Sie je darauf geachtet, dass die E-Mails in Ihrem Spam-Folder Ähnlichkeiten in den Betreffzeilen aufweisen? Das ist das Ergebnis von Bayesschen Spam-Filtern, einem statistischen NLP-Verfahren, mit der die Wörter in Spam-Mails mit zulässigen E-Mails verglichen werden, um Junk-Mails ausfindig zu machen.
Haben Sie je einen Telefonanruf verpasst und dann die aus der Mailbox-Aufzeichnung automatisch erzeugte Textnachricht in Ihrem E-Mail-Postfach oder Ihrer Smartphone-App gelesen? Das ist das Ergebnis der Speech-to-Text-Konvertierung, einer NLP-Funktion.
Haben Sie bei der Navigation auf einer Website je die integrierte Suchleiste verwendet oder vorgeschlagene Themen, Entitäten oder Kategorien ausgewählt? Dann haben Sie NLP-Methoden für Suche, Themenmodellierung, Entitätenextraktion und Content-Kategorisierung genutzt.

Das Verstehen natürlicher Sprache (Natural Language Understanding, NLU), ein Teilbereich der NLP, erfreut sich dank seines Potenzials in kognitiven und AI-Anwendungen seit Neuestem wachsender Beliebtheit. NLU geht über das Verständnis der Struktur von Sprache hinaus und zielt darauf ab, Absichten zu erkennen, Mehrdeutigkeiten in Kontext und Wörtern aufzulösen und sogar eigenständig wohlgeformte Sprachäußerungen zu generieren. NLU-Algorithmen befassen sich mit dem außerordentlich komplexen Problem der semantischen Interpretation, also damit, die beabsichtigte Bedeutung gesprochener oder geschriebener Sprache zu erkennen, und zwar mit allen Feinheiten, kontextabhängigen Interpretationen und Rückschlüssen, die wir Menschen verstehen können.

Die Entwicklung von NLP zu NLU bringt eine ganze Reihe erheblicher Auswirkungen für Unternehmen und Verbraucher mit sich. Stellen Sie sich das Potenzial eines Algorithmus vor, der die Bedeutung und Nuancen menschlicher Sprache in vielen Kontexten von der Medizin über das Recht bis hin zum Klassenzimmer verstehen kann. Die Menge unstrukturierter Informationen wächst exponentiell weiter, aber unermüdliche Computer unterstützen uns dabei, alle diese Daten zu verstehen.