Machine Learning: Wie Computer Sprachen lernen

[Read this article in English]

 

Künstliche Intelligenz ist eines der aktuell heiß diskutierten Themen – sowohl in der Wissenschaft und in der Wirtschaft, aber auch in den Medien. Kein Wunder, denn noch nie waren die Schlagzeilen so spektakulär: Selbstfahrende Autos, autonome Chatbots, automatisierte Übersetzungen oder selbstlernende Algorithmen zu Spracherkennung und Bilderkennungsprogramme, die sogar Krebs erkennen. Aber wie kommt es, dass Artificial Intelligence sich gerade jetzt in so großen Schritten entwickelt? Und wie funktioniert Machine Learning (ML) eigentlich? Wir haben einen praxiserprobten Experten zu ML gefragt: Olaf hilft Computern dabei, menschliche Sprache zu lernen. In einem Workshop hat er uns die Grundlagen von maschinellem Lernen erklärt – und unsere Fragen beantwortet. Was wir über maschinelles Lernen von Sprachen gelernt haben? Einiges! Die wichtigsten Punkte haben wir hier zusammengefasst.

 

Voicesearch: Smartphone Sprachsuche mit Google Assistent, Alexa oder Siri
Voicesearch: Sprachsuche

Automatische Sprachverarbeitung – bereits Alltag?

Wir alle kennen die Frage-Antwort-Spiele von Dialog Systemen à la Siri, Alexa oder dem Google Assistent. Neben Sprachassistenten kommt automatische Sprachverarbeitung auch in anderen Bereichen zum Einsatz:

  • Klassifizierung von Texten, z. B. bei E-Mail-Spamfiltern

  • Clustering (Gruppierung) von Texten, z. B. bei Kundenfragen oder Bewerbungen

  • automatische Übersetzungen

 

Wie funktioniert die automatische Sprachverarbeitung?

Der klassische Ansatz, um Computern Sprache beizubringen, ist das Parsen von Texten mit Hilfe von Grammatiken. Das Problem: Natürliche Sprache ist nicht so leicht zu knacken. Denn Sprache ist häufig alles andere als eindeutig. Ein einfaches Beispiel:

Fruit flies like bananas.

How time flies.

Das Wort flies kann also einmal als Nomen eine Fliege bezeichnen, in einem anderen Zusammenhang aber als Prädikat dienen. Zur Auflösung von solchen Mehrdeutigkeiten der Sprache braucht es so etwas wie „Weltwissen“, also die Fähigkeit, den Kontext der Wörter zu entschlüsseln. In dieser Disziplin der Kontextualisierung war der Mensch der Maschine lange Zeit voraus. Aber: Maschinen lernen – und zwar immer schneller und erfolgsversprechender. Der Grund: Künstliche Neuronale Netze (KNN) nach dem Vorbild menschlicher Synapsen.

 

Neuronale Netzwerke arbeiten wie menschliche Synapsen

Wie können Künstliche Neuronale Netze Sprache lernen?

Im Unterschied zum menschlichen Gehirn arbeiten Neuronale Netze mit Zahlen. Aber Wörter sind keine Zahlen, man kann mit ihnen nicht rechnen. „Word Embedding“ ermöglicht es, Text in Form von Zahlen als Eingabe zu verwenden. Dabei werden Wortvektoren konstruiert, typischerweise in 50 bis 300 Dimensionen. Diese Vektoren werden nicht per Hand, sondern automatisch durch das Einlesen großer Textmengen, beispielsweise aller Wikipedia-Texte, erstellt.

Weitere Beispiele für Trainingsdaten, die für Word Embedding genutzt werden:

  • für Frage-Antwort-Systeme und Chatbots: Beispiele für verschiedene Formulierungen, aufgezeichnete Gespräche

  • für E-Mail-Sortierung: bereits einsortierte E-Mails

  • für maschinelle Übersetzungen: bereits übersetzte Texte

 

Warum passieren die Fortschritte im maschinellen Lernen gerade jetzt?

Das Füttern bzw. Trainieren Neuronaler Netze mit immer mehr und immer besseren Trainingsdaten ist entscheidend für Machine Learning. Und hier liegen auch die zwei Hauptgründe dafür, warum die Fortschritte im maschinellen Lernen gerade jetzt in so großen Sprüngen stattfinden:

  • Big Data: Riesige Datenmengen dank Digitalisierung bieten immer umfangreichere Trainingsdaten.

  • Hardware mit ausreichender Rechenleistung ermöglichen es Computern, diese Datenmassen zu bewältigen.

Einen weiteren Schritt nach vorn im Bereich KI haben neue Algorithmen gebracht, die zu noch besseren Lernerfolgen geführt haben. Allen voran: Deep Learning, gerade DAS Buzzword im Bereich AI.

 

Was ist das besondere an Deep Learning?

Der Ursprung für den Begriff „Deep Learning“ liegt wahrscheinlich in sogenannten „Deep Networks“ mit mehr als drei Schichten – häufig deutlich mehr. Diese Vielschichtigkeit der Deep Learning Modelle ermöglicht eine hohe Abstraktionsfähigkeit. Eingangsdaten können also abstrahiert werden, sodass auch Lösungen für Fälle gefunden werden können, die nicht in den Trainingsdaten enthalten waren. Das besondere an Deep Learning Modellen ist also, dass die Neuronalen Netze verallgemeinern und abstrahieren können.

Neuronales Netzwerk
Neuronales Netzwerk

Das Problem: Ein so vielschichtiges Neuronales Netz ist wie eine „Black Box“ und man kann Überraschungen erleben. Die Ergebnisse entsprechen nicht immer dem, was man erwartet oder erhofft hat. So kann beispielsweise bei der Bilderkennung unter tausenden von Katzenbildern eines sein, dass als Hund klassifiziert wird. Eine Fehlerbehebung ist aber extrem kompliziert, da sich die Fehlerquelle nur schwer lokalisieren lässt. Dieser Lernprozess ist wie ein Annäherungsverfahren. Ein weiterer entscheidender Punkt ist die Qualität der Trainingsdaten. Und die wird immer besser, da immer mehr Daten zur Verfügung stehen. Inzwischen ist daraus sogar ein Geschäftsfeld entstanden: Crowdsourcing von Trainingsdaten zum Füttern von Deep Learning Maschinen.

 

Was wird die Zukunft bringen?

Prognosen sind schwierig, vor allem, wenn sie die Zukunft betreffen. Bei einer neuen Technologie neigt man dazu, die kurzfristigen Auswirkungen zu überschätzen und die langfristigen zu unterschätzen. Voraussagen darüber, was die ‚Killer-Application‘ einer neuen Technologie wird, liegen meist daneben. So hat sich beispielsweise der Hype um Virtual Reality bisher nicht in die Realität übertragen. Andererseits hatte damals niemand daran geglaubt, dass sich SMS oder das Internet so entwickeln würden.

Erste vielversprechende Anwendungen von AI finden sich z. B. in der Medizin, wo intelligente Bilderkennungsverfahren für die Krebsfrüherkennung genutzt werden – mit großem Erfolg. Im Alltag sind die Veränderungen jetzt schon zu spüren: Voicesearch und Bildersuche verändern die Internetnutzung. Wie umfangreich die Auswirkungen auf die Betreiber von Onlineshops und Websites sein werden, ist noch nicht abzusehen.

 

Wird AI dank Deep Learning die Welt verändern?

Die Frage bleibt also spannend: Welche Bereiche werden sich durch lernfähige Maschinen verändern? Was denkt ihr? Welche Beispiele fallen euch ein, wo künstliche Intelligenz bereits heute angewendet wird? Welche Anwendungen nutzt ihr heute schon – und welche Erfahrungen habt ihr damit? Bucht ihr euren Urlaub oder das Flugticket per Voicesearch? Lasst ihr euch von automatisierten Chatbots bei Kundenfragen beraten? Nutzt ihr maschinelle Übersetzungstools wie Google Translate oder spezielle Apps? Wenn ja – mit welchem Ergebnis?

Lasst es uns wissen und diskutieren – wir freuen uns über eure Kommentare!

 

Machine Learning und Künstliche Intelligenz in 5 Minuten erklärt: YouTube Video von www.explain-it.tv

 

View this post on Instagram

#machinelearning – how computers master language 🤖 If you work with #translations and #content these days, developments in AI, specifically in the field of translation and automatically generated content, probably grab your attention pretty quickly. We invited an expert on machine learning to come speak with us and so that we could get a better understanding of #artificialintelligence He answered some of our basic questions regarding #AI – How is artificial intelligence developing in such big steps? Why now? And of course: How does machine learning (ML) actually work? Take a look if you are also interested in some of these answers. #newblogpost #linkinbio #staycurious #deeplearning

A post shared by Kolibri Online (@kolibrionline) on