Wie lernen neuronale Netze?

Was sind künstliche neuronale Netze und wie lernen sie? Wofür verwenden wir sie? Was sind einige Beispiele für künstliche neuronale Netze? Wie nutzen wir neuronale Netze?

In meiner täglichen Arbeit nutze ich neuronale Netze, um Pläne für klinische Studien im PDF-Format in eine Risikobewertung mit hohem oder niedrigem oder Abgleich von Fragebögen zur psychischen Gesundheit wie GAD-7 mit Äquivalenten in anderen Sprachen und Ländern .

Sie haben vielleicht schon einmal Begriffe wie „künstliche neuronale Netze“ gehört, sind sich aber möglicherweise nicht sicher, was sie bewirken. Sind sie wirklich alles, wofür sie gepriesen werden?

Was ist ein künstliches neuronales Netzwerk?

Neuronale Netze sind eine Möglichkeit, ein Programm dazu zu bringen, sich selbst zu schreiben. Stellen Sie sich vor, Sie möchten ein Programm schreiben, um festzustellen, ob eine Person lächelt oder die Stirn runzelt.

In den 1990er- oder frühen 2000er-Jahren gingen die Menschen an die Sache heran, indem sie eine lange, komplizierte Liste von Regeln aufstellten, um anhand der Pixel eines Bildes zu erkennen, ob es sich um ein Lächeln oder ein Stirnrunzeln handelte.

Heutzutage gibt es einen viel besseren Weg, aber man braucht viel Wettbewerbskraft. Sie würden 1000 Bilder von lächelnden Menschen und 1000 Bilder von stirnrunzelnden Menschen sammeln und entscheiden, dass es eine Formel gibt, um von den Werten in den Pixeln zu einer 1 für „Lächeln“ und einer 0 für „Stirnrunzeln“ zu gelangen … nur dass wir das nicht tun Kenne die Formel!

Keine Sorge, wir können einfach viele verschiedene Formeln ausprobieren. Derjenige, der das richtige Lächeln und Stirnrunzeln hervorruft, ist der Richtige.

Die Idee, Anweisungen zu schreiben, um zu beschreiben, wie ein Bild zu interpretieren ist, scheint weit hergeholt. Aber einer der bekanntesten Algorithmen zur Fingerabdruckerkennung, der Bozorth-Algorithmus, besteht aus 1775 Codezeilen, die beschreiben, wie man Minutien (Merkmale wie Kreuzungen und Sackgassen) in einem Fingerabdruckbild findet. Sie können den Bozorth-Code auf Github bestaunen.

Wie kann ein neuronales Netzwerk lernen?

Zunächst beginnen wir mit einigen Annahmen. Wir erlauben nicht irgendeine Formel. Normalerweise besteht unsere Formel darin, die Pixelwerte im Bild zu nehmen und sie wiederholt zu summieren, sie mit einigen unbekannten Werten, sogenannten Gewichtungen, zu multiplizieren, einige andere unbekannte Werte, sogenannte Bias, hinzuzufügen und sie auf Null zu setzen, wenn sie negativ sind, bis wir eine einzelne Zahl erhalten . Ein neuronales Netzwerk für Bilder könnte dies etwa 20 Mal tun. Dies würde als Convolutional Neural Network (CNN) mit 20 Schichten bezeichnet werden.

Wenn Ihr Originalbild also ein Graustufenbild mit 100 x 100 Pixeln (10.000 Zahlen) war, kombiniert das neuronale Netzwerk diese über seine 20 Schichten, um einen einzelnen Wert zwischen 0 und 1 zu erhalten.

Die unbekannten Bestandteile unseres neuronalen Netzwerks sind also die Gewichte und Bias, die zusammen als Parameter bezeichnet werden. Wie finden wir sie?

Nun, wir beginnen mit einer zufälligen Vermutung. Lassen Sie uns alle unsere Parameter auf Zufallszahlen setzen.

Dann können wir sehen, wie gut unser Modell zwischen Lächeln und Stirnrunzeln unterscheiden kann. Die Chancen stehen gut, dass es nicht besser funktioniert als ein Münzwurf, denn genau das haben wir getan: Wir haben eine Zufallsfunktion erstellt.

Aber hier ist das Genie: Wir können einen mathematischen Trick namens Infinitesimalrechnung, die Mathematik der Veränderung, anwenden, um herauszufinden, um wie viel sich jedes Gewicht oder jede Tendenz ändern muss, damit unser Modell Lächeln besser von Stirnrunzeln unterscheiden kann. Und an diesem Punkt wird so ziemlich jede Änderung zu einer Verbesserung führen, weil sie völlig nutzlos ist.

(Infinitesimalrechnung wurde von zwei der großen Wissenschaftler des 17. Jahrhunderts, Isaac Newton und Gottfried Wilhelm Leibniz, entdeckt. Sie stritten sich darum, wer zuerst dort ankam und wer wen plagiierte, aber keiner von ihnen konnte ahnen, wie neuronale Netze verwendet werden würden, um Memes in sozialen Netzwerken zu empfehlen Medien heute.)

Anschließend passen wir die Parameter ein wenig in die Richtung an, die die Leistung des Modells verbessert und es bei der Erkennung von Lächeln und Stirnrunzeln auf unseren 1000 Bildern verbessert.

Wir würden diese Anpassung tausende Male durchführen. Wenn wir alles richtig eingerichtet haben, erwarten wir, dass das Modell allmählich besser darin wird, Grinsen und Grimassen zu erkennen.

In der Praxis gibt das Modell nicht genau 1 oder 0 aus. Es werden unordentliche Zahlen wie 0,86532 ausgegeben. Wir können eine Zahl namens Verlustfunktion berechnen, die angibt, wie weit diese Werte von den korrekten Nullen und Einsen entfernt sind. Mit der Zeit wird die Verlustfunktion kleiner.

Das Beispiel, das ich oben beschrieben habe, bezieht sich auf ein CNN. CNNs wurden zur Bildklassifizierung entwickelt. Aber neuronale Netze können noch viele andere Dinge tun.

Ein aktuelles heißes Thema sind Transformer , die sich sehr gut mit Sprachdaten (Text, Sounddateien usw.) auskennen. . Sie arbeiten, indem sie eine Wortfolge durchgehen und die Aufmerksamkeit auf andere Wörter an anderer Stelle im Satz richten, die für die aktuelle Arbeit relevant sind. Die beliebtesten Sprachen auf Google Translate nutzen inzwischen Transformer-Netzwerke, und OpenAIs GPT-3 ist ein äußerst leistungsfähiges und hochentwickeltes Transformer-Netzwerk.

Sie können auch über LSTMs (Long Short Term Memory Networks) verfügen, die sich gut an Informationen von früher in einem Dokument erinnern können.

Transformer und LSTMs eignen sich auch gut für die Spracherkennung. 

Ich habe darüber geschrieben, wie ähnlich neuronale Netze dem menschlichen Gehirn sind hier .