Die Algorithmen ahmen die Vernetzung zwischen Neuronen im menschlichen Hirn nach. Dank immer billigerer Rechenkraft wurden diese künstlichen neuronalen Netze immer größer. Sie können mit immer mehr Daten trainieren und subtile Muster darin erkennen. Das geht auch mit Sprache. Das Sprachmodell, auf dem Chat-GPT basiert, wurde mit Texten von Milliarden Websites und Millionen Büchern trainiert. Es erlernte dabei aber kein konsistentes Weltwissen. Sprachmodelle fertigen nur ein statistisches Modell über Wortfolgen an. Bei einem gegebenen Textanfang können sie berechnen, welches Wort am wahrscheinlichsten als nächstes folgt. So entsteht Wort für Wort ein neuer Text.
Christian J. Meier, sueddeutsche.de, 28.3.2023 (online)
