KIs, die eigene Texte schreiben können sind in den Sozialen Netzwerken längst ein Trendthema geworden, welches viele Menschen fasziniert. Das Forschungsgebiet ist breit gefächert und reicht von der Maschinellen Übersetzung, der Maschinellen Zusammenfassung über das automatisierte Erstellen von Geschichten oder Gedichten.
Ein Standard-Werkzeug, das für Text-KIs verwendet wird sind LSTM-Netze. LSTM-Netze sind in der Lage durch ein Gedächtnis mehrere Sätze zu Verarbeiten und dadurch Satzstruktur und auch Kontext zu lernen.
LSTMs können aber nur wenige Sätze verarbeiten, was eine Limitierung darstellt. Google’s Antwort darauf war die Transformer-Architektur, die in der Lage war deutlich mehr Sätze bis hin zu ganzen Artikeln zu verarbeiten und dadurch auch deutlich mehr Kontext zu erfassen.
Das Problem der Transformer-Architektur ist aber die hohe Rechenleistung, die dafür nötig ist. Die Architektur besteht aus mehreren Schichten von denen jede mehrere Gigabyte genötigt. Transformer ist deshalb nicht skalierbar, obwohl durch die Skalierung eine noch größere Menge von Sätzen verarbeitet werden könnte. Der Grund für die hohe Rechenleistung ist, dass Transformer alle möglichen Wortkombinationen der zu verarbeitenden Sätze betrachten, um den Kontext verstehen zu können. Bei großen Texten wird die Zahl der betrachteten Wortpaare schnell sehr groß.
Die neue Google Architektur Reformer allerdings benötigt insgesamt nur 16 Gigabyte. Die Reformer-Architektur soll bis zu einer Million Wörter verarbeiten können. Damit ist eine deutliche Steigerung zur Transformer-Architektur gelungen, die nur Wörter im Tausenderbereich verarbeiten kann. Der Trick der neuen Architektur besteht darin, dass die Wörter in Gruppen mit ähnlicher Bedeutung eingeteilt werden. Zur Kontextbestimmung werden nur noch die Wörter innerhalb der Gruppen zusammen betrachtet und nicht mehr alle möglichen Wortpaare.
Reformer soll sogar ganze Romane verarbeiten können. Wer die Architektur einmal testen möchte, kann dies in Google Colab kostenfrei ausprobieren: