Grenzen generativer KI

Generative KI-Modelle erobern die Welt im Sturm. Es vergeht kaum ein Tag, an dem ich nicht von einem Bekannten höre, der mit Ki-Modellen wie ChatGPT seine Arbeit erleichtern konnte oder einfach nur erstaunt darüber war, wie gut und auch kreativ sie mit uns sprechen. Man könnte fast meinen, sie wären wie wir, denkende Wesen, mit einem Wissen, das erstaunlich ist. Nach der ersten Begeisterung für eine neuartige Technologie stellen sich naturgemäß auch Schwachpunkte heraus. Die Schattenseite der zunächst faszinierenden Kreativität entpuppt sich in der praktischen Anwendung teilweise als Falschinformation, so genannte Halluzinationen. Als Nebeneffekt einer auf zwischenmenschliche Kommunikation ausgerichteten Sprache zeigt sich bei der geschäftlichen oder wissenschaftlichen Anwendung eine oftmals störende Redseligkeit und Tendenz zum Plaudern, die sich in floskelhaften Textpassagen mit wenig bzw. unspezifischem Inhalt manifestieren. Vor einer effektiven und zuverlässigen Anwendung generativer KI-Modelle im geschäftlichen oder wissenschaftlichen Umfeld müssen KI-Systeme spezifisch angepasst werden, um diese Grenzen zu überwinden. Wir benötigen eine Antwort auf die Frage: „Wie passe ich ein KI-Modell so an, dass es genau die Informationen liefert, die ich brauche, ohne etwas dazu zu erfinden und zwar auf eine Art Weise, die zum den passt, was ich für meine Anwendung benötige?“

Grenzen von Information und Verhalten

Um den Unterschied zwischen dieser beiden grundlegenden Grenzen von KI-Modellen zu verstehen, ist es hilfreich eine Grundlagen dieser Modelle zu verstehen. Wenn ich hier von KI-Modellen schreibe, meine konkret so genannte Large Language Models (LLM). Dies sind fortgeschrittene maschinelle Lernmodelle, speziell in der Domäne der natürlichen Sprachverarbeitung (Natural Language Processing, NLP). Diese Modelle sind darauf trainiert, menschliche Sprache zu verstehen, zu interpretieren und in verschiedenen Formen zu erzeugen. Einige der Schlüsselaspekte von LLMs sind deren Größe bzw. Datenmenge (die Menge an Büchern, Artikeln, Websites und anderen Textquellen, mit denen das Modell trainiert worden ist), das Token-Limit (Größe der Texte, die pro Anfrage verarbeitet werden können), welches für das Kontextverständnis des Modells mit verantwortlich ist oder die Modalität (Art und Anzahl der Informationsarten, mit denen das Modell umgehen kann, wie Text, Bild, Audio).

Allen generativen KI-Modellen gemein ist die Tatsache, dass Algorithmen eingesetzt werden, um Muster in Daten zu entdecken und diese dann zu verwenden, um spezifische Ergebnisse vorherzusagen. Bei LLMs sind diese Ereignisse, die vorhergesagt werden, Worte eine Wortfolge. Generative KI-Modelle machen im Grunde nichts anderes als das wahrscheinlichste nächste Wort eine Reihe von Worte vorherzusagen. Auf diese Weise erzeugen sie Schritt für Schritt ganze Texte und lösen komplexe Aufgaben. Ich finde dies immer wieder selbst höchst erstaunlich.

Aufgrund dieser Arbeitsweise ist es offensichtlich, dass die Muster, die ein Modell effektiv vorhersagen kann, vollständig auf den Daten basieren, die zum Trainieren des Modells verwendet wurden. Was passiert aber, wenn ein LLM mit Informationen konfrontiert wird, die es zuvor nicht gesehen hat? Es beginnt, inkorrekte oder sogar logisch seltsam anmutende Ergebnisse zu produzieren. Dies ist das Phänomen der „Halluzinationen“, von dem oft die Rede ist. Faktisch sind diese Halluzinationen also Versuche von Vorhersagen in einem Bereich, zu dem das Modell keine ausreichende Datenabdeckung durch vorheriges Training erhalten hat. In der Tat erinnert mich dieses „Verhalten“ an das Fantasieren von Kindern, wenn diese versuchen über Themen mitzureden, von denen sie noch wenig oder nichts verstehen. So manches Grundschulkind könnte es durchaus in Sachen Halluzinationsfähigkeit mit einem LLM ausnehmen.

Je nach Anwendungs- bzw. Themenbereich kann dieser Mangel auch durch ein nachträgliches Training nur schwer zu beheben sein, da es in der Regel eine Zeitverzögerung gibt zwischen dem Zeitpunkt des Trainings und dem Zeitpunkt, an dem die Vorhersage gemacht wird. Besonders für sich schnell ändernde Informationen wie Nachrichtenereignisse oder Aktienkurse trifft dies zu, aber auch für sehr spezifische Informationen wie den Warenbestand eines Händlers, private bzw. firmeninterne Informationen oder sehr spezifische Informationen wie wissenschaftliche Arbeiten.

Die zweite wichtige Begrenzung von KI-Modellen besteht darin, dass ein Modell so angepasst werden muss, dass die Art und Weise wie Informationen wiedergegeben werden den Erwartungen des Benutzers entsprechen. Diese Erwartungshaltung ist abhängig vom Anwendungsbereich und der Gruppe von Anwendern. Ein einfaches Beispiel ist die Sprache, in der Informationen ausgegeben werden. Bei identischen Trainingsdaten können die Unterschiede in der Art der Darstellung sehr groß sein und ein Modell für manche Einsatzszenarien sogar unbrauchbar machen. Wie soll beispielsweise ein Laie eine medizinischen Text voller Fremdworte verstehen können? Andererseits bringt dem Experten eine zu laienhaft und daher unspezifische Zusammenfassung eine Fachartikels nur begrenzten Nutzen. Dieses Phänomen stellt eine Begrenzung im Verhalten des LLMs dar, die vor eine zuverlässigen Nutzung in einer Anwendung möglichst gut eingestellt werden sollte.

Das Verhalten eines KI-Modells kann so eingestellt werden, dass die Anforderungen ganz konkreter Arbeiten möglichst genau erfüllt werden, beispielsweise das Zusammenfassen eines Textes, das Extrahieren von grundlegenden Stimmungen oder Themen im Text oder deren Ausgabe in vorgegebenen Datenformaten.

Verhaltensgrenzen einstellen mit Fine-Tunings

Im Wesentlichen funktioniert das Fine-Tuning es KI-Modell so, dass Beispiele für die „besten“ (d.h. gewünschten) Ergebnisse als Antwort auf eine bestimmte Eingabe vorgegeben werden, um ein Muster vorzugeben, das vom Modell erlernt werden kann. Es werden Paare von Trainingsdaten erstellt, die je eine Eingabe und eine passende Ausgabe als Reaktion auf diese Eingabe umfassen. Um zum Beispiel das Modell dazu zu bringen Antworten in einem bestimmten Format zu erzeugen, gibt man ausreichend viele Antworten im gewünschten Format vor und trainiert das LLM darauf, sich dieser Art der Darstellung anzupassen.

Informationsgrenzen mit Text-Embeddings überwinden

Der einfachste Weg, die LLMs mit Daten zu verbessern, die sie ursprünglich nicht hatten, als sie trainiert wurden, besteht darin, diese Informationen manuell in die Eingabe (Prompt) einzufügen. Diese Verbesserung der Aufforderung mit nützlichen Informationen oder Anweisungen wird als Prompt-Engineering bezeichnet und wird im nachfolgenden Abschnitt näher betrachtet. Zusatzinformationen, die für eine optimale Bearbeitung einer Anfrage benötigt werden, können jedoch auch automatisiert in dem Prompt ergänzt werden. Hierzu kommen hauptsächlich zwei Wege zum Einsatz, auf denen diese Daten gewonnen werden:

1. 1. APIs: Benötigte Daten können von einer API bereitgestellt werden, die aufgerufen wird und deren Ergebnisse in den Prompt eingefügt werden. Ein Beispiel hierfür wäre der aktuelle Preis einer bestimmten Ware, der programmatisch vom Warenwirtschaftssystem eines Händlers abgerufen werden könnte.
2. 2. Vektordatenbanken: Relevante Informationen (z.B. Dokumente, strukturierte und unstrukturierte Daten) können in mathematische Vektoren umgewandelt werden, die die Bedeutung des Textes repräsentieren. Die Dimensionen dieser Vektoren definieren eine Art „Bedeutungsraum“, in dem unabhängig von exakten Worten Ähnlichkeiten mathematisch erkannt werden können. Eine Vektordatenbank speichert diese Vektoren und ermöglicht es, schnell und effizient im Bedeutungsraum nach passenden Informationen zu einer Anfrage zu suchen. Dann können die Daten oder Texte, die mit gefundenen Vektoren verbunden sind, in den Prompt eingefügt werden.

Zum Beispiel möchte ein Unternehmen, dass seine eigenen Richtlinien und Verfahren vom KI-Modell verwendet werden, um seinen Mitarbeitern gezielte und Handlungsempfehlungen zu geben. Die Richtliniendokumente könnten in logische Teile zerlegt, vektorisiert und in der Datenbank gespeichert werden. Für eine Anfrage könnten jeweils die fünf passendsten Textabschnitte zurückgeben und als Kontext in den Prompt eingefügt werden. Auf diese Weise kann sichergestellt werden, dass das Modell stets geeignete Daten zur Erfüllung seiner Aufgaben vorliegen hat und wird daher nicht zum Halluzinieren verleitet.

Prompt-Engineering, das „Schweizer Taschenmesser“ für KI-Modelle

Das Überwinden von Informations- und Verhaltensbeschränkungen in Large Language Models (LLMs) kommt nicht für alle denkbaren Einsatzszenarien in Frage, da für beides ein relativ großer Aufwand getrieben werden muss. Hier kommt das so genannte Prompt-Engineering ins Spiel, eine Technik, die durch geschickte Formulierung der Eingabeaufforderungen (Prompts) diese Grenzen umgehen bzw. justieren kann. In vielen Fällen kann die Einstellung eines LLMs mittels Prompt-Engineering ausreichen, um gute Ergebnisse für eine Anwendung zu erhalten. Oft ist es auch sinnvoll Prompt-Engineering in Kombination die den oben genannten Techniken einzusetzen, um optimale Ergebnisse zu erzielen.

Durch Prompt-Engineering kann man einem KI-Modell zusätzliche Kontextinformationen oder spezifische Anweisungen in der Eingabeaufforderung mitgeben. Beispielsweise könnte ein Nutzer, der sehr spezifischen Informationen über ein Thema benötigt, diese als Kontext für seine Frage mit in den Prompt hineinkopieren und das Modell dazu anweisen genau diese und keine anderen Informationen zur Beantwortung einer Frage heranzuziehen. Die maximale Textgröße des Prompts (siehe Token-Limit oben) kommt hierbei eine entscheidende Bedeutung zu, wie auch den durch die Anfragengröße entstehenden Kosten.

Ebenso kann mittels geeigneter Prompt-Eingaben die Art und Weise gesteuert werden, wie ein LLM auf eine Eingabe reagiert - zum Beispiel, ob es einen informativen Text generiert, eine Frage beantwortet oder eine kreative Geschichte erzählt. So können Verhaltensgrenzen des KI-Modells durch Prompt-Engineering eingestellt werden.

Einsatz von generativen KI-Modellen für geschäftliche Anwendungen

Abschließend lässt sich feststellen, dass generative KI-Modelle ein enormes Potenzial für geschäftliche Anwendungen bieten. Die Herausforderungen, die mit ihren Grenzen verbunden sind – sei es in Bezug auf die Informationsbeschaffung oder das Verhalten der Modelle – können durch gezielte Strategien wie Fine-Tuning, Text-Embeddings in Kombination mit gezieltem Prompt-Engineering effektiv angegangen werden.

Im geschäftlichen Kontext, wo Präzision, Relevanz und Effizienz entscheidend sind, erweisen sich diese Justierungen von KI-Modellen durch Prompt-Engineering und Text-Embeddings als besonders effektiv. So können spezifische Informationen integriert und das gewünschte Verhalten des Modells für den jeweiligen Anwendungsfall optimiert werden, ohne die Notwendigkeit eines umfassenden und oft ressourcenintensiven Nachtrainings.

Die Anwendungsbereiche sind vielfältig: Von der Automatisierung routinemäßiger Aufgaben über die Bereitstellung maßgeschneiderter Kundeninteraktionen bis hin zur Unterstützung bei komplexen Entscheidungsprozessen. Die Kombination aus technologischer Innovation und kreativer Anwendung eröffnet neue Horizonte für Geschäftsmodelle und Arbeitsabläufe.

Die effektive Nutzung generativer KI-Modelle in der Geschäftswelt erfordert eine Kombination aus technologischem Verständnis, strategischem Einsatz und kreativer Anpassung. Unternehmen, die diese Technologien geschickt einsetzen, werden letztlich einen entscheidenden Wettbewerbsvorteil gegenüber anderen erzielen, die nicht rechtzeitig auf diesen Zug aufspringen.

Referenzen

• Prompt Engineering Guide – Retrieval Augmented Generation (RAG) (https://www.promptingguide.ai/techniques/rag)
• IBM – What is retrieval-augmented generation? (https://research.ibm.com/blog/retrieval-augmented-generation-RAG)
• ml-ops.org – Machine Learning Operations (https://ml-ops.org/)
• Korash Hernandez – Fine-Tuning vs. Embedding: Unleashing the Power of LLMs (https://www.linkedin.com/pulse/fine-tuning-vs-embedding-unleashing-power-llms-korash-hernandez/)

Bilder bzw. Basismaterial von Grafiken teilweise bereitgestellt durch Envato Elements.