Kontextfenster

Was ist ein Kontextfenster?

Ein Kontextfenster ist ein Textbereich um ein Ziel-Token, den ein großes Sprachmodell (Large Language Model, LLM) zum Zeitpunkt der Informationsgenerierung verarbeiten kann. In der Regel verwaltet das LLM das Kontextfenster einer Textsequenz, analysiert die Passage und die gegenseitige Abhängigkeit ihrer Wörter und kodiert Text als relevante Antworten. Dieser Prozess der Katalogisierung von Teilen einer Textsequenz wird als Tokenisierung bezeichnet.

Als Aufgabe der Verarbeitung natürlicher Sprache (Natural Language Processing, NLP) ist ein Kontextfenster auf allgemeine Belange der künstlichen Intelligenz (KI) anwendbar, neben maschinellem Lernen und Techniken des Prompt Engineerings, unter anderem. Beispielsweise können die Wörter oder Zeichen in einem Satz in mehrere Token segmentiert werden. Die Positionskodierung in der generativen KI bestimmt die Platzierung der Token innerhalb dieser Textsequenz.

Die Größe des Kontextfensters ist die Anzahl der Token, die sowohl vor als auch nach einem bestimmten Wort oder Zeichen stehen – dem Ziel-Token – und bestimmt die Grenzen, innerhalb derer die KI effektiv bleibt. Die Größe des Kontextfensters umfasst eine Reihe von Benutzer-Prompts und KI-Antworten aus det jüngsten Benutzerhistore. Die KI kann jedoch nicht auf einen Datensatzverlauf zugreifen, der außerhalb der definierten Größe des Kontextfensters liegt, und generiert stattdessen unvollständige, ungenaue Ergebnisse.

Darüber hinaus interpretiert die KI die Token entlang der Kontextlänge, um neue Antworten auf die aktuelle Benutzereingabe oder das Eingabeziel-Token zu erstellen.

Warum sind Kontextfenster in Large Language Models (LLM) wichtig?

Ein Kontextfenster ist ein entscheidender Faktor bei der Bewertung der Leistung und der Bestimmung weiterer Anwendungen von LLMs. Die Fähigkeit, schnelle, relevante Antworten auf der Grundlage der Token um das Ziel herum im Textverlauf zu liefern, ist ein Maßstab für die Leistung des Modells. Eine hohe Token-Grenze deutet auf ein höheres Intelligenzniveau und größere Datenverarbeitungskapazitäten hin.

Kontextfenster können Textbegrenzungen für intelligente KI-Antworten festlegen, um lange Antworten zu vermeiden und Texte in einer durchgängig lesbaren Sprache zu generieren. Das KI-Tool generiert jede Antwort innerhalb der festgelegten Parameter und trägt so zu einer Echtzeit-Konversation bei.

In ähnlicher Weise überprüft ein Kontextfenster sowohl links als auch rechts vom Ziel-Token im Text, und das KI-Tool identifiziert und zielt auf die umgebenden Datensätze des Ziel-Tokens ab. Dadurch werden unnötige Überprüfungen des Konversationsverlaufs vermieden und nur relevante Antworten bereitgestellt.

Vorteile großer Kontextfenster

Große Kontextfenster haben mehrere Vorteile. Zu den wichtigsten Vorteilen gehören:

• Zeitersparnis. Das generative KI-Tool lokalisiert die Datensätze auf beiden Seiten des Ziel-Tokens und vermeidet irrelevante Daten in Bezug auf das Eingabe-Ziel-Token. Tatsächlich kann ein gut definiertes Kontextfenster, insbesondere ein größeres Kontextfenster, Vorgänge beschleunigen.
• Akzeptiert große Eingaben. Ein großes Kontextfenster ist ein starker Indikator für die semantische Fähigkeit von LLMs, Token zu verwalten. LLMs unterstützen linguistische Suchen in der Vektordatenbank mithilfe von Worteinbettungen und generieren letztendlich relevante Antworten durch das Verständnis der mit dem Ziel-Token verbundenen Begriffe.
• Bietet eine detaillierte Analyse. Ein Kontextfenster arbeitet links und rechts vom Ziel-Token, um die Daten tiefgehend zu analysieren. Die Platzierung von Wichtigkeitsbewertungen ermöglicht die Zusammenfassung eines gesamten Dokuments. Die genaue Untersuchung vieler Token fördert Forschung, Lernen und KI-basierte Unternehmensabläufe.
• Ermöglicht Anpassung von Token. Der Encoder-Decoder in LLMs nutzt Mechanismen wie sogenannte attention heads für ein besseres Verständnis kontextueller Abhängigkeiten. In Anwendungsfällen mit langer Kontextlänge kann sich ein LLM selektiv auf die relevante Seite des Ziel-Tokens konzentrieren, um irrelevante Antworten zu vermeiden. Tatsächlich gewährleistet die Optimierung der Token-Nutzung eine schnelle Verarbeitung von langen Texten, während deren Relevanz identifiziert und erhalten wird.

Vergleich von Kontextfenstern führender LLMs

Es gibt unterschiedliche Kontextfenstergrößen für die verschiedenen LLMs, wie die folgenden:

• GPT-3. Generative Pre-trained Transformer (GPT) ist ein großes Sprachmodell für ChatGPT von OpenAI. Die Kontextfenstergröße für GPT-3 beträgt 2.049 Token. Alle GPT-Modelle sind bis September 2021 trainiert.
• GPT-3.5-turbo. GPT-3.5-turbo von OpenAI hat ein Kontextfenster von 4.097 Token. Eine andere Version, GPT-3.5-16k, kann eine größere Anzahl von Token verarbeiten; sie hat ein Limit von 16.385 Token.
• GPT-4. GPT-4 in ChatGPT mit Feinabstimmungsfunktion bietet eine Kontextfenstergröße von bis zu 8.192 Token. GPT-4-32k hat ein größeres Kontextfenster von bis zu 32.768 Token.
• Claude. Das KI-Tool Claude von Anthropic bietet ein Token-Limit von etwa 9.000. Claude befindet sich in der Beta-Phase und die API steht einer begrenzten Anzahl von Echtzeit-Benutzern zur Verfügung.
• Claude 2. Anthropic gab bekannt, dass Claude 2 ein größeres Kontextfenster von bis zu 100.000 Token bietet. Benutzer können ein ganzes Dokument mit etwa 75.000 Wörtern in einer einzigen Eingabeaufforderung für die Claude 2 API eingeben.
• Large Language Model Meta AI (Llama). Meta AI kündigte eine Open-Source-Llama-Familie von LLMs an. Alle Llama-Modelle werden im 16k-Kontextfenster trainiert. Laut ArXiv bietet die Llama-Familie mehr als 100.000 Token.

Kritik an großen Kontextfenstern

Bei großen Kontextfenstern sind einige Probleme zu berücksichtigen, darunter die folgenden:

• Genauigkeit nimmt ab. KI-Halluzination ist die Unfähigkeit, zwischen Token in großen Kontextfenstern zu unterscheiden. Eine Studie der Stanford University (PDF) zeigt, dass die KI-Leistung bei großen Datensätzen abnimmt und ungenaue Informationen liefert.
• Es wird mehr Zeit und Energie benötigt. Große Kontextfenster arbeiten mit zahlreichen komplexen Datensätzen, was die Reaktionszeit erhöht. Die durchschnittliche Zeit, die für die Eingabe und die Erzeugung von Ausgaben benötigt wird, erfordert eine höhere Rechenleistung und verbraucht mehr Strom.
• Kosten steigen. Um die Genauigkeit der Informationen in langen Kontextfenstern aufrechtzuerhalten, steigen die Rechenkosten für generative KI-Tools um den Faktor vier. Höhere Preise sind eine direkte Folge größerer Kontextlängen.