Pathways Language Model (PaLM)

Was kann PaLM leisten?

PaLM und insbesondere PaLM 2 kann viele Funktionen bieten, darunter die folgenden:

• Textgenerierung. PaLM 2 generiert Text zu jedem beliebigen Thema, das ein Benutzer mit Hilfe einer Texteingabeaufforderung anfordert.
• Zusammenfassen. Eine weitere Kernfunktion, die große Mengen von Inhalten in einer kompakteren Form zusammenfasst.
• Inhaltsanalyse. Diese Funktion hilft dem Benutzer zu verstehen, was in einem bestimmten Inhaltsblock enthalten ist. Dazu kann auch eine Stimmungsanalyse gehören, um festzustellen, ob der Ton des Inhalts positiv oder negativ ist.
• Begründen. Ein verbessertes Attribut des PaLM-2-Modells ist die Fähigkeit, Schlussfolgerungen zu ziehen. PaLM 2 verfügt über einen vielfältigen Datensatz, der wissenschaftliche Arbeiten und Inhalte mit mathematischen Ausdrücken umfasst. Dieser Datensatz verbessert die Fähigkeit des Modells, logisch und mit gesundem Menschenverstand über Problemstellungen nachzudenken, die von den Benutzern über eine Eingabeaufforderung bereitgestellt werden.
• Code-Generierung. PaLM 2 generiert Programmiercode in 80 verschiedenen Sprachen, darunter Java, JavaScriptund Python.
• Code-Analyse. Das Modell kann sich einen Codeblock ansehen und potenzielle Bugs oder Programmierfehler identifizieren.
• Textübersetzung. PaLM ist in mehreren Sprachen trainiert und kann Textübersetzungen durchführen.

Wie funktioniert PaLM?

PaLM verwendet ein auf einem neuronalen Netzwerk basierendes Modell, das gemeinhin als Transformer bezeichnet wird. Im Wesentlichen ähnelt PaLM den konkurrierenden transformerbasierten Modellen, einschließlich der GPT-3- und GPT-4-Modelle von OpenAI.

PaLM verwendet das von Google entwickelte maschinelle Lernsystem Pathways, um ein Modell über mehrere Pods von Tensor Processing Units zu trainieren. Das Modell verwendet eine Technik, die als few-shot learning bekannt ist und mit der es aus einer begrenzten Anzahl von beschrifteten Beispielen, den so genannten shots, lernt, um sich schnell anzupassen und neue Aufgaben oder Klassen mit minimaler Datenbeschriftung (Data Labeling) zu verallgemeinern.

Als Transformer-Netzwerk versteht und erstellt PaLM Muster in allen Inhalten, einschließlich Text und Code. Das Transformer-Modell durchläuft einen umfassenden Lernprozess, in dem es statistische Muster und Verbindungen zwischen Wörtern und Phrasen im Inhalt aufdeckt. Dieses erworbene Wissen versetzt PaLM in die Lage, Antworten zu generieren, die sowohl kohärent als auch in verschiedenen Kontexten relevant sind.

Was sind die Grenzen von PaLM?

PaLM ist zwar sehr leistungsfähig, hat aber die folgenden Einschränkungen in Bezug auf die Nutzung und die Fähigkeiten sowie weitere bedenkliche Punkte.

• Verwendung. PaLM ist ein von Google entwickeltes und veröffentlichtes Modell. Mit der Einführung von PaLM 2 hat Google eine gewisse Nutzung für externe Entwickler über API, Firebase und Colab ermöglicht; die kommerziellen Nutzungsbedingungen sind jedoch nicht eindeutig. Externe Entwickler können keinen neuen Code beisteuern oder bei der Entwicklung von PaLM helfen, da es sich um ein proprietäres Modell und nicht um Open Source handelt.
• Images. PaLM 2 kann visuelle Ergebnisse als Teil einer Abfrage einbringen. Was es nicht ganz alleine kann, ist neue Bilder zu generieren. Google lässt jedoch zu, dass Tools, die mit PaLM 2 erstellt wurden - einschließlich Bard - mit Unterstützung erweitert werden. Zum Beispiel kann Bard mit Adobe Firefly verbunden werden, damit Nutzer KI-generierte Bilder erstellen können.
• Erklärbarkeit. PaLM ist ein geschlossenes Modell und bietet nur wenige - wenn überhaupt - Details, um erklärbare KI zu unterstützen, was für Benutzer und Organisationen entscheidend ist, um zu verstehen, wie ein Modell zu einer bestimmten Entscheidung kommt. Erklärbare KI ist ein Thema von wachsender Bedeutung, da sie es Nutzern und Unternehmen ermöglicht, Modelle besser zu verstehen, so dass ihnen mehr Vertrauen entgegengebracht werden kann.
• Toxische Inhalte. Eine wichtige Einschränkung von PaLM, die von Google-Forschern festgestellt wurde, ist das Risiko toxischer Inhalte - Inhalte, die als voreingenommen, bösartig oder schädlich für die Nutzer ausgelegt werden können.

Im PaLM 2 Technical Report fassten Google-Forscher dies so zusammen: Prompted-Dialogsysteme, die auf der Grundlage von PaLM 2 aufgebaut sind, produzieren weiterhin toxische Sprachschäden und weisen Muster der Verzerrung auf, wie diese Auswirkungen je nach Sprache und Abfragen im Zusammenhang mit Identitätsbegriffen variieren. 

Unterschiede zwischen PaLM und GPT-3 und GPT-4

Es gibt viele Ähnlichkeiten und Unterschiede zwischen PaLM und OpenAIs GPT-3/4-LLMs. Beide Technologien werden im Allgemeinen als generative KI bezeichnet, und beide profitieren von der Verwendung eines Transformer-Modells für Deep Learning. Beide Technologien können auch Texte erstellen, zusammenfassen und verstehen.

Geschichte von PaLM

Google kündigte PaLM im April 2022 an. Die erste Version des Sprachmodells enthielt 540 Milliarden Parameter.

Google-Forscher stellten in einem Forschungspapier mit dem Titel PaLM: Scaling Language Modeling with Pathways(PaLM: Skalierung der Sprachmodellierung mit Pathways) erste Messwerte zur Leistung von PaLM zur Verfügung und erläuterten darin ausführlich die Innovationen, die das Modell einführt. Das Modell blieb bis zum 17. März 2023 geheim, als Google eine erste Reihe von öffentlichen APIs zur Verfügung stellte, damit Entwickler das Modell ausprobieren konnten. Am 10. Mai 2023 wurde PaLM 2 auf der Google I/O-Konferenz öffentlich angekündigt.

Zum Zeitpunkt der Markteinführung von PaLM 2 gab Google die Größe des Modells in Bezug auf die Parameter nicht öffentlich bekannt, obwohl es viele Behauptungen darüber aufstellte, dass das Modell größer und leistungsfähiger sei und insgesamt eine bessere Leistung als das ursprüngliche Modell biete.

Google gab bekannt, dass PaLM 2 als Grundlage für viele seiner generativen KI-Bemühungen, einschließlich Bard, verwendet wird.

Es ist unklar, ob es in Zukunft ein PaLM-3-Modell geben wird. Auf der Google I/O 2023 sagten Führungskräfte des Unternehmens, dass die nächste Generation des LLM, die von der Organisation entwickelt wird, Gemini heißt. Es ist nicht klar, in welcher Beziehung Gemini zum PaLM-basierten Ansatz steht.