kirill_makarov - stock.adobe.com
GPT4All: Open Source ChatGPT-Klon für Offline-Einsatz
Mit GPT4All ist es möglich, einen ChatGPT-ähnlichen Client Offline im eigenen Netzwerk zu verwenden. Die Konfiguration ist einfach und die Lösung bietet zahlreiche KI-Funktionen.
ChatGPT wird von immer mehr Nutzern verwendet, um Informationen zu erhalten oder Arbeit zu erleichtern. Allerdings sind für die KI-Anwendung eine Internetverbindung und ein Konto bei OpenAI erforderlich. Die Open-Source-Software GPT4All ist ein Klon von ChatGPT, der schnell und einfach lokal installiert und genutzt werden kann. Damit können Nutzer im eigenen Netzwerk einen ChatGPT-ähnlichen Service verwenden, ohne dass Anfragen über das Internet gesendet werden müssen.
In lokal betriebenen KI-Umgebungen ist Google derzeit die größte Konkurrenz. Denn Open Source ermöglicht es Unternehmen, umfangreiche und leistungsfähige KI-Modelle zu nutzen, ohne auf externe Dienstleister angewiesen zu sein. Die Open-Source-Sprachmodelle sind jedoch noch nicht so hochwertig wie die Anwendungen von OpenAI oder Google Bard. Programme wie GPT4All ermöglichen den Einsatz verschiedener KI-Sprachmodelle, die eine gute Qualität bieten, darunter Snoozy oder Vicuna.
Eigene Chat-KI im lokalen Netzwerk installieren
Ein großer Vorteil von GPT4All ist, dass die Open-Source-Lösung schnell einsatzbereit und leicht zu installieren ist. Die Integration erfolgt über einen Installer, der für Windows beziehungsweise Windows Server, macOS und Linux verfügbar ist. Bei der Einrichtung unterstützt ein Assistent.
Die Basisinstallation hat eine Größe von rund 170 MB. Über die Benutzeroberfläche lassen sich die Sprachmodelle herunterladen, die später in der Umgebung zur Verfügung stehen. Diese benötigen allerdings mehr deutlich Speicherplatz. Die Größe ist beim jeweiligen Modell angegeben. Das beliebte KI-Modelle Snoozy benötigt zum Beispiel rund 8 GB Speicherplatz.
Es stehen aber auch die OpenAI-Sprachmodelle zur Verfügung, zum Beispiel GPT-4 und GPT-3.5. Da diese jedoch nicht frei verfügbar sind, wird ein API-Key für diese Modelle benötigt. Hierfür ist ein Konto bei OpenAI erforderlich. Fragen zu diesem Modell können von GPT4All an ChatGPT gesendet werden.
GPT4All verwendet KI-Modell GPT4All-J
GPT4All verwendet das Open Source KI-Modell GPT4All-J. Allerdings zeigt sich schnell, dass der Chatbot nicht so umfangreich und effektiv arbeitet wie ChatGPT. Wenn der API-Key zu GPT-3 oder GPT-4 genutzt werden, sind die Ergebnisse deutlich besser. Wenn es um Datenschutz geht, ist die Verwendung von GPT4All und ein freies Sprachmodell aber empfehlenswert. Hinsichtlich der Qualität der Antworten sind ChatGPT und die Modelle GPT-3 sowie GPT-4 besser.
Bei Verwendung von Snoozy oder Vicuna ist die Qualität der Antworten hoch und es ist keine Internetverbindung erforderlich. Allerdings kann die KI dadurch keine aktuellen Informationen aus dem Internet verwenden. Die Antwortgeschwindigkeit hängt wiederum von der Leistungsfähigkeit des jeweiligen Computers ab, da dieser die KI-Anfragen verarbeitet. Standardmäßig nutzt GPT4All nicht die GPU des Computers, sondern die CPU. Damit GPT4All optimal funktioniert, sollte der Computer möglichst aktuell sein.
GPT4All in der Praxis
Nach dem Start von GPT4All und dem Download eines ersten Large Language Models (LLM) kann im oberen Teil des Fensters das gewünschte Sprachmodell ausgewählt werden. Danach kann der Benutzer im unteren Bereich eine Frage stellen und erhält die Antwort auf Basis des gewählten Modells. Über die Icons im oberen Bereich lassen sich verschiedene Einstellungen für den Chatbot vornehmen.
Natürlich können lokal betriebene Chatbots derzeit noch nicht mit der Qualität von ChatGPT mithalten, doch sie zeigen, welche Möglichkeiten es gibt und bieten wesentlich höhere Datenschutzstandards. Mit lokalen Modellen ist es aber nicht möglich, Daten selbst zu integrieren, mit denen das Modell lernt. Zudem ist die deutsche Sprache in den Open-Source-Modellen noch nicht optimal. Es ist zwar möglich, Fragen auf Deutsch zu stellen, doch der Chatbot antwortet auf Englisch.
FreedomGPT und AutoGPT: Alternativen zu GPT4All
Neben GPT4All gibt es noch weitere Lösungen, um KI-Sprachmodelle lokal zu nutzen. Prominente Alternativen in diesem Bereich sind FreedomGPT und AutoGPT. Diese Modelle unterscheiden sich jedoch von GPT4All. FreedomGPT kann derzeit nicht mit der Qualität von GPT4All oder ChatGPT mithalten.
AutoGPT verfolgt einen anderen Ansatz. Die lokale Installation verwendet OpenAI-Modelle. AutoGPT kann aber mehr als nur Fragen beantworten. Das KI-Programm kann selbstständig Projekte durchführen und Aktionen erzeugen. Dazu erstellt AutoGPT selbstständig eigene Aufgaben, die es ausführt. Das Tool ist somit in der Lage, Aufgaben mit KI zu automatisieren.
