Selbst-lernende LLMs mit RAG Anbindung

Einführung

In diesem Blog zeigen wir Ihnen, wie KI aus ihren Fehlern lernt, und durch einmalige Korrekturen ihre zukünftigen Ergebnisse verbessern kann. Diese Technik kann für jeden Arbeitsprozess der LLMs mit RAG Anbindung verwendet mit wenig Aufwand eingebunden werden. Zur Veranschaulichung wird der Prozess von automatisierter Dokumentenverarbeitung herangezogen.

Problem

LLMs können nur eine bestimmte Menge an Daten verarbeiten, bevor sie mit neuem Input überfordert sind. Dieser limitierte „Context“ macht es notwendig, immer wieder neue Instanzen zu erstellen, die nicht auf die Ergebnisse ihrer Vorgänger zugreifen können, und ähnliche Fehler produzieren.

Diesem Problem kann teilweise mit speziellen Nachrichten (System Prompts), die dem System die wichtigsten DOs und DON’Ts mitteilen, entgegengewirkt werden. Sollte sich jedoch ein neues Problem ergeben, muss dieser Prompt angepasst und getestet werden, ob durch die Änderungen keine vorangegangene Probleme auftreten.

Mit der Methode von RAG, bei der spezifische Informationen basierend auf der Frage aus einer Datenbank extrahiert und der Frage als Kontext beigefügt werden, kann diese Problematik überwunden werden.

Unsere Umsetzung

Durch die Notwendigkeit, Fehler des LLMs zu korrigieren, braucht es einen „Human-in-the-loop“, einen Menschen, der die Ausgaben der KI überprüft und absegnet. Initial falsche, korrigierte Ausgaben können mit unserem System an die RAG-Datenbank übermittelt werden, und somit in einer zukünftigen Anfrage als Kontext fungieren. Dadurch erhöht sich nachweisbar die Wahrscheinlichkeit, dass der gleiche Fehler bei einem zukünftigen Dokument nicht mehr auftritt, ohne einen neuen Arbeitsschritt (Anpassung des System Prompts) in der Ablauf einzuführen.

Am Beispiel der Blumatix Intelligence GmbH, eine Firma welche automatisiert Rechnungsdaten extrahiert und verarbeitet, konnte die Implementierung erfolgreich getestet werden. Dokumente welche bei erstmaliger Verarbeitung fehlerhafte Daten lieferten (z.B. Umsatzsteuer-Nummer, Netto-Betrag, …) wurden nach der Korrektur und Einspeisung in die Datenbank korrekt als Kontext extrahiert und der Inhalt richtig klassifiziert.

Fazit

Die Implementierung des FHS-Blumatix Prototypen brachte eine Verbesserung gegenüber Kontext-losen LLMs in allen 6 getesteten Teilbereichen gegenüber dem Referenz-Wert. Vor allem im zuvor schwierigsten Teilbereich ließ sich eine deutliche Steigerung erkennen.

Diese Technik bildet eine simple und unaufwändige Möglichkeit, wiederkehrende Fehler effizient zu minimieren und kann für eine große Bandbreite an Anwendungen eingesetzt werden.

Referenzen