Prompt-Optimierung mit DSPy

Einführung

Prompt-Optimierung wird immer wichtiger, weil LLM in Lern- und Arbeitsprozessen zuverlässig, konsistent und strukturiert antworten müssen. DSPy (Declarative Self-improving Python) hilft dabei, indem man Aufgaben deklarativ beschreibt und Prompts bzw. Komponenten automatisch anhand von Beispielen und Metriken optimieren lässt – statt alles manuell zu „prompten“.

Problem

Manuelle Prompt-Iterationen sind zeitaufwendig, schwer reproduzierbar und oft instabil: Kleine Änderungen am Input oder Modell führen zu stark unterschiedlichen Ergebnissen. Gleichzeitig steigen die Erwartungen an Qualität und genau das lässt sich ohne systematische Optimierung nur schwer skalieren.

Unsere Umsetzung

In Zusammenarbeit mit der Firma Blumatix GmbH wurde ein Proof-of-Concept für einen automatisierten Prompt-Optimierungsworkflow für die Extraktion von Rechnungsdaten entwickelt, der auf dem DSPy-Framework basiert. Statt Prompts manuell zu iterieren, nutzt das System MIPROv2- und GEPA-Optimierer, um Prompts systematisch zu verbessern. Folgende Kernkomponenten wurden verwendet für das Projekt.

• DSPy-Framework mit Signatures & Pydantic: Statt manueller Prompts definieren wir deklarative Signatures, die Input/Output-Schnittstellen beschreiben. Die Ausgabe erfolgt über Pydantic-Modelle, die automatisch aus einer Contract-Datei generiert werden. DSPy kompiliert diese Signatures zu optimierten Prompts und nutzt die o.g. Optimierer für reflektive Verbesserungen basierend auf F1-Score, Precision und Recall.
• Contract-First Architektur: Zentrales JSON-Schema wird automatisch in Pydantic-Modelle generiert – verhindert Schema-Drift und gewährleistet Konsistenz.
• Tiered Ground Truth & Regression-Check: Kombination aus manuellen (Tier-1) und synthetischen (Tier-2) Ground-Truth Daten ermöglicht sichere Optimierung. Regression-Checks stellen sicher, dass nicht-trainierte Felder nicht verschlechtert werden.
• Guardrail Pre-Filter: Ein Content-Filter schließt problematische Dokumente vor dem Training aus.

Fazit

Die automatische Prompt-Optimierung mit DSPy zeigt, dass datengetriebene Ansätze die manuelle Prompt-Entwicklung deutlich übertreffen können. Durch systematische Evaluierung und metrik-basierter Auswahl erreichen wir nicht nur höhere Extraktionsgenauigkeit, sondern auch bessere Reproduzierbarkeit und geringeren Wartungsaufwand. Die Kombination aus DSPy, automatischer Optimierung und qualitätssichernden Mechanismen macht LLM-basierte Extraktion zu einer potentiellen produktionsreifen Lösung für die strukturíerte Datenextraktion aus Dokumenten.

Gerne optimieren und automatisieren wir Ihre Prozesse. Hierfür senden Sie gerne eine Mail an: markus.tatzgern@fh-salzburg.ac.at