RAG oder Fine-Tuning: Was Unternehmen wirklich brauchen

Fast jedes KI-Projekt, das wir mit Kunden besprechen, beginnt mit derselben Frage: „Sollten wir ein Modell mit unseren Daten feinabstimmen?“ Manchmal lautet die Antwort ja. Häufiger besteht der eigentliche Bedarf aber in etwas anderem: einem Assistenten, der Ihre aktuellen Dokumente kennt, seine Quellen angibt und sich an einem Dienstagnachmittag ohne Trainingslauf aktualisieren lässt. Dieser Beitrag erklärt die wichtigsten Optionen in verständlicher Sprache, zeigt, wann welche passt, und hilft Ihnen bei der Entscheidung, ohne Monate in den falschen Ansatz zu investieren.

Die vier Werkzeuge im Kasten#

Wenn von „dem Modell unser Geschäft beibringen“ die Rede ist, ist meist eine von vier unterschiedlichen Techniken gemeint. Sie lösen verschiedene Probleme und lassen sich kombinieren.

Retrieval-Augmented Generation (RAG)#

Bei RAG bleibt das Modell unverändert. Stattdessen durchsucht das System bei jeder Anfrage zunächst Ihre eigenen Inhalte, etwa Handbücher, Verträge, Tickets oder einen Produktkatalog, und übergibt dem Modell die relevantesten Passagen zusammen mit der Frage. Das Modell antwortet dann auf Grundlage dieser Passagen.

Drei Konzepte sind dabei entscheidend:

• Retrieval: die richtigen Passagen finden. In der Regel eine Kombination aus semantischer Suche über Embeddings und klassischer Stichwortsuche, oft gefolgt von einem Re-Ranking.
• Grounding: das Modell anweisen, aus dem bereitgestellten Material zu antworten und dies auch offen zu sagen, wenn das Material die Antwort nicht enthält.
• Zitate: auf das genaue Dokument, die Seite oder die Passage verweisen, aus der eine Antwort stammt, damit ein Mensch sie prüfen kann.

RAG spielt seine Stärken aus, wenn sich Wissen häufig ändert, der Datenbestand groß ist und Antworten überprüfbar sein müssen.

Fine-Tuning#

Beim Fine-Tuning wird ein Modell mit Ihren eigenen Beispielen weitertrainiert, sodass sich sein Verhalten verändert. Es eignet sich gut, um zu vermitteln, wie geantwortet werden soll: ein einheitlicher Ton, ein striktes Ausgabeformat, ein domänenspezifisches Klassifikationsschema oder eine eng umrissene Aufgabe, die tausendfach am Tag ausgeführt wird. Es eignet sich schlecht, um zu vermitteln, was gerade wahr ist. Per Fine-Tuning gelernte Fakten sind schwer zu aktualisieren, schwer auf eine Quelle zurückzuführen und können vermischt oder falsch wiedergegeben werden.

Fine-Tuning ermöglicht es zudem, eine eng umrissene Aufgabe auf ein kleineres, günstigeres und schnelleres Modell zu verlagern, was bei hohem Volumen viel ausmachen kann.

Long-Context-Prompting mit Prompt Caching#

Aktuelle Modelle von Anthropic, OpenAI und mehreren Open-Source-Familien verarbeiten sehr lange Eingaben. Ist Ihre Wissensbasis überschaubar, etwa ein Produkthandbuch, ein Regelwerk oder eine FAQ-Sammlung, können Sie sie oft vollständig direkt in den Prompt aufnehmen. Kein Index, keine Retrieval-Pipeline, keine Entscheidungen zum Chunking.

Der naheliegende Einwand betrifft Kosten und Latenz: Dasselbe große Dokument mit jeder Anfrage zu senden, ist verschwenderisch. Hier setzt Prompt Caching an. Anbieter können einen stabilen Präfix des Prompts zwischenspeichern, sodass wiederholte Anfragen die bereits verarbeiteten Inhalte wiederverwenden und effizienter abgerechnet und beantwortet werden. Für einen stabilen, begrenzten Wissensbestand ist Long Context mit Caching häufig die einfachste Lösung, die funktioniert.

Strukturierte Ausgaben#

Viele „KI“-Projekte sind in Wahrheit Extraktionsprojekte: eine Rechnung, einen Lebenslauf, einen Vertrag oder eine E-Mail lesen und saubere Felder erzeugen. Die entscheidende Fähigkeit ist hier Structured Outputs: Das Modell wird darauf beschränkt, Daten zurückzugeben, die einem von Ihnen definierten Schema entsprechen, zum Beispiel JSON mit bestimmten Feldern und Typen. Dabei geht es überhaupt nicht um Wissen, sondern um ein verlässliches Format, und in Extraktionsaufgaben macht dies Fine-Tuning meist überflüssig.

Wann welcher Ansatz passt#

Eine hilfreiche Denkweise: Trennen Sie Wissen von Verhalten.

• Aktuelles oder sich änderndes Wissen und Antworten, die überprüfbar sein müssen: Setzen Sie auf RAG oder auf Long Context, sofern das Material klein genug ist. Beide erlauben es, Wissen durch Aktualisieren der Dokumente zu pflegen, und beide unterstützen Zitate.
• Stabiles, begrenztes Wissen, das in das Kontextfenster passt: Beginnen Sie mit Long Context und Prompt Caching. Wechseln Sie zu RAG, wenn das Material darüber hinauswächst oder wenn Sie feingranulare Zugriffskontrolle pro Dokument benötigen.
• Einheitlicher Stil, Ton oder einheitliches Format über viele Ausgaben: Versuchen Sie es zunächst mit klaren Anweisungen und einigen guten Beispielen im Prompt. Reicht das bei Ihrem Volumen nicht aus, ist Fine-Tuning eine legitime Option.
• Eng umrissene Klassifikation oder Routing in großem Maßstab: Ein feinabgestimmtes kleineres Modell oder schlicht ein kleineres Allzweckmodell mit gut gestaltetem Prompt ist oft der wirtschaftlichste Weg.
• Extraktion von Feldern aus Dokumenten: Structured Outputs, optional kombiniert mit Dokumenteingaben und Zitaten, damit jeder extrahierte Wert nachvollziehbar bleibt.

Diese Ansätze schließen sich nicht aus. Ein ausgereiftes System kann RAG für das Wissen, Structured Outputs für das Antwortformat und ein kleines feinabgestimmtes Modell für das Routing eingehender Anfragen nutzen.

Direkter Vergleich#

Eine praktische Entscheidungscheckliste#

Bevor Sie sich für eine Architektur entscheiden, beantworten Sie diese Fragen ehrlich:

1. Was genau ist die Aufgabe? Fragen beantworten, Texte entwerfen, klassifizieren oder extrahieren? Notieren Sie fünf reale Beispiele für Eingabe und ideale Ausgabe.
2. Wie oft ändert sich das zugrunde liegende Wissen? Tägliche oder wöchentliche Änderungen sprechen deutlich gegen Fine-Tuning.
3. Müssen Nutzer Antworten überprüfen können? In Recht, Finanzen, Compliance, Support oder im Gesundheitswesen sind Zitate in der Regel unverzichtbar.
4. Wie groß ist die Wissensbasis? Passt sie bequem in ein Kontextfenster, testen Sie zuerst Long Context mit Caching.
5. Wer darf was sehen? Haben verschiedene Nutzer Zugriff auf unterschiedliche Dokumente, benötigen Sie Retrieval mit Berechtigungsfilterung, keinen gemeinsamen Prompt und kein auf alles trainiertes Modell.
6. Welches Volumen und welche Latenz erwarten Sie? Hohes Volumen bei einer eng umrissenen Aufgabe ist genau der Bereich, in dem sich kleinere oder feinabgestimmte Modelle bezahlt machen.
7. Verfügen Sie über gelabelte Beispiele? Fine-Tuning ohne einen umfangreichen Satz guter Beispiele schlägt selten einen gut formulierten Prompt.
8. Wie messen Sie Erfolg? Können Sie diese Frage nicht beantworten, halten Sie inne und erstellen Sie zuerst ein Evaluationsset.

Deuten die meisten Antworten auf „sich änderndes Wissen, Zitate erforderlich, moderates Volumen“ hin, brauchen Sie RAG oder Long Context. Deuten sie auf „stabile Aufgabe, striktes Format, sehr hohes Volumen“ hin, ziehen Sie Fine-Tuning oder ein kleineres Modell in Betracht.

Häufige Fallstricke#

Diese Probleme begegnen uns am häufigsten, wenn wir KI-Systeme prüfen, die „fast funktionieren“.

• Schlechtes Chunking. Wer Dokumente in beliebige Stücke fester Größe zerlegt, schneidet Tabellen entzwei, trennt Überschriften von ihrem Inhalt und verliert Kontext. Zerlegen Sie entlang der Dokumentstruktur und bewahren Sie nützliche Metadaten wie Titel, Abschnitt und Datum.
• Keine Evaluationen. Ohne Testset ist jede Änderung ein Ratespiel. Teams passen Prompts an, tauschen Modelle und ändern Chunk-Größen, ohne zu wissen, ob es besser oder schlechter geworden ist.
• Veraltete Indizes. Die Quelldokumente wurden aktualisiert, der Index nicht. Der Assistent zitiert selbstbewusst die Richtlinie aus dem Vorjahr. Neuindexierung muss Teil des Content-Workflows sein, kein manueller Nachgedanke.
• Halluzinationen ohne Zitate. Zeigt das System nicht, woher eine Antwort stammt, können Nutzer eine fundierte Antwort nicht von einer erfundenen unterscheiden. Verlangen Sie Zitate und bringen Sie dem Modell bei, „Ich weiß es nicht“ zu sagen, wenn die Quellen schweigen.
• Datenschutz und DSGVO. Personenbezogene Daten in Dokumenten, Prompts und Logs bleiben personenbezogene Daten. Sie sollten wissen, welcher Anbieter sie verarbeitet, in welcher Region, auf Basis welches Auftragsverarbeitungsvertrags und wie lange Logs aufbewahrt werden. Fine-Tuning mit personenbezogenen Daten verdient besondere Vorsicht, da sich diese später nur schwer wieder entfernen lassen.
• Prompt Injection aus Dokumenten. Abgerufene Inhalte sind nicht vertrauenswürdige Eingaben. Ein Dokument kann Text enthalten, der versucht, dem Modell Anweisungen zu geben, etwa seine Regeln zu ignorieren oder andere Daten preiszugeben. Behandeln Sie abgerufenen Text als Daten, begrenzen Sie, was das Modell mit Tools tun darf, und lassen Sie niemals zu, dass Dokumentinhalte Berechtigungen vergeben.

Erst evaluieren, dann optimieren#

Der wertvollste Schritt in jedem KI-Projekt ist zugleich der unspektakulärste: Erstellen Sie ein Evaluationsset, bevor Sie eine Architektur wählen.

Ein guter Ausgangspunkt sind einfach einige Dutzend bis einige Hundert reale Fragen oder Eingaben, jeweils mit der erwarteten Antwort oder den Dokumenten, die zitiert werden sollten. Messen Sie anschließend:

• Retrieval-Qualität: Hat das System die richtigen Passagen gefunden?
• Antwortqualität: Ist die Antwort korrekt, vollständig und in den Quellen verankert?
• Zitiergenauigkeit: Stützen die zitierten Passagen die Aussage tatsächlich?
• Ablehnungsverhalten: Sagt das System „Ich weiß es nicht“, wenn es angebracht ist?
• Formattreue: Entspricht bei der Extraktion jede Ausgabe dem Schema?

Damit werden Vergleiche faktenbasiert. Sie können Long Context gegen RAG testen, ein Modell gegen ein anderes oder ein feinabgestimmtes gegen ein per Prompt gesteuertes Modell, und zwar auf Ihren eigenen Daten statt auf generischen Benchmarks. Oft zeigt sich, dass die günstigste Lösung ein besseres Retrieval oder ein klarerer Prompt ist, nicht ein größeres Modell oder ein Trainingslauf.

Automatisierte Bewertung durch ein Modell kann dies beschleunigen, sollte aber, besonders zu Beginn, stichprobenartig von Menschen überprüft werden.

Wie unsere eigenen Demos die Muster veranschaulichen#

Wir versuchen, das umzusetzen, was wir empfehlen, und zwei Demos auf dieser Website zeigen die Muster in der Praxis.

Der sigmacode Assistant beantwortet Fragen zu unseren Leistungen und unserer Arbeitsweise. Seine Wissensbasis ist klein und bewusst eingefroren. Statt einer Retrieval-Pipeline nutzt er daher Long-Context-Prompting mit Prompt Caching: Die gesamte Wissensbasis liegt in einem zwischengespeicherten Prompt-Präfix, und das Modell ist angewiesen, ausschließlich daraus zu antworten. Für einen begrenzten Wissensbestand ist das einfacher umzusetzen und leichter korrekt zu halten als ein Vektorindex.

Die Document-Q&A-Demo zeigt die andere Seite. Sie stellen ein Dokument bereit, stellen Fragen, und jede Antwort enthält Zitate, die auf die zugrunde liegenden Passagen verweisen. Das ist das zentrale Versprechen fundierter KI: Jede Aussage lässt sich an ihrer Quelle überprüfen.

Keine der beiden Demos erforderte Fine-Tuning. Das ist typisch. Für die meisten geschäftlichen Wissensprobleme sind Grounding und gute Evaluation wichtiger als individuelles Training.

Die Kurzfassung#

• Nutzen Sie RAG, wenn das Wissen umfangreich ist, sich häufig ändert, Zugriffskontrolle erfordert oder zitiert werden muss.
• Nutzen Sie Long Context mit Prompt Caching, wenn das Wissen stabil ist und in das Kontextfenster passt.
• Nutzen Sie Fine-Tuning oder kleinere Modelle für einheitliches Verhalten oder eng umrissene Aufgaben mit hohem Volumen, nicht für Fakten.
• Nutzen Sie Structured Outputs für Extraktion und jede Ausgabe, die ein System weiterverarbeiten muss.
• Evaluieren Sie zuerst und optimieren Sie dann das, was die Zahlen nahelegen.

Wenn Sie diese Optionen für ein konkretes Projekt abwägen, unterstützt Sie unser Team für KI & Automatisierung, geleitet von einem Tech Lead mit mehr als 20 Jahren Erfahrung, dabei, den Umfang festzulegen, ein Evaluationsset aufzubauen und eine erste Version auszuliefern, die sich tatsächlich messen lässt. Nehmen Sie Kontakt auf und schildern Sie uns, welches Problem Sie lösen möchten.