Prompt, Query, RAG & Co.

Das 1×1 der KI-Begriffe

Juli 2025

Wer sich mit KI im Rechtsbereich beschäftigt - sei es in Kanzleien, Rechtsabteilungen oder im Wissenschaftsbetrieb - wird schnell mit Begriffen konfrontiert, die oft wie selbstverständlich verwendet werden: Prompt, Query, Token, Retrieval-Augmented Generation (RAG), Embeddings und mehr.

Dabei ist das Verständnis dieser Begriffe entscheidend für das korrekte Verwenden. Denn nur, wer die Begriffe versteht, kann auch verstehen, wie ein KI-Modell Informationen verarbeitet und auf welcher Basis es Antworten generiert und kann dessen Potenzial gezielt nutzen.

In diesem Beitrag geben wir Ihnen eine kompakte Übersicht über zentrale Begriffe rund um KI-Anwendungen mit Fokus auf Relevanz und Praxistauglichkeit.

Prompt vs. Query - Was ist der Unterschied?

Im Alltag werden beide Begriffe oft synonym verwendet, technisch betrachtet beschreiben sie jedoch zwei unterschiedliche Dinge:

• Prompt: Die vollständige Eingabe, die dem Sprachmodell übergeben wird. Sie enthält meist die eigentliche Frage („Wie ist § 37 AO auszulegen?“) sowie eventuell ein paar Beispiele, Regeln oder Hinweise, wie geantwortet werden soll.

• Query: Ein Suchbefehl, wie man ihn aus Datenbanksystemen oder Suchmaschinen kennt. In RAG-Architekturen ist die Query der technische Baustein, mit dem Inhalte aus einer Wissensdatenbank abgerufen werden - etwa Gesetzestexte, Fachliteratur oder Kommentare. Die KI stellt diese Query meist selbstständig auf Basis des Prompts.

Wichtig für die Praxis:

Ein Prompt kann eine Query enthalten, beispielsweise wenn eine KI zuerst in juristischen Quellen recherchieren soll, bevor sie eine Antwort formuliert. Je klarer die Struktur des Prompts ist, desto präziser sind die Ergebnisse. Der Prompt ist die menschliche Eingabe, aus der eine datenbankorientierte Suchanfrage (Query) erzeugt wird.

Token - die Währung der Sprachmodelle

KI-Modelle wie GPT verarbeiten keine Wörter, sondern sogenannte Token. Ein Token kann ein Wort, ein Satzzeichen oder auch nur ein Wortteil sein. „Steu-“, „er-“ und „recht“ sind beispielsweise dann entsprechend drei Token.

Warum das wichtig ist:

Die Länge eines Prompts (in Token gemessen) hat Einfluss auf:

• die Bearbeitungskosten,

• die Geschwindigkeit der Antwort

• und die Fähigkeit des Modells, frühere Kontexte zu berücksichtigen.

Gerade bei komplexen juristischen Sachverhalten lohnt es sich daher, präzise zu formulieren und redundante Informationen zu vermeiden.

Embeddings - juristisches Wissen als Zahlenraum

Ein Embedding ist eine mathematische Repräsentation von Sprache. Dabei werden Wörter, Absätze oder ganze Dokumente als Zahlenvektoren in einem Vektorraum dargestellt, um ähnliche Inhalte auch rechnerisch in der Nähe zueinander zu positionieren.

In der juristischen Praxis bedeutet das:Zwei unterschiedliche Formulierungen desselben Sachverhalts (z. B. „Umsatzsteuerpflicht nach § 1 UStG” vs. „Versteuerung bei Lieferungen”) können als ähnlich erkannt und automatisch zueinander in Beziehung gesetzt werden.

Dies bildet die Grundlage für die semantische Suche und somit auch für den nächsten Begriff.

Retrieval - relevante Informationen gezielt einholen

Beim Retrieval zieht eine KI gezielt passende Inhalte aus einer externen Wissensquelle heran, beispielsweise Gesetzestexte, Kommentierungen oder Urteile. Anstatt sich nur auf „gelerntes“ Wissen zu verlassen, bezieht das Modell zusätzliche Informationen, bevor es antwortet.

Ein Beispiel:

Wenn eine KI gefragt wird, wie § 8 KStG im Kontext von Organschaften auszulegen ist, kann sie zunächst relevante Textstellen aus Kommentaren oder Gesetzen „retrieven“ - und diese in die eigentliche Antwort einfließen lassen.

RAG - Retrieval-Augmented Generation

Bei RAG (Retrieval-Augmented Generation) werden die Vorteile von Sprachmodellen mit denen der Wissenssuche kombiniert.

Zunächst wird recherchiert (Retrieval) durch die semantische Suche, dann auf Basis dieser Informationen eine Antwort generiert (Generation) unter der Nutzung von generativen Sprachmodellen.

Warum das juristisch relevant ist:

So lassen sich aktuelle, verlässliche und fundierte Antworten geben - auch zu Themen, mit denen das Modell selbst nicht „trainiert“ wurde. Das verhindert sogenanntes Halluzinieren, also das Erfinden von Inhalten.

Halluzination - wenn die KI „phantasiert“

Von einer Halluzination spricht man, wenn eine KI Inhalte erfindet, die zwar plausibel klingen, aber schlichtweg falsch sind. In juristischen Anwendungen kann das gravierende Folgen haben. Beispielsweise könnten falsche Gesetzesparagraphen, nicht existierende Urteile oder fehlerhafte Begründungen verwendet werden.

Was hilft dagegen?

• gute Datenquellen (z. B. geprüfte Verlagsinhalte),

• eine klare Prompt-Struktur,

• und der Einsatz von RAG-Technologie.

Chain of Thought - Denkprozesse in Zwischenschritten

Bei Chain of Thought (CoT) wird ein komplexer Sachverhalt nicht in einem Schritt, sondern in mehreren logisch aufeinanderfolgenden Zwischenschritten bearbeitet. Dieser Prozess ist vergleichbar mit einer juristischen Subsumtion oder Argumentationskette.

Beispiel:„Liegt eine Betriebsaufspaltung vor?“ → Die KI prüft nacheinander:

1. Besitzgesellschaft vorhanden?

2. Betriebsbezogene Verflechtung?

3. Personelle Verflechtung?

   → Dann erst erfolgt das Ergebnis.

Agentic AI - der nächste Entwicklungsschritt

Anders als klassische Sprachmodelle, die auf Eingaben reagieren, plant eine Agentic AI aktiv ihre nächsten Schritte. Sie stellt Rückfragen, überprüft Zwischenergebnisse und recherchiert eigenständig, bevor sie antwortet.

Juristisch bedeutet das:

Ein Modell kann beispielsweise erkennen, dass es für eine vollständige Antwort zusätzliche Informationen benötigt und diese gezielt nachfordern. Dadurch verbessert sich die Qualität, Tiefe und Zuverlässigkeit der Ausgaben deutlich.

Warum all das keine Spielerei ist

Juristische Arbeit ist selten eindimensional und schon gar nicht trivial. Wer KI sinnvoll in seinen Arbeitsalltag integrieren möchte, muss verstehen, wie die Modelle funktionieren und worauf es bei der Anwendung ankommt.

Das betrifft nicht nur Legal Engineers oder Innovationsverantwortliche, sondern alle, die juristische Qualität mit technologischem Fortschritt verbinden möchten.

Wer versteht, gewinnt

Prompt ist nicht gleich Query. Token sind nicht einfach Wörter. Und ein Sprachmodell, das heute überzeugend klingt, kann morgen falsch liegen, wenn es nicht richtig angeleitet wird.

Juristische KI ist mächtig, aber nur, wenn wir die Grundlagen verstehen.

Wenn Sie tiefer in die Welt juristischer KI eintauchen wollen, empfehlen wir Ihnen unser kostenloses Whitepaper KI in der juristischen Recherche, in dem wir speziell auf diesen Wandel eingehen und Ihnen zeigen, was Sie im Umgang mit juristischer KI wissen sollten und wie Sie damit richtig umgehen.

Über Taxy.io

Taxy.io wurde 2018 als Spin-Off der RWTH Aachen gegründet und entwickelt innovative Software, mit der Steuerberater:innen und Angehörige rechtsberatender Berufe ihre Prozesse automatisieren können. Wir arbeiten mit einem 45-köpfigen Team aus talentierten und qualifizierten Experten daran, unseren Kund:innen innovative Anwendungen anzubieten, die ihnen durch den Steuer-Dschungel helfen.

Unser Ziel ist es, die führende Plattform für Automatisierungslösungen für die Steuerberatung zu entwickeln und dadurch die vollautomatische, proaktive Steuerberatung zu ermöglichen.

https://www.taxy.io/