Was sind Embeddings in einfachen Worten?
Ein Embedding ist eine Methode, Text, einen Satz oder ein Dokument in eine Zahlensammlung zu verwandeln - einen Vektor fester Länge. Ein Embedding-Modell lernt so, dass bedeutungsähnliche Formulierungen in diesem Zahlenraum «nah» beieinander liegen und unterschiedliche weit weg. Darauf basieren semantische Suche, RAG, Empfehlungen und Dokumenten-Clustering. Unten - was Embeddings sind, wie sie sich von Tokens und LLM-Antworten unterscheiden und wo sie fürs Business wirklich zählen.
- Vektor - Liste aus Hunderten oder Tausenden Zahlen, ein «Sinn-Fingerabdruck» des Textes
- Embedding model - separates neuronales Netz, das Text in einen Vektor kodiert; kein Chat-Modell
- Semantische Nähe - «Kurierlieferung» und «Expressversand» liegen näher als «Lieferung» und «Steuererklärung»
- Hauptanwendung - Suche nach Bedeutung, RAG, Deduplizierung, Klassifikation
- Nicht verwechseln - ein Embedding erzeugt keine Antwort; es hilft nur, relevante Textstücke zu finden
- Praxis - Wissensbasis einmal indexieren, bei Anfrage Top-K nächste Chunks suchen
Was ein Embedding in zwei Worten ist
Stellen Sie sich eine Bibliothek vor, in der Bücher nicht nach Autor, sondern nach Thema stehen: Logistik-Texte zusammen, Buchhaltung getrennt, Marketing woanders. Ein Embedding macht dasselbe mit Text - nur in einem mehrdimensionalen Zahlenraum.
Ein Embedding ist die Ausgabe eines Encoder-Modells: Eingabe «wie bearbeite ich eine Warenrückgabe», Ausgabe z. B. ein Vektor mit 1 536 Zahlen. Jedes Stück Dokumentation, Ticket oder Absatz hat seinen Vektor. Kommt eine Nutzerfrage, wird sie mit demselben Modell kodiert und das System sucht die nächsten Treffer.
| Begriff | Was es ist | Beispiel |
|---|---|---|
| Text | Ausgangswörter | «Lieferzeit 2-3 Tage» |
| Embedding model | Encoder-Netz | text-embedding-3-small, bge-m3 |
| Vektor | Numerische Darstellung | [0.12, -0.04, 0.88, …] |
| Vector DB | Vektorspeicher + schnelle Suche | pgvector, Qdrant, Pinecone |
Ein Embedding «versteht» Text nicht wie ein Mensch und schreibt keine Antworten. Es liefert Koordinaten der Bedeutung, damit der Rechner Millionen Fragmente schnell vergleichen kann.
Wozu Vektoren, wenn es normale Suche gibt
Klassische Stichwortsuche sucht exakte Treffer: Anfrage «Rückgabe» findet keinen Absatz, in dem nur «refund policy» oder «Rücksendeprozess» steht. Semantische Suche mit Embeddings vergleicht Bedeutung, nicht Buchstaben.
Typische Aufgaben:
- Firmen-FAQ und Support - Agent oder Bot findet die richtige Regel nach Formulierung des Kunden.
- RAG - vor der LLM-Antwort werden relevante Chunks aus Wiki, PDF, Tickets geholt.
- Ähnliche Tickets - «den Vorfall hatten wir schon» ohne manuelles Tagging.
- Deduplizierung - fast gleiche Artikel, Bewertungen, Produktkarten filtern.
- Clustering - Anfragen, Reviews, Forum-Themen für Analytics gruppieren.
Passt der gesamte Text ins Kontextfenster des Modells und ändert sich selten, sind Embeddings optional. Ist der Korpus groß, lebendig und wechselnd - ein Vektorindex ist fast immer günstiger, als jedes Mal alles in den Prompt zu packen.
Wie Text zu Zahlen wird
Vereinfachte Pipeline:
Dokument → Chunking → Embedding model → Vektoren → Vector DB
Anfrage → dasselbe Embedding model → Anfragevektor → Top-K-Suche → LLM
1. Chunking
Lange PDFs oder Artikelbasen werden in Stücke à 256-1 024 Tokens mit Überlappung geschnitten, damit Absätze nicht mitten im Satz enden. Zu kleine Chunks verlieren Kontext; zu große verwässern die Treffgenauigkeit.
2. Embedding model
Ein Spezialmodell verarbeitet jeden Chunk und liefert einen Vektor fester Dimension - 384, 768, 1 536 oder 3 072 Zahlen je nach Modell. Cloud: OpenAI text-embedding-3, Cohere, Voyage. Open Source: BGE, E5, multilingual-e5; lokal auch über Ollama oder eigenen Server.
3. Indexierung und Suche
Vektoren landen im Vector Store - PostgreSQL mit pgvector, Qdrant, Weaviate, Chroma. Bei der Anfrage wird die Distanz zwischen Fragevektor und Datenbankvektoren gemessen; meist Kosinus-Ähnlichkeit. Zurück kommen die Top-K nächsten Fragmente, üblicherweise 3 bis 10.
Suchqualität hängt zu ~80% von «Chunking + Embedding model» ab, nicht vom klügsten Chat-LLM. Ausführlich zu Retrieval + Generation im RAG-Artikel.
Semantische Nähe ohne Magie
«Nähe» von Vektoren sind keine Wörterbuch-Synonyme. Das Modell wurde auf riesigen Korpora trainiert, damit benachbarte Punkte ähnlichen Kontexten entsprechen. Deshalb:
- «Versandpreis» und «Kosten des Kurierdienstes» liegen nah beieinander;
- «Python für Datenanalyse» ist näher an «pandas tutorial» als an «Schlange im Zoo»;
- bei mehrsprachigen Modellen kann eine deutsche Anfrage einen englischen Absatz mit gleichem Sinn finden.
Wichtig: Vergleichen können Sie nur Vektoren derselben Embedding model und Version. OpenAI- und BGE-Vektoren in einem Index zu mischen geht nicht - das sind verschiedene «Landkarten».
Wo Embeddings in Produkten vorkommen
| Szenario | Rolle der Embeddings |
|---|---|
| Firmen-Chatbot | Relevante Artikel vor dem LLM-Aufruf finden |
| IDE und Code | Semantische Repo-Suche (Cursor @Codebase, Copilot-Indizes) |
| Marktplatz | «Ähnliche Produkte», Suche nach Beschreibung ohne exakte SKU |
| Moderation | Spam-Clustering, doppelte Bewertungen erkennen |
| CRM | Ähnliche Deals, RAG über Wissensbasis für Manager |
Überall gilt: Retrieval auf Vektoren + Reasoning auf LLM. Embeddings sparen Kontextfenster und API-Kosten: in den Prompt kommen nur gefundene Chunks, nicht die ganze Basis.
Embeddings vs Tokens vs Fine-Tuning
Drei Mechanismen, die oft verwechselt werden:
| Embeddings | LLM-Tokens | Fine-Tuning | |
|---|---|---|---|
| Aufgabe | Suche nach Bedeutung | Textgenerierung | Modellverhalten ändern |
| Ausgabe | Numerischer Vektor | Text / Antwort-Tokens | Neue Modellgewichte |
| Wissen aktualisieren | Dokumente neu indexieren | Neuer Prompt / RAG | Nachtraining |
| Kosten | Günstiger als Generierung | Bezahlung für Input + Output | Teuer und langsam |
Ein Token ist Abrechnungs- und Schnitteinheit für Chat-Modelle. Ein Embedding ist separates API-Produkt mit anderem Preis pro 1M und anderem Modell. Strategien vergleichen in Kontextfenster vs RAG vs Fine-Tuning.
Embedding model auswählen
In der Praxis vier Parameter:
- Sprachen - gemischte Korpora brauchen mehrsprachige Modelle (bge-m3, multilingual-e5, voyage-3).
- Dimension - mehr Dimensionen oft genauer, aber schwererer Index und Speicher.
- Latenz und Kosten - bei Millionen Dokumenten Erstindexierung und Re-Indexierung bei Updates kalkulieren.
- Deployment - Cloud-API für schnellen Start; lokale Modelle für private Daten ohne SaaS.
Für ein MVP reicht oft ein bewährtes Modell und pgvector in bestehendem PostgreSQL. Mehrere Reranker und Hybrid BM25 + Vectors lohnen sich, wenn Suchmetriken an der Decke sind.
Typische Fehler
- Planlos indexieren - ohne HTML-Bereinigung, ohne Chunking-Strategie, mit Duplikaten - laute Suche.
- Modell wechseln ohne Re-Index - alte und neue Vektoren sind inkompatibel.
- Reasoning von Embeddings erwarten - ein Vektor antwortet nicht; LLM oder Templates auf gefundenen Chunks nötig.
- Metriken ignorieren - ohne Testset «Frage → erwartetes Dokument» überlebt Bauchgefühl selten Production.
- Mit Volltextsuche verwechseln - für SKU und exakte Codes besser Hybrid Keywords + Embeddings.
Fazit
Ein Embedding ist ein numerischer «Sinn-Fingerabdruck» von Text. Es braucht man, wo Finden unter großem Korpus zählt: RAG, Support, interne Wikis, Code-Suche. Für kurzen Chat mit einer Datei im Kontext ist ein Vektorindex optional. Für lebendige Wissensbasen sind Embeddings der Grundbaustein; das LLM baut darauf auf, nicht statt dessen.
Häufig gestellte Fragen
Worin unterscheidet sich ein Embedding von einem Token?
Ein Token ist ein Textfragment für Chat-Modelle: daraus werden Prompt-Länge und API-Kosten berechnet. Ein Embedding ist ein Vektor für ein ganzes Fragment (Satz, Absatz, Chunk), der Bedeutung für die Suche kodiert. Tokens zerlegen für Generierung; Embeddings kodieren Bedeutung zum Vergleich.
Wozu ein separates Embedding model, wenn es ChatGPT und Claude gibt?
Chat-Modelle optimieren Antworten erzeugen. Ein Embedding model optimiert Bedeutung komprimieren in kompakten Vektor und schnelle Suche. Dedizierte Encoder sind bei großen Indexierungsmengen günstiger und verbrennen keine teuren Output-Tokens fürs «Zusammenfassen» von Dokumenten.
Kann man Vektoren verschiedener Modelle in einer Basis mischen?
Nein. Jedes Modell hat eigenen Koordinatenraum und Dimension. Index mit einer Embedding model bauen; beim Wechsel - vollständige Re-Indexierung. Nur Vektoren desselben Encoders in derselben Version vergleichen.
Was kosten Embeddings per API?
Meist günstiger als Textgenerierung desselben Anbieters: Abrechnung über Input-Tokens am Embedding-Endpoint, ohne Output. Exakter Preis hängt von Modell und Volumen ab; für Monatsbudget Tokenzahl des Korpus mal Satz pro 1M rechnen und Re-Indexierung einplanen. Mehr zu Tokens in Token-Kosten.
Braucht ein einfacher Website-Chatbot Embeddings?
Nicht immer. Reicht FAQ aus wenigen Seiten oder ein PDF einmal im Kontextfenster - Prompt genügt. Embeddings braucht man bei vielen, sich ändernden Dokumenten und Suche nach Nutzerformulierung - typischer RAG-Fall für Support und interne Assistenten.