RAG-System auf Unternehmensdokumenten: Projektumfang und Kosten
Ein unternehmerisches RAG-System (Retrieval-Augmented Generation) ist nicht „PDF in ChatGPT hochladen“, sondern Infrastruktur, die Richtlinien, Verträge, Anleitungen und Wissensbasen indexiert, relevante Abschnitte findet und Antworten mit Quellenangaben erzeugt. 2026 ist das Standard für interne Assistenten, Support und Compliance-Anfragen. Unten: Projektbestandteile, Phasen, Zeitrahmen und realistische Budgetspannen.
- MVP mit einer Quelle (Confluence, SharePoint, PDF-Ordner) - $8.000 - $25.000, 4-8 Wochen
- Unternehmens-RAG-Plattform (mehrere Quellen, RBAC, Audit) - $35.000 - $120.000, 3-5 Monate
- Enterprise: On-Prem, DLP, SLA, Mehrsprachigkeit - $120.000 - $350.000+, 6-10 Monate
- Monatliche Kosten - Embeddings, LLM-API, Vektor-DB, Reindexierung: ab $300 bis $12.000+
- Hauptpreistreiber - nicht das Modell (GPT-5.6 Terra, Claude Sonnet 5, Gemini 3.5 Flash), sondern Retrieval-Qualität und Tiefe der DMS-Integrationen
Was RAG auf Unternehmensdokumenten bedeutet
RAG erweitert ein LLM um Suche in Ihren Daten: Das Modell „kennt“ die Urlaubsregelung nicht auswendig, sondern erhält relevante Absätze aus dem Vektorindex und baut die Antwort darauf. Für Unternehmen weniger Halluzinationen und prüfbare Quellen.
Typische Szenarien:
- Mitarbeiter fragt nach Vertragsfreigabe - System findet den Confluence-Abschnitt und zitiert die Klausel;
- Support erhält Entwurf aus aktueller Zendesk-Wissensbasis;
- Recht sucht Präzedenzfälle im Vertragsarchiv mit Filtern nach Partnertyp und Datum.
Ohne RAG antwortet ein Firmen-Chatbot allgemein oder „erfindet“ interne Regeln. Mit RAG ist die Antwort an prüfbare Dokumente gebunden.
Projektbestandteile
Acht Blöcke - jeder beeinflusst Zeit und Budget.
| Block | Inhalt | Typischer Anteil |
|---|---|---|
| Discovery | Datenquellen, Rollen, Qualitäts-KPIs, Datenschutz | 8-12% |
| Ingestion (ETL) | Confluence, SharePoint, Google Drive, CRM, Tickets, ERP | 15-25% |
| Chunking und Preprocessing | Fragmentierung, Bereinigung, Metadaten, OCR | 10-15% |
| Embeddings und Index | Embedding-Modell, Vektor-DB, Hybridsuche (BM25 + Vektor) | 10-15% |
| Retrieval-Pipeline | Reranking, Rollenfilter, Deduplizierung, Query Expansion | 15-20% |
| Generation Layer | Prompts, Zitate, Guardrails, Fallback bei niedriger Konfidenz | 10-15% |
| Interface und API | Widget, Slack/Teams, Intranet, Headless-API | 10-20% |
| Observability und Eval | Retrieval-Metriken, Testfragen, A/B, Alerts | 8-12% |
Schlüsselfertig: indexierte Quellen, Antworten in Zielkanälen, Query-Logging, Pilot, Übergabe mit Reindex-Dokumentation.
Entwicklungsphasen
1. Datenaudit und Lastenheft (1-2 Wochen)
Festlegung von Quellen, Volumen, Zugriff (SSO, RBAC), Metriken (precision@k, Zitatgenauigkeit, CSAT). Ergebnis: Quellenkarte, Rechtematrix, 50-200 Eval-Fragen aus der Praxis.
2. Ingestion-Prototyp (2-4 Wochen)
Erste Quelle, voller Zyklus: Export/Webhook, Parsing (HTML, DOCX, PDF), Chunking, Schreiben in Vektor-DB mit Metadaten. Stack: LangChain / LlamaIndex, Unstructured, Apache Tika, SharePoint/Confluence-Connectors.
3. Retrieval und Suchqualität (3-6 Wochen)
Embedding-Modell, Vektor-DB (pgvector, Qdrant, Weaviate), Hybridsuche, Reranker (+15-30% Genauigkeit), abteilungsbezogene Filter. Ohne Eval-Iterationen bricht Retrieval in Produktion.
4. Generation und Guardrails (2-4 Wochen)
Prompt „nur aus Kontext antworten“, Zitate, „weiß nicht“ bei niedrigem Score, Schutz vor Prompt Injection, Modell-Routing (Flash/Luna vs Terra/Sonnet).
5. Integrationen und UI (2-6 Wochen)
Intranet-Widget, Slack/Teams-Bot, SSO, Admin-Panel, API für CRM und Tickets.
6. Pilot und Produktion (2-4 Wochen)
Regression auf Eval-Set, Pilot mit 50-200 Nutzern, Monitoring, Runbook.
Kosten nach Projekttyp
MVP - eine Quelle
| Parameter | Wert |
|---|---|
| Budget | $8.000 - $25.000 |
| Dauer | 4-8 Wochen |
| Quellen | 1 |
| Nutzer | bis 100 |
Unternehmens-RAG-Plattform
| Parameter | Wert |
|---|---|
| Budget | $35.000 - $120.000 |
| Dauer | 3-5 Monate |
| Quellen | 3-8 |
| Nutzer | 200-5.000, RBAC, SSO |
Enterprise
| Parameter | Wert |
|---|---|
| Budget | $120.000 - $350.000+ |
| Dauer | 6-10 Monate |
| Anforderungen | On-Prem/VPC, DLP, GDPR/HIPAA, SLA 99,9% |
Monatliche Kosten (OPEX)
| Posten | Bereich/Monat |
|---|---|
| Embeddings | $50 - $800 |
| LLM-API | $200 - $8.000 |
| Vektor-DB | $70 - $600 |
| Rerank | $30 - $400 |
| Hosting | $100 - $1.500 |
| Support | $1.000 - $8.000 |
Beispiel: 5.000 Dokumente, 3.000 Anfragen/Monat - ca. $250-400/Monat. Bei 50.000 Anfragen: $3.000 - $12.000/Monat.
Zeitplan und Team
| Typ | Team | Dauer |
|---|---|---|
| MVP | 1 Backend + ML (Teilzeit) | 4-8 Wochen |
| Plattform | 2 Backend, 1 ML, 1 Frontend, PM | 3-5 Monate |
| Enterprise | 4-7 + DevOps, QA, Security | 6-10 Monate |
Stundensätze 2026 (Remote, Osteuropa/GUS): ML/RAG $60-100/h, Backend $45-80/h. USA/Westeuropa: Faktor 2-3.
Was das Projekt verteuert
Viele Legacy-Formate, dokumentenbezogenes RBAC (+20-35%), Mehrsprachigkeit (+25-40%), Echtzeit-Updates, On-Prem mit GPU (+$500-3.000/Monat).
Kosten sparen
- Ein Abteilung, eine Quelle, 30-50 Referenzfragen.
- Eval ab Woche eins.
- Hybridsuche + Rerank statt Fine-Tuning am Anfang.
- Modell-Routing für einfache vs komplexe Fragen.
- Semantischer Cache (20-40% API-Ersparnis).
- Festpreis MVP, T&M für neue Connectors.
Fazit
RAG auf Unternehmensdokumenten 2026: $8.000 (MVP) bis $350.000+ (Enterprise). 4-8 Wochen bis 10 Monate. Treiber: Quellen, Rechte, Retrieval-Qualität, Traffic. Ingestion und Suche entscheiden über Nutzen vs Demo mit Halluzinationen.
Häufig gestellte Fragen
Unterschied RAG vs Fine-Tuning?
Fine-Tuning bindet Wissen in Gewichte - teure Updates, schwache Quellenangaben. RAG aktualisiert per Reindexierung. Für sich ändernde Firmendokumente startet man mit RAG.
RAG ohne Entwicklung via ChatGPT Enterprise oder Copilot?
Teilweise für Piloten mit wenigen hundert Dokumenten. Für Produktion mit SSO, Audit und tausenden Dokumenten: Custom-RAG ab ca. $35.000.
Wie viele Dokumente?
MVP: 500-5.000 Dokumente. Plattform: 100.000+ mit Sharding. OCR-Archive im Millionenbereich: +30-50% Budget.
Qualität messen?
Eval-Datensatz mit 50-200 Fragen. Metriken: recall@k, faithfulness, citation accuracy. Ziel: recall@5 > 85%, faithfulness > 90% im Pilot.
Support nach Launch?
Retainer $1.000 - $5.000/Monat oder 15-25%/Jahr der Entwicklungskosten: Monitoring, Eval-Updates, Connector-Fixes, Prompt-Tuning. Ohne Support Degradation in 3-6 Monaten.