01 · A
Problem
Unternehmenshandbücher sind lang, terminologiereich und über Kapitel verteilt. Eine flüssige Antwort hilft nur, wenn die richtige Evidenz gefunden und geprüft werden kann.
Alle Projekte08 / 09
Von Anforderungen zu Prototyp und Evaluation
RAG-Diplomarbeit für Produkthandbücher
Eine Design-Science-Diplomarbeit zu einem lokalen, quellengebundenen RAG-Prototyp und getrennter Retrieval-/Antwortbewertung für technische Handbücher.
- Zeitraum
- Diplom thesis
- Schwerpunkt
- Enterprise RAG · Design Science · User Research
- Kerntechnologien
- Python · Local Embeddings · Hybrid Retrieval · Reranking
Kurzfassung
- Problem
- Unternehmenshandbücher sind lang, terminologiereich und über Kapitel verteilt. Eine flüssige Antwort hilft nur, wenn die richtige Evidenz gefunden und geprüft werden kann.
- Mein Beitrag
- Nutzerbedarf in Systemanforderungen übersetzt und die Architektur entworfen.
- Ergebnis / Grenze
- Da die Thesis vertrauliche Unternehmenshandbücher und Studienmaterialien nutzte, veröffentliche ich weder Teilnehmerzahlen noch interne Dokumente oder unveröffentlichte Evaluationstabellen.
01 · B
Kontext
Ich nutzte einen Design-Science-Prozess aus Nutzerbedarf, Architektur, lokalem Retrieval-/Generierungsprototyp, technischer Evaluation und Nutzerfeedback.
Ablaufillustration
Antwort, Passagen und Bewertung gehören in eine Ansicht
Mit dieser Ablaufillustration zeige ich eine belegte Antwort neben gerankten Passagen und trenne Retrieval- von Antwortqualität.
Warum es wichtig ist
Eine überzeugende Demo belegt kein funktionierendes Wissenssystem. Retrieval-Relevanz, Antwortbeleg und Nutzervertrauen sind getrennte Fragen mit unterschiedlicher Evidenz.
Technische Details öffnenDie eigentliche Schwierigkeit · Systempfad · Zentrale Abwägungen
Die eigentliche Schwierigkeit
- 01
Nutzersprache und Handbuchterminologie stimmen nicht immer überein.
- 02
Hohe Vektorähnlichkeit garantiert keine beantwortbare Passage.
- 03
Retrieval- und Antwortqualität brauchen getrennte Bewertung.
- 04
Ein Domänenbenchmark benötigt von Fachleuten definierte Fragen und Quellen.
Mein Ansatz
Systempfad
Ermitteln
Nutzerbedarf in Anforderungen an Suche, Quellen und lokale Bereitstellung übersetzen
Suchen
Lokale Embeddings, lexikalische Signale und Reranking kombinieren
Antworten
Aus ausgewählten Passagen mit Quellenbezug generieren
Bewerten
Technische Retrieval-/Antworttests von Interviews und Feedback trennen
Quellengebundener Antwortpfad
Retrieval und Generierung bleiben getrennt prüfbar
Der Prototyp sammelt und rerankt zunächst Belegmaterial und generiert anschließend aus ausgewählten Passagen bei erhaltenem Quellenbezug.
01Bedarf
Nutzerfrage
Alltagssprache unterscheidet sich von Handbuchbegriffen
02Recall
Hybride Suche
Lexikalische und lokale Embedding-Kandidaten
03Präzision
Reranking
Passagen für die Frage neu ordnen
04Synthese
LLM-Antwort
Nur aus gewähltem Kontext erzeugen
05Vertrauen
Zitate
Unterstützende Abschnitte offenlegen
Zentrale Abwägungen
Vom Anwendungsfall ausgehen
Design Science bindet den Prototyp an Nutzeraufgaben statt an ein bevorzugtes Modell.
Zwei Fehlerlagen bewerten
Falsche Passage und schlechte Antwort aus richtiger Passage werden getrennt betrachtet.
Relevanz durch Fachleute
Das System darf keinen eigenen Benchmark als unabhängige Evidenz behandeln.
04 · A
Mein Beitrag
- Nutzerbedarf in Systemanforderungen übersetzt und die Architektur entworfen.
- Lokale Embeddings, hybride Suche, Reranking und LLM-Antwortgenerierung implementiert.
- Mit Domänenexperten technische Fragen erstellt und technische Prüfungen mit Nutzerfeedback kombiniert.
04 · B
Umgesetzte Ergebnisse
- Den Forschungsweg von Anforderungen über einen vollständig lokalen RAG-Prototyp bis zur technischen und nutzerbezogenen Evaluation abgeschlossen.
- Da die Thesis vertrauliche Unternehmenshandbücher und Studienmaterialien nutzte, veröffentliche ich weder Teilnehmerzahlen noch interne Dokumente oder unveröffentlichte Evaluationstabellen.
Evaluationsdesign
Eine richtige Passage und eine richtige Antwort sind verschiedene Aussagen
Die Trennung ermöglicht Fehlerdiagnose und verhindert, dass ein Gesamtwert die Fehlerstelle verbirgt.
01Evidenzzugriff
Retrieval-Evaluation
Wurde fachlich relevantes Material gefunden?
02Antwortqualität
Antwort-Evaluation
Ist die Antwort belegt, vollständig und passend?
03Erfahrung
Nutzerfeedback
Ist der Ablauf verständlich und nützlich?
Zum Schutz vertraulicher Thesisunterlagen nenne ich hier keine Teilnehmerzahlen oder detaillierten Metriken.
Erkenntnisse
01RAG ist ein System aus Quellen-, Fehler- und Vertrauensentscheidungen—nicht nur eine Vektordatenbank.
02Nutzerfeedback erklärt Erfahrung, ersetzt aber keine technische Retrieval-Evidenz.
Was ich öffentlich teilen kann
Unternehmenshandbücher, Repository und Studienmaterialien sind vertraulich und können nicht veröffentlicht werden. Teilen kann ich Forschungsdesign, lokale RAG-Architektur und Evaluationsmethode; konkrete Teilnehmer- und Benchmarkzahlen bleiben privat.
Öffentliche Quellen