Large Language Models - RAG-Tuning und Evaluation in Bremen PC-COLLEGE Bremen Institut für IT-Training

Sie erfahren, wie Sie die Qualität von RAG-Systemen bewerten und verbessern. Der Kurs vermittelt Metriken, Tuning-Strategien und Evaluationsmethoden für robuste und nachvollziehbare LLM-Anwendungen im Unternehmen.

Dieses Seminar ist ein Angebot der PC-COLLEGE Gruppe.

Inhalte Grundlagen von Retrieval-Qualität
- Metriken: Recall, Precision, nDCG
- Warum klassisches IR- und LLM-Tuning zusammengehören
Tuning-Strategien
- Chunking-Varianten (Overlaps, Semantik-basiert)
- Embedding-Modelle vergleichen
- Index-Parameter optimieren (z. B. k, Abstandsmessung)
Re-Ranking & Hybrid Search
- Lexikalische + semantische Suche kombinieren
- Einsatz von Cross-Encodern
- Trade-offs zwischen Qualität und Kosten
Evaluationstechniken
- Human-in-the-loop Verfahren
- Automatisierte Evals: BLEU, ROUGE, BERTScore, G-Eval
- Benchmark-Sets aufbauen
Qualitätssicherung im Betrieb
- Bias-Checks, Halluzinationsanalyse
- Drift Detection bei Embeddings
- Canary-Tests für neue Pipelines
Monitoring & Reporting
- KPI-Tracking: Retrieval-Präzision, Factuality
- Dashboards für Stakeholder
- Feedback Loops und kontinuierliche Verbesserung

Zielgruppe Alle, die Retrieval-Systeme mit LLMs professionell betreuen oder evaluieren – z.?B. in AI-Teams, QA, Produktentwicklung oder technischem Projektmanagement.

Voraussetzungen Grundkenntnisse in NLP oder Vektorsuche sowie erste Erfahrungen mit RAG, LangChain oder LLM-Entwicklung sind von Vorteil. Basiswissen in Python wird empfohlen.

Sonstiges Weitere Informationen unter: https://www.pc-college.de/seminare-schulungen-kurse/large-language-models/large-language-models-rag-tuning-und-evaluation-lme.php

Kosten 1773,10 Eur inkl. 19% MwSt

Termin	Veranstaltungsort
- auf Anfrage -	Mary-Somerville-Straße 12, 28359 Bremen

Zuletzt aktualisiert: 06.05.2026
*Alle Angaben ohne Gewähr.