tecnovy AI Suite

AI Evaluation & Observability

Nach einem Modellwechsel oder einer Prompt-Änderung können die Antworten einer KI-Anwendung unbemerkt schlechter werden: Kein Test schlägt an, es gibt keinen Vergleichswert, im Betrieb schaut niemand hin. In AI Evaluation & Observability legst du Qualitätskriterien fest, baust Evaluationsdatensätze und automatische Bewertungen auf und richtest Tracing und Alarme ein. Danach belegst du mit Messwerten, ob eine Änderung die Qualität verbessert oder verschlechtert hat.

Teilnahmezertifikat4,8/5 bei ProvenExpert

Was dieses Modul leistet.

Wer LLM-Anwendungen oder Agenten entwickelt, testet oder freigibt, baut in AI Evaluation & Observability von tecnovy Qualitätskriterien, Evaluationsdatensätze und Monitoring für den Betrieb auf. Über Releases entscheidet das Team dann anhand vereinbarter Kriterien.

So läuft das Training

Methode: Hands-on an einer Beispielanwendung, von Testdaten bis Monitoring
Grundlage: tecnovy Curriculum für Evaluation und Observability von KI-Systemen
Abschluss: tecnovy Teilnahmezertifikat, keine Prüfung

Termine & Buchung

Passenden Termin wählen

Aktuell sind keine öffentlichen Termine ausgeschrieben.

Neue Termine werden laufend veröffentlicht. Lass dich vormerken oder plane ein Inhouse-Training für dein Team.

Inhouse-Training anfragen

Passung

Für wen das Modul gedacht ist

Typische Rollen

Du entwickelst LLM-Anwendungen oder Agenten und willst belegen, ob eine Änderung sie besser macht.
Du prüfst in der Qualitätssicherung KI-Systeme, deren Ausgaben nicht jedes Mal gleich ausfallen.
Du entscheidest, ob eine KI-Anwendung in Betrieb gehen darf.

Voraussetzungen

Keine Voraussetzungen

Du kannst direkt einsteigen. Mitbringen: Python-Kenntnisse, Erfahrung mit LLM-Anwendungen.

Stattdessen geeignet Advanced RAG Für alle, deren Qualitätsproblem die Suche und die Antworten eines RAG-Systems sind: Du findest die Schwachstellen eines bestehenden Systems und verbesserst es Technik für Technik, jede mit Messung.

Lehrplan

AI Evaluation & Observability im Detail

Fünf Teile an einer durchgehenden Beispielanwendung: Du klärst, was KI-Evaluation von klassischem Testen unterscheidet, baust Datensätze und Bewertungen auf, evaluierst RAG-Systeme und Agenten und richtest zum Schluss die Beobachtung im Betrieb ein.

01Warum KI-Evaluation anders ist

Dieser Teil klärt, warum ein fester Sollwert bei KI-Anwendungen selten reicht.

Nicht-deterministische Ausgaben: dieselbe Eingabe, unterschiedliche Antworten
Offene Aufgaben ohne einzige richtige Antwort
Qualitätsdimensionen: Korrektheit, Relevanz, Sicherheit, Tonalität

02Evaluationsdatensätze

Hier entsteht die Datengrundlage, an der jede spätere Änderung gemessen wird.

Testfälle aus echten Nutzungsdaten ableiten
Grenzfälle ergänzen, die selten vorkommen, aber zählen
Angriffsszenarien in den Datensatz aufnehmen

03Bewertungsmethoden

Du lernst, Antworten automatisch und durch Menschen zu bewerten und beides zu verbinden.

Regelbasierte Checks und Metriken
LLM-as-a-Judge: Ein Sprachmodell bewertet die Antworten
Menschliche Bewertung und der Abgleich mit dem Urteil des Modells

04Agenten und RAG evaluieren

Systeme aus mehreren Schritten brauchen Messungen an mehr als einer Stelle.

RAG: Suchqualität und Antwortqualität getrennt messen
Agenten am Aufgabenerfolg bewerten
Agenten an ihren Einzelschritten bewerten

05Observability im Betrieb

Zum Schluss verfolgst du die Qualität einer Anwendung, die bereits läuft.

Tracing: welche Schritte eine Anfrage durchläuft
Metriken, Feedback und Alarme
Aus Produktionsdaten neue Testfälle gewinnen

Ergebnis

Was du anschließend leisten kannst

01
Du definierst Qualitätskriterien für eine KI-Anwendung, etwa Korrektheit, Relevanz, Sicherheit und Tonalität.
02
Du leitest Evaluationsdatensätze aus echten Nutzungsdaten ab und ergänzt Grenzfälle und Angriffsszenarien.
03
Du prüfst Ausgaben automatisch mit regelbasierten Checks und Metriken.
04
Du kombinierst LLM-as-a-Judge mit menschlicher Bewertung und prüfst, wo das Modell anders urteilt als Menschen.
05
Du misst bei RAG-Systemen die Suchqualität und die Antwortqualität getrennt.
06
Du bewertest Agenten nach ihrem Aufgabenerfolg und nach ihren Einzelschritten.
07
Du richtest für den Betrieb Tracing, Metriken, Feedback und Alarme ein.
08
Du gewinnst aus Produktionsdaten neue Testfälle für deine Evaluationsdatensätze.

tecnovy Teilnahmezertifikat

Bestätigt deine Teilnahme und die im Training behandelten Lehrplaninhalte. Ausgestellt von tecnovy, teilbar auf LinkedIn.

Certificate Showroom öffnen tecnovy →

Leistungsumfang

Was enthalten ist

Enthalten

Vorlagen für Evaluationskonzepte und TestdatensätzeDu erhältst die Vorlagen und kannst sie nach dem Training für eigene KI-Anwendungen nutzen.

Warum tecnovy

Was du bei uns oben drauf bekommst

No Slideshow, Hands-On!

Versprochen: keine PowerPoint-Schlacht. Wir arbeiten in Gruppen, verknüpfen Theorie mit Praxis, und du bekommst Praxisbeispiele unserer erfahrenen Trainer sowie den Austausch mit Gleichgesinnten.

Certificate Showroom

Hol dir dein Teilnahmezertifikat und verbinde es, falls vorhanden, mit deinem Prüfungszertifikat. Vollautomatisiert, schön gestaltet. Nur für dich, nur bei tecnovy.

Flexible Umbuchung

Falls du mal kurzfristig verhindert sein solltest, kannst du deine Schulung bis eine Woche vor Trainingsbeginn kostenlos umbuchen.

Doppelt hält besser

Gerne darfst du innerhalb eines Jahres die Schulung nochmals online als Refresher besuchen.

Lerne von Experten

Wir garantieren dir stets den Einsatz von didaktisch und methodisch erstklassig qualifizierten Trainern, die ihr Wissen sowohl aus Trainingserfahrung als auch beruflicher Praxis- und Projekterfahrung beziehen.

FAQs

Häufige Fragen

01Warum lässt sich eine KI-Anwendung nicht wie klassische Software testen?

Weil ein Sprachmodell auf dieselbe Eingabe unterschiedlich antworten kann und es bei offenen Aufgaben oft keine einzige richtige Antwort gibt. Im tecnovy Training AI Evaluation & Observability prüfst du deshalb gegen Qualitätskriterien wie Korrektheit, Relevanz, Sicherheit und Tonalität statt gegen einen festen Sollwert.

02Wie verlässlich ist LLM-as-a-Judge?

So verlässlich, wie du es überprüfst: Bei LLM-as-a-Judge bewertet ein Sprachmodell Antworten, und Zheng et al. beschreiben 2023 dabei Verzerrungen durch die Reihenfolge, die Länge der Antworten und eine Vorliebe für eigene Antworten. Im tecnovy Training AI Evaluation & Observability gleichst du das Urteil des Modells deshalb mit menschlicher Bewertung ab.

03Ist AI Evaluation & Observability auch für Tester:innen geeignet?

Ja, das tecnovy Training richtet sich auch an alle, die in der Qualitätssicherung KI-Systeme prüfen. Du solltest Python-Kenntnisse und Erfahrung mit LLM-Anwendungen mitbringen.

04Wie bewertet man einen KI-Agenten?

Auf zwei Ebenen: ob der Agent seine Aufgabe insgesamt erfüllt hat und wie gut seine einzelnen Schritte auf dem Weg dorthin waren. Beides übst du im tecnovy Training AI Evaluation & Observability, ebenso das getrennte Messen von Such- und Antwortqualität bei RAG-Systemen.

05Was bedeutet Tracing bei KI-Anwendungen?

Ein Trace zeichnet auf, welche Schritte eine einzelne Anfrage durchläuft, etwa Modellaufrufe, Suchen und Werkzeugaufrufe. Im tecnovy Training AI Evaluation & Observability nutzt du Traces zusammen mit Metriken, Feedback und Alarmen, um Qualität im Betrieb zu verfolgen. Einheitliche Namen für solche Daten beschreiben die OpenTelemetry Semantic Conventions für generative KI, Status Development (Stand November 2026).

06Was unterscheidet AI Evaluation & Observability von Advanced RAG?

AI Evaluation & Observability behandelt die Evaluation von LLM-Anwendungen und Agenten allgemein und dazu den laufenden Betrieb; RAG-Systeme sind darin ein Teil. Advanced RAG von tecnovy setzt an einem bestehenden RAG-System an und verbessert Suche und Dokumentaufbereitung Technik für Technik, jede mit Messung.

07Was brauchen die Übungen in AI Evaluation & Observability technisch?

Die Übungen im tecnovy Training AI Evaluation & Observability laufen an einer Beispielanwendung, die Sprachmodelle über eine API aufruft, und brauchen dafür einen API-Zugang mit Schlüssel. Jede automatische Bewertung per LLM-as-a-Judge ist dabei ein weiterer Modellaufruf.

08Findet eine Evaluation alle Fehler einer KI-Anwendung?

Nein, eine Evaluation zeigt nur, wie die Anwendung auf die Fälle in deinem Datensatz reagiert. Im tecnovy Training AI Evaluation & Observability erweiterst du Datensätze deshalb um Grenzfälle, überwachst den Betrieb und gewinnst aus Produktionsdaten neue Testfälle.

09Gibt es am Ende von AI Evaluation & Observability eine Prüfung oder eine Zertifizierung?

Nein, AI Evaluation & Observability ist ein tecnovy Training ohne Prüfung und ohne Zertifizierung. Bei mindestens 80 % Anwesenheit erhältst du das tecnovy Teilnahmezertifikat.

Wie sieht deine Schulung bei tecnovy aus?

AI EvaluationAI Evaluation & Observability

Noch keine Termine

Wir merken dich vor, sobald der nächste Termin geplant ist.