tecnovy AI Suite

LLMOps: generative KI betreiben

Die CI/CD-Pipeline deines Teams baut, testet und liefert Code bei jeder Änderung automatisch aus. In der LLMOps Schulung schickst du Prompts, Modellversionen und Konfiguration durch dieselbe Pipeline. Regressionstests laufen bei jeder Änderung, und eine Qualitätsschwelle entscheidet über die Freigabe. Danach rollst du neue Versionen schrittweise aus, legst fest, welche Messwerte einen Alarm auslösen, und setzt Budgets für die Nutzung.

Teilnahmezertifikat4,8/5 bei ProvenExpert

Was dieses Modul leistet.

Ob ein geänderter Prompt oder ein neues Modell live gehen darf, machst du in der LLMOps Schulung von tecnovy an Tests gegen vereinbarte Qualitätsschwellen fest. Für ML-, DevOps- und Platform Engineers, die LLM-Anwendungen betreiben, kommen Alarme, Incident-Abläufe und Budgets dazu.

So läuft das Training

Methode: Übungen an einer Beispielanwendung samt CI/CD-Pipeline und Monitoring
Grundlage: tecnovy Curriculum für den Betrieb von LLM-Anwendungen
Abschluss: tecnovy Teilnahmezertifikat, keine Prüfung

Termine & Buchung

Passenden Termin wählen

Aktuell sind keine öffentlichen Termine ausgeschrieben.

Neue Termine werden laufend veröffentlicht. Lass dich vormerken oder plane ein Inhouse-Training für dein Team.

Inhouse-Training anfragen

Passung

Für wen das Modul gedacht ist

Typische Rollen

Du betreust die CI/CD-Pipelines und Plattformen, über die eure Anwendungen in Betrieb gehen.
Du betreibst eine LLM-Anwendung oder übernimmst bald den Betrieb einer.
Du verantwortest Qualität und Kosten von KI-Diensten in deinem Unternehmen.

Voraussetzungen

Keine Voraussetzungen

Du kannst direkt einsteigen. Mitbringen: Erfahrung mit LLM-Anwendungen, Grundlagen in CI/CD, Grundlagen zu Containern.

Stattdessen geeignet AI Evaluation Wenn dein Team vor allem Qualität messen und überwachen will: Du baust Evaluationsdatensätze auf, kombinierst automatische und menschliche Bewertung und richtest Tracing und Alarme ein.

Lehrplan

LLMOps im Detail

Fünf Teile an einer Beispielanwendung mit eigener CI/CD-Pipeline: Du grenzt LLMOps ab, versionierst und rollst aus, machst Evaluationen zum Freigabeschritt, legst Alarme und Incident-Abläufe fest und steuerst Kosten. Wie du Evaluationsdatensätze aufbaust und Tracing in der Tiefe nutzt, behandelt AI Evaluation & Observability.

01Was LLMOps ausmacht

Dieser Teil klärt, was sich am Betrieb ändert, wenn ein Sprachmodell Teil der Anwendung ist.

Unterschiede zu DevOps
Unterschiede zu klassischem MLOps
Lebenszyklus einer LLM-Anwendung

02Versionierung und Releases

Hier bekommt jede Änderung an Prompt, Modell oder Konfiguration eine Version und einen Weg in den Betrieb.

Prompts, Modelle und Konfiguration versionieren
Modellwechsel planen
Schrittweise Rollouts: eine neue Version zuerst für einen Teil der Anfragen

03Evaluation in der Pipeline

In diesem Teil wird die Evaluation zu dem Schritt der Pipeline, der über eine Freigabe entscheidet.

Regressionstests: prüfen, ob eine Änderung bisher gute Ergebnisse verschlechtert
Tests für Prompt-Änderungen und für Modellwechsel
Qualitätsschwellen als Freigabekriterium

04Monitoring und Observability

Im Betrieb legst du fest, welche Signale zählen und was passiert, wenn sie kippen.

Tracing (die Schritte einer Anfrage aufzeichnen), Metriken und Nutzerfeedback als Signale
Drift: schleichend veränderte Eingaben oder Antworten
Ausfälle
Incident-Abläufe: wer reagiert und in welchen Schritten

05Kosten und Leistung

Zum Schluss steuerst du, was eine Anfrage kostet und wie lange sie dauert.

Caching: wiederkehrende Anfragen oder Prompt-Teile nicht neu berechnen lassen
Routing zwischen Modellen, etwa einfache Anfragen an ein kleineres Modell
Batch-Verarbeitung für Anfragen, die keine sofortige Antwort brauchen
Budgets und Grenzwerte

Ergebnis

Was du anschließend leisten kannst

01
Du ordnest die Phasen im Lebenszyklus einer LLM-Anwendung und grenzt LLMOps von DevOps und klassischem MLOps ab.
02
Du versionierst Prompts, Modelle und Konfiguration und steuerst darüber Releases.
03
Du planst Modellwechsel und rollst neue Versionen schrittweise aus, zuerst für einen Teil der Anfragen.
04
Du baust Regressionstests für Prompts und Modelle in die CI/CD-Pipeline ein und machst eine Qualitätsschwelle zum Freigabekriterium.
05
Du legst fest, bei welchen Werten für Qualität, Verfügbarkeit und Nutzung ein Alarm ausgelöst wird.
06
Du richtest Incident-Abläufe für Ausfälle und für Drift ein, also für schleichend veränderte Eingaben oder Antworten.
07
Du setzt Caching, Routing zwischen Modellen und Batch-Verarbeitung ein und misst ihre Wirkung auf Kosten und Latenz.
08
Du legst Budgets und Grenzwerte für die Nutzung eines KI-Dienstes fest.

tecnovy Teilnahmezertifikat

Bestätigt deine Teilnahme und die im Training behandelten Lehrplaninhalte. Ausgestellt von tecnovy, teilbar auf LinkedIn.

Certificate Showroom öffnen tecnovy →

Leistungsumfang

Was enthalten ist

Enthalten

Beispiel-Pipeline und Monitoring-SetupDu erhältst die Pipeline und das Monitoring der Beispielanwendung, mit denen du im Kurs arbeitest.

Warum tecnovy

Was du bei uns oben drauf bekommst

No Slideshow, Hands-On!

Versprochen: keine PowerPoint-Schlacht. Wir arbeiten in Gruppen, verknüpfen Theorie mit Praxis, und du bekommst Praxisbeispiele unserer erfahrenen Trainer sowie den Austausch mit Gleichgesinnten.

Certificate Showroom

Hol dir dein Teilnahmezertifikat und verbinde es, falls vorhanden, mit deinem Prüfungszertifikat. Vollautomatisiert, schön gestaltet. Nur für dich, nur bei tecnovy.

Flexible Umbuchung

Falls du mal kurzfristig verhindert sein solltest, kannst du deine Schulung bis eine Woche vor Trainingsbeginn kostenlos umbuchen.

Doppelt hält besser

Gerne darfst du innerhalb eines Jahres die Schulung nochmals online als Refresher besuchen.

Lerne von Experten

Wir garantieren dir stets den Einsatz von didaktisch und methodisch erstklassig qualifizierten Trainern, die ihr Wissen sowohl aus Trainingserfahrung als auch beruflicher Praxis- und Projekterfahrung beziehen.

FAQs

Häufige Fragen

01Was ist der Unterschied zwischen LLMOps und MLOps?

MLOps betreibt Modelle, die ein Team selbst trainiert. LLMOps, wie es die LLMOps Schulung von tecnovy behandelt, betreibt Anwendungen auf großen Sprachmodellen, oft von externen Anbietern, bei denen Prompts, Modellversionen und Evaluation im Mittelpunkt stehen. Für klassisches MLOps gibt es die MLOps Schulung von tecnovy.

02Macht LLMOps eine KI-Anwendung zuverlässig?

Nein, kein Prozess garantiert, dass ein Sprachmodell immer richtig antwortet. In der LLMOps Schulung von tecnovy richtest du ein, dass Änderungen vor der Freigabe getestet, im Betrieb gemessen und bei Problemen nach einem festgelegten Ablauf behandelt werden.

03Wie unterscheidet sich die LLMOps Schulung von AI Evaluation & Observability?

Die LLMOps Schulung von tecnovy nutzt Evaluationen als Freigabeschritt in der Pipeline und deckt daneben Versionierung, Rollouts, Incidents und Kosten ab. AI Evaluation & Observability vertieft, wie du Evaluationsdatensätze aufbaust, Antworten automatisch und durch Menschen bewertest und Tracing im Betrieb nutzt. Es passt als nächster Schritt, wenn du Qualität genauer messen willst.

04Lerne ich in der LLMOps Schulung, eine KI-Anwendung zu entwickeln und zu deployen?

Nein, die LLMOps Schulung von tecnovy setzt bei einer bestehenden LLM-Anwendung an: wie Änderungen daran geprüft, ausgerollt, überwacht und in den Kosten gesteuert werden. Eine Unternehmensanwendung mit Anmeldung, Rollen und Deployment baust du im tecnovy Kurs Enterprise AI Apps entwickeln.

05Warum muss ein Team Modellwechsel planen?

Weil ein Modell nicht dauerhaft angeboten werden muss: Anthropic etwa kündigt das Abschalten öffentlich verfügbarer Modelle auf den eigenen Plattformen mindestens 60 Tage vorher an, danach schlagen Anfragen fehl (Stand November 2026). Amazon Bedrock und die von Google verwaltete Variante auf Google Cloud legen dafür eigene Termine fest. In der LLMOps Schulung von tecnovy testest du ein neues Modell deshalb in der Pipeline, bevor du es schrittweise ausrollst.

06Wie steuerst du in der LLMOps Schulung die Kosten einer LLM-Anwendung?

Mit vier Hebeln: Caching, Routing zwischen Modellen, Batch-Verarbeitung sowie Budgets und Grenzwerten, deren Wirkung du in der LLMOps Schulung von tecnovy misst. Ein Beispiel für Batch-Verarbeitung: Bei Anthropic kostet die Message Batches API 50 Prozent der regulären API-Preise, dafür verfallen Anfragen, die nach 24 Stunden nicht verarbeitet sind (Stand November 2026).

07Mit welchen Werkzeugen arbeitet die LLMOps Schulung?

Die LLMOps Schulung von tecnovy nutzt verbreitete Open-Source-Werkzeuge für Tracing und Evaluation und ist an keinen bestimmten Anbieter gebunden. Im Mittelpunkt stehen die Abläufe von der Versionierung bis zur Kostensteuerung, die du auf andere Werkzeuge übertragen kannst.

08Was brauchen die Übungen der LLMOps Schulung technisch?

Die Übungen der LLMOps Schulung von tecnovy laufen an einer Beispielanwendung, die ein Sprachmodell über eine API aufruft, und an einer Pipeline, die bei jeder Änderung Tests ausführt. Dafür ist ein API-Zugang zu einem Modellanbieter mit Schlüssel nötig, und jeder Testlauf erzeugt weitere Modellaufrufe.

09Endet die LLMOps Schulung mit einer Prüfung?

Nein, die LLMOps Schulung ist ein tecnovy Kurs ohne Prüfung und ohne Zertifizierung. Bei mindestens 80 % Anwesenheit erhältst du das tecnovy Teilnahmezertifikat.

Wie sieht deine Schulung bei tecnovy aus?

LLMOpsLLMOps: generative KI betreiben

Noch keine Termine

Wir merken dich vor, sobald der nächste Termin geplant ist.