tecnovy AI Suite

Multimodale KI: Text, Bild, Audio und Dokumente kombinieren

Bildverstehen, Dokumentextraktion und Transkription sind die drei Fähigkeiten multimodaler Modelle, mit denen du hier arbeitest. Du lässt Fotos beschreiben und klassifizieren, ziehst Angaben aus Scans, Formularen und Diagrammen und machst aus Sprachaufnahmen Text. In Python verbindest du die Datenarten zu einer Pipeline, einer Kette von Verarbeitungsschritten. Jedes Ergebnis prüft dein Code gegen ein Schema, bevor es weiterläuft.

Teilnahmezertifikat4,8/5 bei ProvenExpert

Was dieses Modul leistet.

Geprüfte, strukturierte Daten aus Scans, Fotos und Sprachaufnahmen liefern die Anwendungen, die Python-Entwickler:innen in der tecnovy Schulung Multimodale KI bauen. Danach wählt dein Team je Datenart ein passendes Modell und legt fest, wo Menschen nachprüfen.

So läuft das Training

Methode: Python-Übungen mit Bild-, Dokument- und Audiodaten
Grundlage: tecnovy Curriculum zu multimodalen Modellen, Stand November 2026
Abschluss: tecnovy Teilnahmezertifikat, keine Prüfung

Termine & Buchung

Passenden Termin wählen

Aktuell sind keine öffentlichen Termine ausgeschrieben.

Neue Termine werden laufend veröffentlicht. Lass dich vormerken oder plane ein Inhouse-Training für dein Team.

Inhouse-Training anfragen

Passung

Für wen das Modul gedacht ist

Typische Rollen

Du entwickelst Anwendungen für Dokumentenverarbeitung oder Kundenservice und sollst Bilder, Scans oder Sprache einbinden.
Du arbeitest in Data Science, Computer Vision oder Automatisierung und willst multimodale Modelle einsetzen.
Du sollst Scans, Fotos oder Sprachaufnahmen automatisch auswerten und die Ergebnisse weiterverarbeiten.

Voraussetzungen

Keine Voraussetzungen

Du kannst direkt einsteigen. Mitbringen: Programmierkenntnisse in Python, Erfahrung mit LLM-APIs.

Stattdessen geeignet LLM Engineering Ohne Erfahrung mit LLM-APIs: Dort bindest du Modell-APIs in Python ein, mit Prompts, JSON-Schemas, Werkzeugaufrufen und Tests.

Lehrplan

Multimodale KI im Detail

Fünf Teile führen von der Frage, wie ein Modell Bild, Audio und Text gemeinsam verarbeitet, über Bilder, Dokumente und Sprache bis zur Pipeline, die Datenarten kombiniert. Der letzte Teil prüft, wo die Modelle Fehler machen und wann Menschen nachsehen.

01Grundlagen multimodaler Modelle

Bevor du Daten einspeist, klärst du, was ein Modell mit Bild, Audio und Text gemeinsam macht.

Wie Modelle Bilder, Audio und Text gemeinsam verarbeiten
Welche Datenarten ein Modell annimmt
Modellauswahl nach Kosten und Datenschutz

02Bilder und Dokumente

Du lässt Bilder auswerten und holst Angaben aus Dokumenten in eine feste Struktur.

Bildbeschreibung und Klassifikation
Visuelle Fragen: gezielte Fragen an ein Bild
Daten aus Scans, Formularen und Diagrammen extrahieren

03Audio und Sprache

Du machst gesprochene Sprache für deine Anwendung nutzbar, in beide Richtungen.

Transkription und Zusammenfassung von Aufnahmen
Sprachsteuerung: gesprochene Befehle verarbeiten
Sprachausgabe für Assistenten

04Multimodale Pipelines

Hier verbindest du die Datenarten zu einem Ablauf, dessen Ergebnis dein Code weiterverarbeiten kann.

Datenarten kombinieren, etwa ein Dokument plus Rückfrage per Sprache
Strukturierte Ausgaben mit festen Feldern
Validierung jeder Ausgabe, bevor sie weiterläuft

05Qualität und Grenzen

Zum Schluss prüfst du, wo deine Anwendung danebenliegt und wer dann übernimmt.

Fehlerquellen bei Bild- und Audioverarbeitung
Tests für multimodale Ergebnisse
Kontrolle durch Menschen für Fälle, die durchfallen

Ergebnis

Was du anschließend leisten kannst

01
Du wählst für jede Datenart ein Modell nach unterstützten Eingaben, Kosten und Datenschutz aus und begründest die Wahl.
02
Du lässt Bilder beschreiben, klassifizieren und gezielt befragen und verarbeitest die Antworten in deinem Code.
03
Du extrahierst Angaben aus Scans, Formularen und Diagrammen als strukturierte Ausgabe, also JSON mit festen Feldern.
04
Du transkribierst Sprachaufnahmen, fasst sie zusammen und verarbeitest gesprochene Befehle in deiner Anwendung.
05
Du erzeugst aus den Antworten eines Assistenten eine Sprachausgabe.
06
Du verbindest mehrere Datenarten in einer Pipeline, etwa ein Dokument mit einer gesprochenen Rückfrage.
07
Du prüfst jede strukturierte Ausgabe gegen ein Schema und gibst Fälle, die durchfallen, zur Kontrolle an Menschen weiter.
08
Du testest deine Anwendung gezielt auf typische Fehlerquellen bei Bildern und Aufnahmen.

tecnovy Teilnahmezertifikat

Bestätigt deine Teilnahme und die im Training behandelten Lehrplaninhalte. Ausgestellt von tecnovy, teilbar auf LinkedIn.

Certificate Showroom öffnen tecnovy →

Leistungsumfang

Was enthalten ist

Enthalten

Projekt-Repository mit BeispieldatenEs enthält Beispielbilder, Scans, Formulare und Audioaufnahmen für alle Übungen, dazu den Code der Kurspipeline.

Warum tecnovy

Was du bei uns oben drauf bekommst

No Slideshow, Hands-On!

Versprochen: keine PowerPoint-Schlacht. Wir arbeiten in Gruppen, verknüpfen Theorie mit Praxis, und du bekommst Praxisbeispiele unserer erfahrenen Trainer sowie den Austausch mit Gleichgesinnten.

Certificate Showroom

Hol dir dein Teilnahmezertifikat und verbinde es, falls vorhanden, mit deinem Prüfungszertifikat. Vollautomatisiert, schön gestaltet. Nur für dich, nur bei tecnovy.

Flexible Umbuchung

Falls du mal kurzfristig verhindert sein solltest, kannst du deine Schulung bis eine Woche vor Trainingsbeginn kostenlos umbuchen.

Doppelt hält besser

Gerne darfst du innerhalb eines Jahres die Schulung nochmals online als Refresher besuchen.

Lerne von Experten

Wir garantieren dir stets den Einsatz von didaktisch und methodisch erstklassig qualifizierten Trainern, die ihr Wissen sowohl aus Trainingserfahrung als auch beruflicher Praxis- und Projekterfahrung beziehen.

FAQs

Häufige Fragen

01Ersetzt multimodale KI klassische Texterkennung (OCR)?

Oft ergänzt sie OCR, also die maschinelle Erkennung von Text in Bildern, statt sie zu ersetzen; welcher Weg passt, hängt von Menge, Bildqualität und Kosten ab. Anthropic etwa übergibt Claude eine PDF-Seite als extrahierten Text plus Seitenbild (Stand November 2026). In der tecnovy Schulung Multimodale KI gehört diese Abwägung zur Modellauswahl.

02Brauche ich Vorwissen in Computer Vision?

Nein. Für die tecnovy Schulung Multimodale KI reichen Programmierkenntnisse in Python und Erfahrung mit LLM-APIs. Fehlt dir die API-Erfahrung, beginnst du mit dem tecnovy Kurs LLM Engineering.

03Verarbeitet jedes Modell Bilder, Dokumente und Audio?

Nein, die Anbieter decken die Datenarten unterschiedlich ab. Claude von Anthropic und Gemini von Google lesen PDFs samt Diagrammen und Tabellen, Gemini nimmt Audio direkt an, und OpenAI bietet mit gpt-transcribe ein eigenes Modell für Transkription (Stand November 2026). Deshalb wählst du in der tecnovy Schulung Multimodale KI das Modell je Aufgabe aus.

04Wie große Dokumente und Aufnahmen verarbeiten die Modelle?

Das legt jeder Anbieter selbst fest: Claude nimmt bis zu 600 PDF-Seiten pro Anfrage an (100 bei einem Kontextfenster unter 1 Million Tokens), Gemini PDFs bis 50 MB oder 1.000 Seiten und bis zu 9,5 Stunden Audio pro Prompt, OpenAI für Transkription Dateien bis 25 MB (Stand November 2026). Diese Grenzen fließen in der tecnovy Schulung Multimodale KI in die Modellauswahl ein.

05Lesen multimodale Modelle Scans fehlerfrei?

Nein. Anthropic nennt Fehler bei Bildern mit schlechter Qualität, gedrehten oder sehr kleinen Bildern, OpenAI Fehldeutungen bei gedrehtem oder auf dem Kopf stehendem Text (Stand November 2026). In der tecnovy Schulung Multimodale KI testest du solche Fälle gezielt und gibst Ergebnisse, die deine Prüfregeln nicht bestehen, zur Kontrolle an Menschen.

06Was gilt für Fotos und Aufnahmen mit Personen?

Gesichter auf Fotos und Stimmen in Aufnahmen können personenbezogene Daten sein. In der tecnovy Schulung Multimodale KI prüfst du, welche Daten an welchen Anbieter gehen und ob er Eingaben weiterverwendet. Was du verarbeiten darfst, legen die Richtlinien deines Unternehmens fest.

07Laufen die Übungen über echte Modell-APIs?

Ja, die Übungen der tecnovy Schulung Multimodale KI rufen Modelle über ihre APIs auf und brauchen dafür einen API-Zugang mit Schlüssel. Abgerechnet wird je Anbieter verschieden: Anthropic berechnet eine PDF-Seite als Text- und Bildtokens, Google bietet für die Gemini-API ein kostenloses Kontingent mit eingeschränkter Modellauswahl (Stand November 2026).

08Schließt Multimodale KI mit einem Zertifikat ab?

Ja, mit dem tecnovy Teilnahmezertifikat, das du ab 80 % Anwesenheit erhältst. Eine Prüfung oder eine Zertifizierung eines Modellanbieters gehört zur tecnovy Schulung Multimodale KI nicht.

09Was baut auf Multimodale KI auf?

Bei tecnovy folgt Enterprise AI Apps entwickeln: Dort bringst du eine KI-Anwendung wie deine multimodale Pipeline in eine Architektur für den produktiven Betrieb, mit Rechten, Schutzmechanismen, Tests und Deployment.

Wie sieht deine Schulung bei tecnovy aus?

Multimodal AIMultimodale KI: Text, Bild, Audio und Dokumente kombinieren

Noch keine Termine

Wir merken dich vor, sobald der nächste Termin geplant ist.