
Multimodale KI gilt als einer der vielversprechendsten Ansätze für die Medizin der Zukunft. Indem sie unterschiedliche Datenquellen wie Bildgebung, Genomik, Laborwerte, klinische Dokumentation und epidemiologische Informationen zusammenführt, kann sie Forschung und Versorgung gezielter unterstützen. Besonders deutlich wird ihr Potenzial in der Medikamentenentwicklung, bei der Analyse von Virusmutationen und in der frühzeitigen Einschätzung möglicher Infektionsausbrüche.
Inhaltsverzeichnis
- Was bedeutet Multimodale KI in der Medizin?
- Wie Multimodale KI Daten zusammenführt
- Multimodale KI in der Medikamentenentwicklung
- Multimodale KI in klinischen Studien
- Multimodale KI bei Pandemievorhersage und -planung
- Warum Multimodale KI klassische Prognosemodelle unterstützen kann
- Multimodale KI und Virusmutation
- Chancen von Multimodaler KI für Ärzte
- Herausforderungen: Datenschutz, Bias und klinische Validierung
- Fazit
Überblick: Multimodale KI
- Multimodale KI verbindet unterschiedliche medizinische Datenquellen wie Bildgebung, Laborwerte, Genomik, klinische Texte, Real-World-Daten und epidemiologische Informationen.
- In der Medikamentenentwicklung kann Multimodale KI helfen, Zielstrukturen zu identifizieren, Moleküle zu priorisieren, Protein-Ligand-Bindungen vorherzusagen und Toxizitätsrisiken früher abzuschätzen.
- Bei der Pandemievorhersage kann Multimodale KI Infektionszahlen, Genomsequenzen, Abwasserdaten, Mobilitätsmuster, Klimafaktoren und Krankenhausauslastung gemeinsam auswerten.
- Die Technologie ersetzt keine ärztliche oder wissenschaftliche Bewertung, sondern liefert Wahrscheinlichkeiten, Hypothesen und Entscheidungshilfen.
- Für den Einsatz in Deutschland und der EU sind Datenschutz, Datenqualität, klinische Validierung, Nachvollziehbarkeit und regulatorische Anforderungen entscheidend.
Was bedeutet Multimodale KI in der Medizin?
Künstliche Intelligenz ist in vielen Bereichen der Medizin angekommen. Besonders relevant wird derzeit Multimodale KI, weil sie nicht nur eine einzelne Datenart verarbeitet, sondern verschiedene Informationsquellen miteinander kombiniert. Dazu zählen etwa Arztbriefe, Laborwerte, Bildgebung, Genomdaten, Pathologiebefunde, elektronische Patientenakten, Publikationen, Wearable-Daten oder epidemiologische Meldesysteme.
Der Vorteil liegt nicht allein in der Datenmenge. Entscheidend ist die Fähigkeit, Zusammenhänge zwischen verschiedenen Modalitäten zu erkennen. Ein Modell kann beispielsweise radiologische Befunde mit Laborparametern, genetischen Varianten und klinischen Verläufen in Beziehung setzen. Dadurch entstehen Muster, die in isolierten Datensätzen schwerer sichtbar wären.
Für Ärzte ist wichtig: Multimodale KI ist kein Ersatz für klinische Erfahrung. Sie kann aber helfen, komplexe Datenlagen schneller zu strukturieren, Hypothesen zu priorisieren und Risiken besser einzuschätzen.
Kurz erklärt
Wie Multimodale KI Daten zusammenführt
Multimodale KI arbeitet mit Datenfusion. Dabei werden unterschiedliche Datenquellen so aufbereitet, dass ein Modell sie gemeinsam auswerten kann. In der Medizin sind vor allem drei Ebenen relevant:
- Patientennahe Daten: Anamnese, Diagnosen, Laborwerte, Medikationsdaten, Bildgebung, Pathologie, Genomik und klinische Verlaufsdaten.
- Forschungsdaten: Molekülstrukturen, Proteinstrukturen, Omics-Daten, präklinische Befunde, Studienprotokolle und wissenschaftliche Literatur.
- Public-Health-Daten: Infektionsmeldungen, Abwasserdaten, Genom-Surveillance, Mobilitätsdaten, regionale Versorgungsdaten und Krankenhauskapazitäten.
Ein bekanntes Forschungsbeispiel ist Med-PaLM M von Google Research. Das Modell wurde als Proof of Concept für ein generalistisches biomedizinisches KI-System vorgestellt und kann unterschiedliche biomedizinische Daten wie klinische Sprache, Bildgebung und Genomik verarbeiten. Zugleich betonen die Forschenden, dass weitere Validierung nötig ist, bevor solche Systeme in realen klinischen Situationen verlässlich eingesetzt werden können.
Multimodale KI in der Medikamentenentwicklung
Die Entwicklung neuer Medikamente ist langwierig, teuer und mit hoher Unsicherheit verbunden. Viele Wirkstoffkandidaten scheitern, weil sie nicht ausreichend wirksam sind, unerwartete Toxizität zeigen oder sich pharmakokinetisch ungünstig verhalten. Multimodale KI kann an mehreren Stellen der Wertschöpfungskette ansetzen.
Zielstruktur identifizieren
Am Anfang steht häufig die Frage, welches biologische Ziel therapeutisch sinnvoll ist. Hier kann Multimodale KI genetische Daten, Proteomik, Transkriptomik, Krankheitsmodelle und klinische Phänotypen gemeinsam analysieren. So lassen sich Zielstrukturen priorisieren, die biologisch plausibel sind und mit einer Erkrankung in Verbindung stehen.
Ein aktuelles Beispiel ist Variant Bio. Das Unternehmen stellte im Januar 2026 die Plattform Inference vor, die proprietäre und öffentliche genetische sowie multi-omische Daten mit KI-Methoden kombiniert, um Wirkstoffziele zu entdecken und zu validieren. Laut Unternehmensangaben kann die Plattform genetische Assoziationen, Multi-omics-Daten und KI-Agenten nutzen, um Hypothesen für die Arzneimittelforschung zu generieren.
Moleküle priorisieren und Protein-Ligand-Bindungen vorhersagen
Ein weiterer Schwerpunkt liegt in der frühen Wirkstoffsuche. Multimodale KI kann Molekülstrukturen, Proteinstrukturen, Bindungstaschen, biochemische Assays und Literaturdaten zusammenführen. Das Ziel ist, schneller zu erkennen, welche Moleküle mit hoher Wahrscheinlichkeit an ein therapeutisches Ziel binden und welche Kandidaten weniger aussichtsreich sind.
Ein Industriebeispiel ist die Kooperation zwischen Takeda und Iambic. Iambic kündigte im Februar 2026 eine mehrjährige Zusammenarbeit mit Takeda an. Dabei erhält Takeda Zugriff auf NeuralPLexer, ein KI-Modell zur Vorhersage von Protein-Ligand-Komplexen. Das potenzielle Zahlungsvolumen kann laut Iambic mehr als 1,7 Milliarden US-Dollar erreichen, abhängig von erfolgsbasierten Zahlungen und weiteren Vereinbarungen.
Sicherheit und Toxizität früher abschätzen
Für die spätere Entwicklung ist nicht nur die Wirksamkeit entscheidend. Ebenso wichtig sind ADMET-Eigenschaften: Absorption, Distribution, Metabolismus, Exkretion und Toxizität. Multimodale KI kann präklinische Daten, Strukturinformationen, Zellmodelle, Tiermodelldaten, bekannte Nebenwirkungsprofile und klinische Daten ähnlicher Substanzen miteinander vergleichen.
Damit lassen sich potenzielle Risiken früher erkennen. Das bedeutet jedoch nicht, dass klinische Studien ersetzt werden können. KI-Modelle liefern Wahrscheinlichkeiten und Hinweise. Ob ein Wirkstoff im Menschen sicher und wirksam ist, muss weiterhin in kontrollierten präklinischen und klinischen Prüfungen untersucht werden.
Die Europäische Arzneimittel-Agentur beschreibt in ihrem Reflexionspapier den Einsatz von KI über den gesamten Lebenszyklus von Arzneimitteln hinweg — von der Wirkstoffentdeckung bis zur Phase nach der Zulassung.
Multimodale KI in klinischen Studien
Auch in klinischen Studien kann Multimodale KI eine Rolle spielen. Sie kann helfen, geeignete Patientengruppen zu identifizieren, Ein- und Ausschlusskriterien zu prüfen, Biomarker zu analysieren und Studienarme besser zu planen.
Besonders relevant ist dies bei Erkrankungen mit heterogenen Verläufen, etwa in der Onkologie, Immunologie oder bei seltenen Erkrankungen. Wenn Bildgebung, molekulare Marker, Vortherapien, Komorbiditäten und klinische Verlaufsdaten gemeinsam betrachtet werden, kann die Patientenselektion präziser werden.
Für Ärzte bleibt entscheidend: KI-basierte Empfehlungen müssen nachvollziehbar, validiert und klinisch interpretierbar sein. Eine algorithmische Priorisierung darf nicht unkritisch übernommen werden, vor allem wenn Datensätze verzerrt, unvollständig oder nicht auf die jeweilige Versorgungssituation übertragbar sind.
Multimodale KI bei Pandemievorhersage und -planung
Bei Infektionskrankheiten reicht eine einzelne Datenquelle selten aus. Gemeldete Fallzahlen zeigen nur einen Ausschnitt des tatsächlichen Geschehens. Sie hängen von Testverhalten, Meldewegen, Diagnostikverfügbarkeit und regionalen Strukturen ab. Multimodale KI kann hier helfen, verschiedene Signale gemeinsam zu interpretieren.
Relevante Datenquellen sind unter anderem:
- gemeldete Infektionszahlen,
- syndromische Surveillance,
- Abwasserdaten,
- Genomsequenzen von Erregern,
- Krankenhaus- und Intensivbettenauslastung,
- Impfquoten,
- Mobilitätsdaten,
- Klima- und Saisonalitätsdaten,
- internationale Reise- und Ausbruchsinformationen.
In Deutschland sind Abwasser- und Genom-Surveillance wichtige ergänzende Bausteine. Das Robert Koch-Institut beschreibt Abwassermonitoring als Instrument zur epidemiologischen Lagebewertung und arbeitet an Sequenzierungs- und Bioinformatikmethoden für SARS-CoV-2 im Abwasser.
Warum Multimodale KI klassische Prognosemodelle unterstützen kann
Klassische epidemiologische Modelle sind unverzichtbar, aber sie arbeiten häufig mit begrenzten Annahmen und ausgewählten Variablen. Multimodale KI kann diese Modelle ergänzen, indem sie komplexe Wechselwirkungen zwischen Datenquellen erkennt.
Beispiel: Steigende Viruslast im Abwasser, zunehmende Notaufnahmevorstellungen, bestimmte klimatische Bedingungen und neue Genomsequenzen können zusammen ein stärkeres Warnsignal ergeben als jede einzelne Information für sich. Eine solche Analyse kann Gesundheitsämtern, Kliniken und politischen Entscheidungsträgern helfen, Ressourcen früher zu planen.
Das Ziel ist nicht, eine Pandemie exakt vorherzusagen. Realistisch ist vielmehr eine bessere Risikostratifizierung: Wo steigt die Wahrscheinlichkeit für regionale Ausbrüche? Welche Varianten sollten priorisiert beobachtet werden? Welche Kliniken könnten bald stärker belastet sein? Wo sind Präventionsmaßnahmen besonders dringlich?
Multimodale KI und Virusmutation
Ein besonders spannender Forschungsbereich ist die Vorhersage von Virusvarianten. Viren verändern sich kontinuierlich. Nicht jede Mutation ist relevant, aber einzelne Veränderungen können Übertragbarkeit, Immunescape oder Therapiewirksamkeit beeinflussen.
Multimodale KI kann genetische Sequenzen, Proteinstrukturen, biophysikalische Informationen, Immunescape-Daten und wissenschaftliche Literatur zusammenführen. Das kann helfen, Mutationen zu priorisieren, die für Impfstoffentwicklung, monoklonale Antikörper oder Public-Health-Maßnahmen relevant werden könnten.
Ein Beispiel ist EVEscape, ein Forschungsansatz von Harvard Medical School und Kooperationspartnern. EVEscape kombiniert ein Deep-Learning-Modell historischer Sequenzen mit biophysikalischen und strukturellen Informationen, um das Escape-Potenzial viraler Mutationen einzuschätzen.
Wichtig ist die Einordnung: Solche Modelle können Risiken sichtbar machen, aber sie sagen nicht sicher voraus, welche Variante sich weltweit durchsetzen wird. Dafür spielen auch Immunitätslage, Verhalten, Reisebewegungen, Zufallseffekte und Public-Health-Maßnahmen eine Rolle.
Chancen von Multimodaler KI für Ärzte
Für Ärzte kann Multimodale KI vor allem dort wertvoll werden, wo sehr viele Daten gleichzeitig bewertet werden müssen. Dazu gehören:
- Differentialdiagnostik bei komplexen Fällen,
- Interpretation von Bildgebung und Laborwerten im Kontext,
- Therapieplanung bei molekular stratifizierten Erkrankungen,
- Risikoabschätzung bei multimorbiden Patienten,
- Studienrekrutierung,
- Pharmakovigilanz,
- infektiologische Frühwarnsysteme.
In der Versorgung könnte Multimodale KI künftig nicht nur Befunde zusammenfassen, sondern auch Widersprüche markieren: etwa wenn Bildgebung, Laborwerte und klinischer Verlauf nicht zusammenpassen. Das kann die ärztliche Entscheidungsfindung unterstützen, entbindet aber nicht von der Verantwortung zur Plausibilitätsprüfung.
Herausforderungen: Datenschutz, Bias und klinische Validierung
Die größten Hürden liegen nicht nur in der Modellarchitektur, sondern in Datenqualität, Governance und klinischer Validierung. Medizinische Daten sind oft unvollständig, heterogen dokumentiert und zwischen Einrichtungen schwer vergleichbar. Zudem können KI-Modelle bestehende Verzerrungen verstärken, wenn bestimmte Patientengruppen in Trainingsdaten unterrepräsentiert sind.
Für Deutschland und Europa sind außerdem regulatorische Vorgaben zentral. Der EU AI Act ist am 1. August 2024 in Kraft getreten. KI-Systeme für medizinische Zwecke können als Hochrisiko-Systeme gelten und müssen Anforderungen an Risikomanagement, hochwertige Datensätze, Nutzerinformation und menschliche Aufsicht erfüllen.
Für Hersteller, Kliniken und Forschungseinrichtungen bedeutet das: Multimodale KI muss nicht nur leistungsfähig sein, sondern auch dokumentierbar, auditierbar und sicher. Besonders wichtig sind:
- transparente Zweckbestimmung,
- Datenschutz und Datenminimierung,
- Qualitätssicherung der Trainings- und Testdaten,
- externe Validierung,
- Monitoring nach Implementierung,
- klare Verantwortlichkeiten,
- ärztliche Letztentscheidung bei klinisch relevanten Anwendungen.
Fazit
Multimodale KI kann die Medizin an mehreren Stellen verändern: in der Wirkstoffforschung, bei klinischen Studien, in der Versorgungsplanung, bei der Pandemievorhersage und in der Analyse von Virusmutationen. Ihr größter Nutzen liegt darin, unterschiedliche Datenquellen zusammenzuführen und komplexe Muster sichtbar zu machen.
Gleichzeitig darf der Nutzen nicht überschätzt werden. KI-Modelle liefern Wahrscheinlichkeiten, keine Gewissheiten. Sie benötigen hochwertige Daten, prospektive Validierung und klare regulatorische Leitplanken. Für Ärzte wird deshalb entscheidend sein, Multimodale KI als unterstützendes Instrument zu verstehen: Sie kann Orientierung geben, aber die medizinische Bewertung, Kommunikation mit Patienten sowie Verantwortung für Entscheidungen bleiben ärztliche Kernaufgaben.
Häufige Fragen zum Thema Multimodale KI
- Was ist Multimodale KI in der Medizin?
- Wie hilft Multimodale KI in der Medikamentenentwicklung?
- Welche Grenzen hat Multimodale KI bei Pandemievorhersagen?
Multimodale KI bezeichnet KI-Systeme, die verschiedene medizinische Datenarten gemeinsam auswerten, etwa Bildgebung, Laborwerte, klinische Texte, Genomik, Pathologie, Real-World-Daten und epidemiologische Informationen. Dadurch kann Multimodale KI Zusammenhänge erkennen, die bei isolierter Betrachtung einzelner Datenquellen leichter übersehen werden.
Multimodale KI kann in der Medikamentenentwicklung genetische Daten, Molekülstrukturen, Proteinmodelle, präklinische Befunde und klinische Informationen kombinieren. So kann Multimodale KI helfen, Zielstrukturen zu priorisieren, Wirkstoffkandidaten auszuwählen und Sicherheitsrisiken früher zu erkennen.
Multimodale KI kann Pandemievorhersagen verbessern, indem sie Infektionszahlen, Genomsequenzen, Abwasserdaten, Mobilität und Krankenhausdaten zusammenführt. Trotzdem kann Multimodale KI Ausbrüche nicht sicher vorhersagen oder verhindern, weil Virusausbreitung auch von Verhalten, Immunität, Zufallseffekten und Public-Health-Maßnahmen abhängt.













