UMA-Studierende entwickeln KI-App „Conecta2“ zum Lippenlesen

KI-Tool zum Lippenlesen gibt stummen Patientinnen und Patienten ihre Stimme zurück

Vier Studierende der Ingenieurwissenschaften für Künstliche Intelligenz an der Universität Málaga (UMA) haben Conecta2 entwickelt, eine mobile Anwendung, die stumme Lippenbewegungen in Echtzeit in gesprochene Sprache übersetzt.

Wie Sur in English berichtet, nutzt das Projekt maßgeschneiderte Computer-Vision-Algorithmen und Modelle des maschinellen Lernens, um subtile Lippen- und Gesichtsbewegungen zu analysieren und direkt in synthetisiertes Audio umzuwandeln. Die Initiative behebt eine kritische Hürde im klinischen Alltag, wenn Patientinnen und Patienten physisch nicht in der Lage sind, Wörter auszusprechen.

Technische Architektur und visuelle Phonemerkennung

Die Entwicklung von Conecta2 konzentriert sich auf die visuelle Phonemerkennung in Echtzeit. Im Gegensatz zu herkömmlichen Sprach-zu-Text-Systemen, die auf akustische Eingaben angewiesen sind, arbeitet dieses System ausschließlich mit visuellen Daten, die über die Kamera eines gewöhnlichen Mobilgeräts erfasst werden.

System-Workflow

Computer-Vision-Pipeline: Über die Smartphone-Kamera aufgenommene Einzelbilder werden verarbeitet, um die Lippen- und untere Gesichtsregion zu isolieren und geometrische Orientierungspunkte mit hoher Bildrate zu verfolgen.
Verarbeitung durch neuronale Netze: Ein Deep-Learning-Modell übersetzt Abfolgen von Lippenpositionen in wahrscheinliche Phoneme und Wörter. Dabei löst es visuelle Zweideutigkeiten auf, die bei stummer Sprache häufig auftreten (wie etwa identische Lippenstellungen bei ‘p’, ‘b’ und ‘m’).
Audiosynthese-Engine: Erkannte visuelle Sequenzen werden sofort in Text umgewandelt und an eine Text-to-Speech-Engine mit geringer Latenz weitergeleitet, die klare gesprochene Wörter mit minimaler Verzögerung ausgibt.

Die Verarbeitungs-Latenzzeit ist eine entscheidende Kennzahl bei unterstützenden Kommunikationswerkzeugen. Durch die Priorisierung der Verarbeitung direkt auf dem Gerät (On-Device Processing) minimiert die Anwendung Verzögerungen und funktioniert auch ohne permanente Highspeed-Internetverbindung im Krankenhausumfeld zuverlässig.

Klinische Anwendungen und Zielgruppen

Kommunikationsbarrieren im Gesundheitswesen verstärken häufig Ängste und erschweren die Behandlung von Patientinnen und Patienten mit vorübergehenden oder dauerhaften Sprachstörungen. Conecta2 zielt auf mehrere konkrete klinische Szenarien ab:

Intensivpatienten: Personen, die künstlich beatmet oder intubiert werden, sind meist bei Bewusstsein, können jedoch keine akustischen Laute erzeugen. Conecta2 bietet einen nicht-invasiven Weg, um Symptome, Grundbedürfnisse und Gefühlszustände mitzuteilen.
Postoperative Erholung: Patientinnen und Patienten nach einem Luftröhrenschnitt (Tracheostomie), Kehlkopfoperierten oder nach Gesichtstraumata leiden oft unter längerem Sprachverlust.
Neurologische Erkrankungen: Fortschreitende Erkrankungen wie Amyotrophe Lateralsklerose (ALS), fortgeschrittene Parkinson-Krankheit oder schwere Schlaganfälle beeinträchtigen die Motorik der Stimmbänder, während die Gesichts- und Lippenbeweglichkeit erhalten bleibt.

Klinischer Kontext
Primäres Sprachhindernis
Technische Funktion von Conecta2
Künstliche Beatmung
Atemwegsblockade verhindert Stimmbandvibration
Übersetzt stumme Mundbewegungen direkt in Audio
Tracheostomie (Luftröhrenschnitt)
Luftstrom wird am Kehlkopf vorbeigeleitet
Erzeugt Sprachausgabe ohne erforderlichen Ausatmungsdruck
Dysarthrie nach Schlaganfall
Beeinträchtigte neuromuskuläre Sprachkoordination
Nutzt visuelle Hinweise zur Rekonstruktion beabsichtigter Wörter

Málagas wachsende Rolle bei angewandten KI-Innovationen

Die Entwicklung von Conecta2 unterstreicht die wachsende technische Kompetenz der Fakultät für Informatik der Universität Málaga (E.T.S. de Ingeniería Informática). Málaga hat sich kontinuierlich den Ruf eines bedeutenden Technologie-Hubs in Südeuropa erarbeitet und verbindet akademische Talente mit regionaler Infrastruktur wie dem Málaga TechPark (PTA).

Projekte der UMA zeigen einen klaren Trend hin zu angewandter Künstlicher Intelligenz, die auf die Lösung praktischer, realer Probleme abzielt. Die Kombination aus universitären Forschungstalenten und lokaler Inkubatoren-Unterstützung schafft einen effektiven Pfad, um akademische Studienprojekte in funktionale biomedizinische Technologie-Werkzeuge zu verwandeln.

Technische Herausforderungen und Fahrplan zur Skalierbarkeit

Obwohl erste Tests eine hohe Genauigkeit zeigen, birgt der Übergang von KI-Modellen zum Lippenlesen in den klinischen Einsatz komplexe betriebliche Variablen:

Umgebungslicht und Kamerawinkel: Am Krankenbett herrschen oft ungleichmäßige Lichtverhältnisse und ungewohnte Kamerawinkel, zudem können medizinische Geräte die Sicht teilweise verdecken.
Individuelle Unterschiede beim Sprechen: Gesichtsmechanik und Bewegungsamplituden unterscheiden sich von Mensch zu Mensch. Dies erfordert adaptive Modelle, die sich im Laufe der Zeit feineinstellen und an die spezifischen Sprachmuster der Nutzer anpassen.
Datenschutz und Compliance: Der Einsatz kamerabasierter Software in medizinischen Einrichtungen erfordert die strikte Einhaltung von Datenschutzstandards im Gesundheitswesen. Es muss sichergestellt sein, dass Videostreams lokal verarbeitet werden, ohne dass Daten unbefugt gespeichert werden.

Das Entwicklerteam plant, die Trainingsdatensätze auf verschiedene Akzente und Gesichtsstrukturen auszuweiten und gleichzeitig Partnerschaften für klinische Studien einzugehen, um die Leistung der App im realen Krankenhausalltag zu evaluieren.

Es ist äußerst ermutigend zu sehen, wie Ingenieurstudierende in Málaga fortschrittliche Technologie einsetzen, um menschliche Not zu lindern. Wenn Projekte wie Conecta2 aus den Universitätslaboren in die Testphase übergehen, wächst das Potenzial, die Patientenversorgung und Lebensqualität entscheidend zu verbessern.