Automatische Spracherkennung: KIT stellt Weiterentwicklung des Lecture Translators vor

Automatische Spracherkennungssysteme wie der Lecture Translator des Karlsruher Instituts für Technologie (KIT) können das Gesprochene in Vorträgen in Echtzeit in einen Text in mehreren Sprachen umwandeln. Mit der Transkribierung in Echtzeit verbessern solche Systeme den Zugang zu Informationen für Studierende mit Behinderungen und ausländische Studierende.

Nun haben Forscher des KIT den Lecture Translator um neue Funktionen erweitert. Automatische Erkennung des Gesprochenen in mehreren Sprachen gleichzeitig, Textsegmentierung und Titelgenerierung in Echtzeit, Zusammenfassungen und Verlinkungen zu Fachbegriffen und Abfragen des Gehörten vereinfachen nun das Verstehen und effiziente Aufarbeiten von Vorlesungen.

Alexander Waibel, Professor für Informatik am KIT:

Mit der automatischen Simultanübersetzung des Lecture Translators haben wir gesprochene Vorträge einem internationalen Publikum nähergebracht. Dieses macht aber in der Regel nur 15 Prozent der Zuhörerschaft aus.

Mit den neuen KI-Werkzeugen wollen wir nicht nur Sprach-, sondern auch Verständnisbarrieren abbauen.

Oft sind automatisch transkribierte Texte von gesprochener Sprache schwer zu lesen, da sie zu schnell fortlaufend ohne Absätze und Zwischenüberschriften als langer Text erscheinen – eben genau so, wie der Vortrag oder die Vorlesung mündlich vorgetragen wurde.

Auch die Aufarbeitung der Vorlesung sei mühsam, da man die Vorlesung nach Verständnislücken durchsuchen müsse, so Waibel.

Automatische Absatzeinteilung, Zusammenfassung, Verlinkung

Die Weiterentwicklung des Lecture Translators schafft hier Abhilfe. Am KIT wurden mehrere neue automatische Funktionen wie „Smart Chaptering“, Summarization“, „Q&A“ oder „Auto-Links“ entwickelt. Dabei verwandelt eine neuartige Künstliche Intelligenz (KI), die automatisch die Sprache erkennt, den gesprochenen Text in ein Transkript in mehreren Sprachen und identifiziert automatisch Absätze, Kapitelüberschriften sowie wichtige Kernpunkte.

Akustische Wiedergabe als Übersetzung in 18 Sprachen

Darüber hinaus erstellt sie eine akustische Wiedergabe, bei der Nutzer eine von 18 Sprachen auswählen können. Außerdem zeigt das Programm automatisch Links als Querverweise zu relevanten Quellen in Vorlesungsskripten oder Wikipedia an, mit deren Hilfe die Studenten die Vorlesung besser aufarbeiten können.

„Mit unseren neuen KI-Modellen können Gespräche und Vorlesungen besser strukturiert und sogar Videos in leicht navigierbare Kapitel eingeteilt werden“, so Waibel. Somit sei ein besseres Verständnis nicht nur während, sondern auch nach der Vorlesung möglich.

Strukturierung erleichtert Weiterverarbeitung

Kapiteleinteilung, Titelgenerierung, Absatzgestaltung, Zusammenfassungen mit Verlinkungen – auch jeweils online und offline anwendbar – erweitern nun den Service des Lecture Translators und vereinfachen die Arbeit mit dem Material.

Konkrete Anwendungsmöglichkeiten findet die Technologie für Inhaltsersteller, Studierende, Lehrer und Podcaster, die ihre Audio- und Videoinhalte erstmals strukturieren können. „Nutzer können effizienter durch Videos und Vorträge navigieren, relevante Abschnitte schneller finden und wichtige Kerninhalte kompakt und effizient erfassen – sie haben insgesamt eine viel bessere grobe Übersicht sowie schnelleren Zugriff auf die Details“, erläutert Waibel.

Föderung von Volkswagenstiftung

Die Forschungsarbeiten fanden im im Rahmen des Projekts „How is AI Changing Science?“ statt und wurden für vier Jahre von der Volkswagenstiftung gefördert. Projektbeteiligte waren neben dem KIT die Universität Bonn sowie die Universität Wien.

Über das Karlsruher Institut für Technologie

Als „Die Forschungsuniversität in der Helmholtz-Gemeinschaft“ schafft und vermittelt das KIT Wissen für Gesellschaft und Umwelt. Ziel ist es, zu den globalen Herausforderungen maßgebliche Beiträge in den Feldern Energie, Mobilität und Information zu leisten.

Dazu arbeiten rund 10.000 Mitarbeiter auf einer breiten disziplinären Basis in Natur-, Ingenieur-, Wirtschafts- sowie Geistes- und Sozialwissenschaften zusammen. Seine 22.800 Studenten bereitet das KIT durch ein forschungsorientiertes universitäres Studium auf verantwortungsvolle Aufgaben in Gesellschaft, Wirtschaft und Wissenschaft vor.

Die Innovationstätigkeit am KIT soll eine Brücke zwischen Erkenntnis und Anwendung zum gesellschaftlichen Nutzen, wirtschaftlichen Wohlstand und Erhalt der natürlichen Lebensgrundlagen schlagen. Das KIT gehört zum Kreis der deutschen Exzellenzuniversitäten.

Mehr zum Thema

Margarete Lehné (KIT)