KI-Dolmetscher – Ein Erfahrungsbericht

Wir haben einen digitalen Dolmetscher auf Herz und Nieren geprüft

Ende 2023 hatten wir erstmals die Gelegenheit, einen KI-Dolmetscher live zu testen. Eingeladen hatten dazu unsere Berufsverbände VKD und AIIC in Zusammenarbeit mit Elakustik, einem Konferenztechnikanbieter. Die Firma ist u. a. auf Simultantechnik und multilinguale Plattformen spezialisiert. Unter echten Bedingungen konnten wir dabei die Verdolmetschung einer künstlichen Intelligenz einmal aus der Nutzerperspektive beurteilen.

Was ist ein KI-Dolmetscher?

Ein KI-Dolmetscher, auch digitaler Dolmetscher oder maschineller Dolmetscher genannt, ist eine Software, die gesprochene Sprache verschriftlicht, automatisch übersetzt und diese Übersetzung dann über eine künstliche Sprachausgabe wiedergibt. Für den Alltagsgebrauch gibt es dafür schon seit Jahren Apps wie Microsoft Translator oder Google Translate. Im Urlaub und bei einfachen Gesprächen können sie gute Dienste bei der Verständigung leisten.

Inzwischen haben aber auch Anwendungen für den Konferenzbereich die Forschungs- und  Entwicklungslabors verlassen und machen erste Schritte hin zum Einsatz im professionellen Bereich. So wie der digitale Dolmetscher in unserem Test, der unserer Einschätzung nach derzeit State of the Art ist.

Der KI-Dolmetscher im Test – so lief die Live-Demo ab:

• Wir wählten uns auf einer cloudbasierten, multilingualen Videokonferenzplattform ein.
• Beispielhaft wurde von einem Sprecher ein Leitfaden für eine Hauptversammlung in deutscher Sprache normal vorgelesen, d. h. er hat beispielsweise die Satzenden nicht durch das Senken seiner Stimme übertrieben betont.
• Wir konnten bei der computergestützten Verdolmetschung des Leitfadens als Zielsprachen Englisch, Französisch, Spanisch oder Italienisch wählen.
• Bei Bedarf konnten wir uns auch die Untertitel (sog. Captions), d. h. die Verschriftlichung des Gesprochenen, in deutscher, aber auch in jeder der anderen angebotenen Sprache, einblenden lassen.

Der KI-Dolmetscher in unserem Test wurde vorab nicht trainiert, d. h. die Maschine wurde vorab nicht mit Terminologie, Eigennamen oder Referenztexten „gefüttert“. Das ist aber natürlich grundsätzlich möglich und erfolgt bei vielen KI-Anwendungen durch maschinelles Lernen automatisch.

Wie arbeitet ein KI-Dolmetscher im Jahr 2023?

1. Mit Hilfe einer Spracherkennungssoftware wird gesprochene Sprache zunächst in einen schriftlichen Text umgewandelt.
2. Dieser Text wird maschinell übersetzt.
3. Der übersetzte Text wird per Sprachsynthese, also künstlicher Spracherzeugung, mit einer Computerstimme wiedergegeben.

Im Fachjargon wird dieses Vorgehen „Speech-to-Text-to-Speech“ genannt. Es handelt sich beim computergestützten Simultandolmetschen also um einen kaskadierenden, mehrstufigen Prozess.

Und genau hier liegt derzeit (noch) eines der großen Probleme: Denn die verschiedenen Verarbeitungsschritte zu durchlaufen, benötigt Zeit und das verzögert den Dolmetschprozess – selbst, wenn es sich aufgrund der hohen Rechenleistung nur um Bruchteile von Sekunden handelt. Dennoch bemerkt man beim automatischen Dolmetschen eine größere Décalage, also einen Abstand zwischen dem gesprochenen Original und der zu hörenden maschinellen Verdolmetschung, als das beim Dolmetschen durch professionelle, menschliche Dolmetscher:innen der Fall wäre.

Wir haben festgestellt, dass die Maschine sehr schnell spricht. Grund dafür ist vermutlich, dass die Verzögerung, die durch die vielen Prozessschritte entsteht, wettgemacht werden soll. Würde die Sprachausgabe in einem normalen Tempo laufen, wäre die Décalage sogar noch deutlich größer.

Mögliche Fehlerquellen bei digitalen Dolmetschern

Je mehr Verarbeitungsschritte es gibt, desto mehr mögliche Fehlerquellen gibt es. Beim KI-Dolmetschen sind das nach unserer Erfahrung folgende:

• Ist ein:e Sprecher:in schlecht zu verstehen, spricht mit Dialekt, sehr schnell oder ohne übertrieben deutliche Betonung, ist die Spracherkennungssoftware schnell überfordert.
• Ist die Spracherkennung der Original-Rede ungenau oder fehlerhaft, ist die Grundlage für die maschinelle Übersetzung ebenfalls ungenau oder fehlerhaft.
• Das maschinelle Übersetzungssystem greift auf diesen fehlerhaften, transkribierten Text zu und übersetzt die Fehler mit in die Zielsprache. Im Test stimmte die Interpunktion des übersetzten Textes nicht. Damit wurden die inhaltlichen Zusammenhänge unklar.
• In der Sprachausgabe, die den übersetzten Text wiedergibt, kommen schließlich unlogische, unverständliche oder falsche Aussagen heraus.

Um diese sich potenzierenden Fehler zu vermeiden, aber auch den Dolmetschprozess zu beschleunigen, arbeiten die Softwareanbieter mit Hochdruck an der Reduzierung der Verarbeitungsschritte. Ziel ist es, die gesprochene Verdolmetschung ohne den Zwischenschritt der maschinellen, schriftlichen Übersetzung zu erreichen („Speech-to-Speech“).

Was können KI-Dolmetscher – und was (noch) nicht?

Überraschend war für uns, dass auf das „erste Hören“ die englische Verdolmetschung gar nicht so schlecht klang. Der Akzent war muttersprachlich, es wurde flüssig, wenn auch – wie oben beschrieben – ziemlich schnell gesprochen. Bei längerem Zuhören klang die Computerstimme jedoch ziemlich monoton.

Auch die Spracherkennung des eingelesenen Leitfadens war relativ gut. Erkennbar war das an der deutschen Untertitelung, auf deren Grundlage die Übersetzung erfolgte. Jedoch war die Interpunktion teils falsch oder fehlte ganz, weil die fehlende Intonation des Sprechers der Maschine die Erkennung von Satzstrukturen erschwerte.

Dadurch war schließlich der Inhalt der KI-Verdolmetschung kaum noch nachvollziehbar. Wir konnten den Anweisungen, die der Leser aus dem Leitfaden vortrug, jedenfalls nicht folgen.

Eigennamen und Fachtermini hat die Spracherkennung schlecht erfasst. Da die Maschine vorab nicht mit der Terminologie und den Namen von Personen und Organisationen „gefüttert“ wurde, konnte die Maschine natürlich nur übersetzen und „nachsprechen“, was die Spracherkennung phonetisch erkannt hat. Dies ließe sich durch ein vorheriges „Training“ sicher deutlich verbessern.

Redewendungen wurden wörtlich übersetzt und haben dann natürlich keinen Sinn mehr ergeben. Dafür haben sie für reichlich Gelächter unter den teilnehmenden Dolmetsch-Kolleg:innen gesorgt ;-)

KI-Dolmetscher im Test – unser Fazit

Für uns ist nach dieser Erfahrung klar: In ein paar Jahren werden KI-Dolmetscher im professionellen Bereich sicherlich in bestimmten Settings eingesetzt werden. Derzeit haben sie noch viele Mängel, aber mit der rasanten Entwicklung im Bereich der Spracherkennung, maschinellen Übersetzung und künstlichen Intelligenz sowie mit den enormen Datenmengen und steigenden Rechenleistungen ist es nur noch eine Frage der Zeit, bis die heutigen Einschränkungen Geschichte sind.

Für uns als Dolmetscher:innen ist diese Entwicklung eine Herausforderung und Chance zugleich. In einem zweiten Magazinbeitrag gehen wir genauer darauf ein, warum digitale Dolmetscher derzeit noch keine professionelle Option sind und in welchen Situationen wir uns künftig KI-Dolmetscher im professionellen Einsatz vorstellen können.