OpenAIs Whisper gilt als Standard für Spracherkennung, leidet jedoch unter praktischen Einschränkungen: Zeitstempel weichen oft um mehrere Sekunden ab, es fehlt native Sprecherzuordnung (Diarization), und lange Audioabschnitte führen gelegentlich zu Halluzinationen. WhisperX setzt genau an diesen Schwachstellen an und bündelt spezialisierte Open-Source-Bausteine zu einer durchgängigen Pipeline.
Funktionsweise der Pipeline
- Voice Activity Detection (VAD): Erkennt Sprachabschnitte vorab, schneidet Stille heraus und verhindert so typische Wiederholungs-Halluzinationen.
- Transkription im Batch: Unter Verwendung der CTranslate2-basierten Implementierung faster-whisper werden Segmente parallel transkribiert, was den GPU-Durchsatz drastisch erhöht.
- Phonem-Alignment: Ein nachgelagertes wav2vec2-Modell ordnet den transkribierten Text präzise der Audiospur zu, wodurch Zeitstempel auf Wortebene entstehen.
- Sprechertrennung: Über pyannote-audio werden Stimmabdrücke analysiert und den Textsegmenten Sprecher-IDs zugeordnet.
Reifegrad und Einschränkungen
Mit rund 25.000 GitHub-Sternen, Veröffentlichung im ArXiv-Paper und BSD-2-Clause-Lizenz ist das Tool in der Open-Source-Community fest etabliert. Zu beachten ist jedoch die Abhängigkeit von Modellgewichten Dritter: pyannote-audio erfordert beispielsweise Zugriffstoken auf Hugging Face und unterliegt eigenen Lizenzbedingungen für kommerzielle Nutzung.