WhisperX: Schnelle Spracherkennung mit Wort-Zeitstempeln und Diarisierung

Repositorym-bain/whisperXTool

WhisperX erweitert OpenAIs Whisper-Spracherkennung um VAD-gestütztes Batching, Wort-Zeitstempel via wav2vec2 und Sprechertrennung mit pyannote-audio. Es richtet sich an Entwickler, die Audioaufnahmen hochpräzise und bis zu 70-mal schneller als Echtzeit verarbeiten wollen.

Das Wichtigste

  1. Erreicht laut Projektangaben bis zu 70-fache Echtzeit-Geschwindigkeit bei Whisper large-v2 durch Batched Inference.
  2. Nutzt faster-whisper als Backend und benötigt weniger als 8 GB GPU-Speicher für large-v2 mit Beam Size 5.
  3. Liefert exakte Zeitstempel auf Wortebene durch erzwungenes Phonem-Alignment mit wav2vec2.
  4. Integrierte Sprechererkennung und -trennung (Diarization) über pyannote-audio weist Segmente konkreten Sprechern zu.
  5. VAD-Vorverarbeitung reduziert Halluzinationen und ermöglicht Batching ohne Verschlechterung der Wortfehlerrate (WER).

Warum das relevant ist

Standard-Whisper liefert ungenaue Zeitstempel auf Satzebene und unterstützt kein Batching. WhisperX löst diese Engpässe und ermöglicht automatisierte Untertitelung sowie Meeting-Transkripte auf eigener GPU-Infrastruktur.

Einordnung

OpenAIs Whisper gilt als Standard für Spracherkennung, leidet jedoch unter praktischen Einschränkungen: Zeitstempel weichen oft um mehrere Sekunden ab, es fehlt native Sprecherzuordnung (Diarization), und lange Audioabschnitte führen gelegentlich zu Halluzinationen. WhisperX setzt genau an diesen Schwachstellen an und bündelt spezialisierte Open-Source-Bausteine zu einer durchgängigen Pipeline.

Funktionsweise der Pipeline

  • Voice Activity Detection (VAD): Erkennt Sprachabschnitte vorab, schneidet Stille heraus und verhindert so typische Wiederholungs-Halluzinationen.
  • Transkription im Batch: Unter Verwendung der CTranslate2-basierten Implementierung faster-whisper werden Segmente parallel transkribiert, was den GPU-Durchsatz drastisch erhöht.
  • Phonem-Alignment: Ein nachgelagertes wav2vec2-Modell ordnet den transkribierten Text präzise der Audiospur zu, wodurch Zeitstempel auf Wortebene entstehen.
  • Sprechertrennung: Über pyannote-audio werden Stimmabdrücke analysiert und den Textsegmenten Sprecher-IDs zugeordnet.

Reifegrad und Einschränkungen

Mit rund 25.000 GitHub-Sternen, Veröffentlichung im ArXiv-Paper und BSD-2-Clause-Lizenz ist das Tool in der Open-Source-Community fest etabliert. Zu beachten ist jedoch die Abhängigkeit von Modellgewichten Dritter: pyannote-audio erfordert beispielsweise Zugriffstoken auf Hugging Face und unterliegt eigenen Lizenzbedingungen für kommerzielle Nutzung.

Gefunden in

Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 2. November 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.

Inhaltlich ähnlich, ermittelt über die KI-Suche.

  • Repository:jamiepine/voicebox

    Voicebox: Open-Source-Studio für lokale Sprachgenerierung und Diktat

    Voicebox ist ein lokales Open-Source-Sprachstudio, das Sprachsynthese, Voice-Cloning und Diktierfunktionen kombiniert. Die Desktop-Anwendung versteht sich als quelloffene Alternative zu proprietären Cloud-Diensten wie ElevenLabs und WisprFlow.

    55.625SterneTypeScript

    KI & AI· Tool

  • Artikel:Jakub Mroz, Henry Ndubuaku

    Whistle: Open-Source-Spracherkennung mit 16,9 MB Modellgröße

    Cactus Compute stellt mit Whistle ein leichtgewichtiges Speech-to-Text-Modell vor. Die Datei ist nur 16,9 MB groß, läuft dependency-frei auf der CPU und teilt sich die C++-Engine mit dem hauseigenen Modell Needle, was direkte Tool-Aufrufe aus Audiosignalen ermöglicht.

    KI & AI· Ankündigung

  • Repository:huggingface/speech-to-speech

    Hugging Face Speech to Speech: Modulare Open-Source-Pipeline für Sprachassistenten

    Hugging Face stellt mit speech-to-speech ein modulares Open-Source-Framework bereit, mit dem sich Sprachassistenten auf Basis von Open-Source-Modellen umsetzen lassen. Die Pipeline deckt VAD, STT, LLM und TTS ab und stellt eine Schnittstelle bereit, die zum OpenAI Realtime Event Set über WebSocket und WebRTC kompatibel ist.

    13.025SternePython

    KI & AI· Tool

  • Repository:QwenAudio/CosyVoice

    CosyVoice: Mehrsprachige Open-Source-Sprachsynthese und Voice-Cloning

    CosyVoice ist ein quelloffenes TTS-System auf Basis großer Sprachmodelle für mehrsprachige Sprachsynthese und Zero-Shot-Stimmklonen. Es bietet geringe Latenzen für Streaming und unterstützt präzise Aussprachekontrolle für den Produktiveinsatz.

    24.220SternePython

    KI & AI· Tool

  • Link:ref.wisprflow.ai

    Wispr Flow: KI-gestützte Sprachdiktate für Entwickler-Workflows

    Wispr Flow ist ein Spracheingabe-Tool, das speziell auf Programmierer und Entwickler-Workflows ausgelegt ist. Die Software erkennt Fachbegriffe, Programmier-Konventionen wie camelCase sowie Syntax und integriert sich in IDEs wie Cursor und Windsurf.

    KI & AI· Tool

  • X-Post:Mario Zechner

    Whistle: Lokales Speech-to-Text-Modell mit nur 16,9 MB

    Mario Zechner teilt das Sprachmodell Whistle von Cactus. Das quelloffene Speech-to-Text-Modell benötigt lediglich 16,9 MB Speicher, läuft ohne externe Abhängigkeiten auf der CPU und unterstützt sieben Sprachen.

    592Lesezeichen24.272Aufrufe

    KI & AI· Tool

Lassen Sie uns über Ihr Projekt sprechen

Standorte

  • Mattersburg
    Johann Nepomuk Bergerstraße 7/2/14
    7210 Mattersburg, Austria
  • Wien
    Ungargasse 64-66/3/404
    1030 Wien, Austria

Dieser Inhalt wurde teilweise mithilfe von KI erstellt.