Whistle: Open-Source-Spracherkennung mit 16,9 MB Modellgröße

ArtikelJakub Mroz, Henry NdubuakuAnkündigung

Cactus Compute stellt mit Whistle ein leichtgewichtiges Speech-to-Text-Modell vor. Die Datei ist nur 16,9 MB groß, läuft dependency-frei auf der CPU und teilt sich die C++-Engine mit dem hauseigenen Modell Needle, was direkte Tool-Aufrufe aus Audiosignalen ermöglicht.

Das Wichtigste

  1. Kompakte Modellgröße von 16,9 MB für On-Device-Einsatz auf Mobilgeräten, Wearables, Mikrocontrollern und im Browser via WASI.
  2. Unterstützt sieben Sprachen (Deutsch, Englisch, Französisch, Spanisch, Italienisch, Niederländisch, Polnisch) für bis zu 30 Sekunden lange Audioclips.
  3. Sehr niedrige Latenz mit 11,1 ms bis zum ersten Token bei 10 Sekunden Audio auf einem Apple M4 Pro sowie 1.319 Token/s Dekodiergeschwindigkeit.
  4. Liefert Wort-Zeitstempel, Spracheneinbettungen und unterstützt Keyword-Biasing über einen Aho-Corasick-Automaten.
  5. Kann gemeinsam mit Needle in einer einzigen Binärdatei geladen werden, um Sprache ohne Zwischenschritte direkt in Funktionsaufrufe umzuwandeln.

Warum das relevant ist

Für Edge-Computing, Sprachassistenten und Embedded-Systeme ist der Speicher- und Rechenaufwand herkömmlicher Speech-to-Text-Modelle oft zu hoch. Whistle zeigt, dass praxistaugliche Spracherkennung und Funktionsaufrufe mit minimalem Footprint lokal auf handelsüblichen CPUs ohne Cloud-Verbindung möglich sind.

Einordnung

Cactus Compute kombiniert den Encoder und Decoder architektonisch eng mit ihrem Needle-Modell, wodurch identische C++-Routinen wiederverwendet werden. Die Benchmarks gegen Whisper base und Moonshine tiny v2 zeigen erhebliche Geschwindigkeitsvorteile und geringere Wortfehlerraten in mehreren Testsets, wenngleich Whisper base auf manchen Datensätzen wie TED-LIUM vorne bleibt. Bemerkenswert ist die Bereitstellung für 17 Plattformen (inklusive RISC-V und watchOS) sowie die Möglichkeit, Sprache direkt in strukturierte Tool-Calls zu mappen.

Gefunden in

Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 9. Oktober 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.

Inhaltlich ähnlich, ermittelt über die KI-Suche.

  • X-Post:Mario Zechner

    Whistle: Lokales Speech-to-Text-Modell mit nur 16,9 MB

    Mario Zechner teilt das Sprachmodell Whistle von Cactus. Das quelloffene Speech-to-Text-Modell benötigt lediglich 16,9 MB Speicher, läuft ohne externe Abhängigkeiten auf der CPU und unterstützt sieben Sprachen.

    592Lesezeichen24.272Aufrufe

    KI & AI· Tool

  • Repository:google-ai-edge/LiteRT-LM

    LiteRT-LM: Googles Open-Source-Inferenz-Framework für On-Device-LLMs

    LiteRT-LM ist ein Open-Source-Framework von Google zur plattformübergreifenden Ausführung großer Sprachmodelle direkt auf Edge-Geräten. Die Software nutzt Hardwarebeschleunigung über GPU und NPU und treibt On-Device-KI-Funktionen in Chrome, Pixel Watch und Chromebook Plus an.

    6375SterneC++

    KI & AI· Tool

  • Repository:m-bain/whisperX

    WhisperX: Schnelle Spracherkennung mit Wort-Zeitstempeln und Diarisierung

    WhisperX erweitert OpenAIs Whisper-Spracherkennung um VAD-gestütztes Batching, Wort-Zeitstempel via wav2vec2 und Sprechertrennung mit pyannote-audio. Es richtet sich an Entwickler, die Audioaufnahmen hochpräzise und bis zu 70-mal schneller als Echtzeit verarbeiten wollen.

    24.996SternePython

    KI & AI· Tool

  • Repository:huggingface/speech-to-speech

    Hugging Face Speech to Speech: Modulare Open-Source-Pipeline für Sprachassistenten

    Hugging Face stellt mit speech-to-speech ein modulares Open-Source-Framework bereit, mit dem sich Sprachassistenten auf Basis von Open-Source-Modellen umsetzen lassen. Die Pipeline deckt VAD, STT, LLM und TTS ab und stellt eine Schnittstelle bereit, die zum OpenAI Realtime Event Set über WebSocket und WebRTC kompatibel ist.

    13.025SternePython

    KI & AI· Tool

  • Repository:jamiepine/voicebox

    Voicebox: Open-Source-Studio für lokale Sprachgenerierung und Diktat

    Voicebox ist ein lokales Open-Source-Sprachstudio, das Sprachsynthese, Voice-Cloning und Diktierfunktionen kombiniert. Die Desktop-Anwendung versteht sich als quelloffene Alternative zu proprietären Cloud-Diensten wie ElevenLabs und WisprFlow.

    55.625SterneTypeScript

    KI & AI· Tool

Sprechen wir über Ihr Projekt.

Standorte

  • Mattersburg
    Johann Nepomuk Bergerstraße 7/2/14
    7210 Mattersburg, Austria
  • Wien
    Ungargasse 64-66/3/404
    1030 Wien, Austria

Ein Teil von diesem Inhalt wurde mit KI gemacht.