ArtikelBrian Johnson und Eloi Du BoisForschung
Herkömmliche Sprach-Assistenten scheitern häufig in unruhigen Umgebungen wie Großraumbüros, Geschäften oder im Auto, da Rauschfilter Sprache unabsichtlich abschneiden und Pausen fehlinterpretiert werden. Ein ganzheitliches Audioverständnis ermöglicht natürlichere Interaktionen und praxistaugliche Einsätze außerhalb isolierter, leiser Räume.
Brian Johnson und Eloi Du Bois beschreiben mit Sparrow-2 eine Abkehr von sequenziellen Kaskaden aus Rauschfilter, ASR und End-of-Turn-Klassifikatoren. Frühere Modelle standen vor dem Dilemma, entweder vorschnell zu unterbrechen oder unnatürlich lange Antwortpausen einzulegen. Indem Sparrow-2 Hintergrundstimmen, Zögern und Bestätigungslaute wie 'mhm' im Gesamtkontext bewertet, nähert sich das System der menschlichen Lösung des Cocktailparty-Problems an.
Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
Link:Tavus Labs
Tavus Labs stellt mit dem Sparrow-2 Signal Panel eine interaktive Demo vor, die Sprachsignale und Interaktionen in Echtzeit visualisiert. Das System analysiert Sprechwechsel, Bestätigungen, Unterbrechungen sowie Raumgeräusche, um das Verhalten des KI-Gesprächspartners zu steuern.
Link:Tavus
Tavus stellt mit „PALs“ interaktive Video-KI-Agenten vor, die in Echtzeit sehen, hören und emotional reagieren können. Die Plattform kombiniert Basiskodelle für Rendering, multimodale Wahrnehmung und Dialogführung mit Entwickler-APIs und No-Code-Tools.
Artikel:Thinking Machines Lab
Thinking Machines Lab präsentiert eine Research Preview sogenannter Interaktionsmodelle. Statt Interaktivität über externe Gerüste (Harnesses) und starre Gesprächszüge zu simulieren, verarbeitet das Modell Audio-, Video- und Textströme nativ in kontinuierlichen 200-ms-Mikro-Turns.
Repository:huggingface/speech-to-speech
Hugging Face stellt mit speech-to-speech ein modulares Open-Source-Framework bereit, mit dem sich Sprachassistenten auf Basis von Open-Source-Modellen umsetzen lassen. Die Pipeline deckt VAD, STT, LLM und TTS ab und stellt eine Schnittstelle bereit, die zum OpenAI Realtime Event Set über WebSocket und WebRTC kompatibel ist.
13.025SternePython
Link:Holopsis
Holopsis ist ein neues Analysewerkzeug, das Videoinhalte für KI-Modelle lesbar macht. Die Plattform kombiniert gesprochenen Ton, Bildschirmaufnahmen und On-Screen-Text, um über reine Transkripte hinausgehende Detailanalysen und Video-Feedback zu liefern.
Repository:jamiepine/voicebox
Voicebox ist ein lokales Open-Source-Sprachstudio, das Sprachsynthese, Voice-Cloning und Diktierfunktionen kombiniert. Die Desktop-Anwendung versteht sich als quelloffene Alternative zu proprietären Cloud-Diensten wie ElevenLabs und WisprFlow.
55.625SterneTypeScript
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
