Ant Group veröffentlicht kompaktes MoE-Modell Ling-3.0-tiny

ArtikelZhidxAnkündigung

Ant Groups Bailian hat das Open-Source-Modell Ling-3.0-tiny vorgestellt. Die Architektur kombiniert DeepSeeks MLA mit Kimis KDA in einem Mixture-of-Experts-Design mit 7,9 Milliarden Gesamtparametern, von denen pro Token nur 1,3 Milliarden aktiviert werden. Das Modell zielt auf den effizienten lokalen Einsatz auf Rechnern wie Apple-Silicon-Macs und DGX-Workstations ab.

Das Wichtigste

  1. Ling-3.0-tiny besitzt 7,9 Milliarden Gesamtparameter und aktiviert pro Token lediglich 1,3 Milliarden über 8 Routing- und 1 Shared-Experten (aus insgesamt 128 Experten).
  2. Die Architektur nutzt ein 3:1-Verhältnis aus KDA (Kimi Dilation Attention von Moonshot AI) und MLA (Multi-head Latent Attention von DeepSeek).
  3. Unterstützt schnelles Antworten sowie mehrstufiges Schlussfolgern, steuerbar über den Parameter enable_thinking.
  4. Im Artificial Analysis Intelligence Index erreicht das Modell 25 Punkte und im Agentic Index 16 Punkte, womit es größere Modelle wie Gemma-4-31B übertrifft.
  5. Verfügbar in BF16, FP8 und INT4; erreicht auf einem MacBook mit M4 Pro 86 bis 90 Tokens/s bei rund 8,34 GiB Speicherverbrauch (8K Kontext).

Warum das relevant ist

Für datenschutzsensible Unternehmensanwendungen und Edge-Szenarien bieten kleine MoE-Modelle eine Alternative zu Cloud-APIs. Wenn ein Modell mit 1,3 Milliarden aktiven Parametern Agenten- und Reasoning-Fähigkeiten auf Desktop-Hardware ohne API-Kosten und Latenzprobleme bereitstellt, erleichtert das die Umsetzung lokaler Workflows erheblich.

Einordnung

Ant Group demonstriert mit Ling-3.0-tiny, wie aktuelle Architekturentwicklungen aus dem chinesischen Open-Source-Ökosystem (MLA von DeepSeek und KDA von Moonshot AI) in praxisnahe, schlanke Modelle einfließen. Durch die Kombination von Hybrid-Attention und spärlicher Aktivierung sinkt der Hardwareaufwand drastisch, ohne dass die Fähigkeiten im Agent-Bereich unverhältnismäßig einbrechen. Künftige Optimierungen sollen sich laut den Entwicklern auf die Faktenstabilität und Ausführungssicherheit komplexer Workflows konzentrieren.

Gefunden in

Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.

Inhaltlich ähnlich, ermittelt über die KI-Suche.

  • Link:inclusionAI

    Ling-3.0-tiny: Leichtes hybrides Reasoning-MoE-Modell von inclusionAI

    inclusionAI hat Ling-3.0-tiny veröffentlicht, ein leichtgewichtiges MoE-Modell mit 7,9 Milliarden Gesamtparametern, das pro Token nur 1,3 Milliarden Parameter aktiviert. Das Modell setzt auf eine hybride Architektur aus linearen Aufmerksamkeits- und Latent-Attention-Schichten und zielt auf recheneffizientes Reasoning sowie Agenten-Aufgaben auf lokaler Hardware ab.

    KI & AI· Tool

  • Repository:inclusionAI/Ling

    Ling: Open-Source Mixture-of-Experts-Sprachmodelle von InclusionAI

    InclusionAI stellt mit Ling eine Open-Source-Modellfamilie auf Basis einer Mixture-of-Experts-Architektur (MoE) bereit. Die Modelle erscheinen in zwei Größen: Ling-lite (16,8 Milliarden Gesamtparameter, 2,75 Milliarden aktivierte Parameter) und Ling-plus (290 Milliarden Gesamtparameter, 28,8 Milliarden aktivierte Parameter).

    267SternePython

    KI & AI· Sammlung

  • Artikel:Chris Alexiuk and Chintan Patel

    NVIDIA Nemotron 3.5 Lightning: Kompaktes MoE-Modell für Agenten-Workflows

    NVIDIA hat Nemotron 3.5 Lightning vorgestellt, ein offenes Mixture-of-Experts-Modell (MoE) mit 30 Milliarden Gesamt- und 3 Milliarden aktiven Parametern. Es wurde speziell für die Ausführungsebene langlebiger KI-Agenten optimiert, um Routineaufgaben wie Tool-Aufrufe und Ergebnisvalidierung schnell und kostengünstig zu bewältigen.

    KI & AI· Ankündigung

  • Link:Ant Group

    inclusionAI: Ant Groups KI-Initiative auf Hugging Face

    inclusionAI ist die offizielle Hugging-Face-Organisation für die AGI-Initiative der Ant Group. Dort veröffentlicht das Unternehmen Open-Source-Modelle aus den Bereichen LLM, Bildgenerierung und Reinforcement Learning.

    KI & AI· Sammlung

Lassen Sie uns über Ihr Projekt sprechen

Standorte

  • Mattersburg
    Johann Nepomuk Bergerstraße 7/2/14
    7210 Mattersburg, Austria
  • Wien
    Ungargasse 64-66/3/404
    1030 Wien, Austria

Dieser Inhalt wurde teilweise mithilfe von KI erstellt.