ArtikelJu-yeong Ji, Ravin KumarSammlung
Lokale und offene Modelle erhalten mit Gemma 3 native Bildverarbeitung und Kontextfenster von bis zu 128k Tokens bei gleichzeitig optimiertem Speicherverbrauch. Die Umstellung auf QK-Norm und Interleaved Attention macht den Betrieb auf eigener Hardware ressourcenschonender.
Ju-yeong Ji und Ravin Kumar grenzen Gemma 3 explizit von PaliGemma 2 ab: Während PaliGemma 2 für spezialisierte Aufgaben wie Objekterkennung und Bildsegmentierung gedacht bleibt, zielt Gemma 3 auf dialogorientierte Vision-Aufgaben mit Zero-Shot-Fähigkeiten ab. Technisch sticht die Kombination aus bidirektionaler Bild-Attention und komprimierten Soft-Tokens hervor, die trotz hoher Auflösung die Inferenzlast begrenzen soll.
Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
Link:Google DeepMind
Google DeepMind hat EmbeddingGemma 2 veröffentlicht. Das quelloffene Modell mit 740 Millionen Parametern bildet Text, Code, Bilder, Videos und Audio in einem gemeinsamen 768-dimensionalen Vektorraum ab.
Link:Qwen
Das Qwen-Team hat mit Qwen3.8-27B ein kompaktes, dichtes Vision-Language-Modell unter der Apache-2.0-Lizenz veröffentlicht. Das 27-Milliarden-Parameter-Modell kombiniert Gated DeltaNet mit regulärer Attention, versteht Bilder sowie Videos und bietet flexible Steuerungsmöglichkeiten für Denkprozesse.
Link:Z.ai
Z.ai hat mit GLM-5.3-Flash das erste nativ multimodale Modell der GLM-5-Reihe unter MIT-Lizenz auf Hugging Face bereitgestellt. Mit 320 Milliarden Gesamtparametern und 18 Milliarden aktiven Parametern zielt das Modell auf hohe Effizienz bei Programmier- und Agenten-Workloads ab.
Artikel:Kimi Team (Yu Zhang et al.)
Das Kimi-Team stellt Kimi Linear vor, eine hybride lineare Attention-Architektur, die Full Attention in Tests über kurze und lange Kontexte sowie im RL-Scaling übertrifft. Sie senkt den KV-Cache-Bedarf um bis zu 75 Prozent und steigert den Decoding-Durchsatz bei Kontexten von 1 Million Token um das bis zu Sechsfache.
Link:Moonshot AI
Moonshot AI hat Kimi K3 bereitgestellt, ein multimodales Agentenmodell mit offenen Gewichten, 2,8 Billionen Parametern und einem Kontextfenster von 1 Million Token. Das Modell nutzt eine Sparse-MoE-Architektur mit 104 Milliarden aktivierten Parametern pro Token.
X-Post:Mia
Google hat EmbeddingGemma 2 veröffentlicht. Das Modell vereint Text, Code, Bild, Video und Audio in einem gemeinsamen Vektorraum, wiegt nur 1,49 GB und steht unter der Apache-2.0-Lizenz.
684Lesezeichen37.003Aufrufe
Ein Teil von diesem Inhalt wurde mit KI gemacht.
