Open-Source-Such-App für macOS nutzt EmbeddingGemma 2 und llama.cpp

X-PostXuan-Son Nguyen11. Oktober 2026Tool

Xuan-Son Nguyen stellt ein neues Open-Source-Projekt aus der Reddit-Community vor: Eine Desktop-Suchanwendung für macOS, die auf dem Modell EmbeddingGemma 2 basiert und lokal via llama.cpp läuft.

Das Wichtigste

Die Anwendung nutzt EmbeddingGemma 2 zur semantischen Suche auf macOS und schlägt laut Nguyen die Standard-Spotlight-Suche deutlich.
Das Projekt basiert technisch auf llama.cpp für die lokale Ausführung.
Der Entwickler @_ARahim_ arbeitet laut Diskussionen bereits an Portierungen für Windows und Linux.

Warum das relevant ist

Lokale Einbettungsmodelle ermöglichen eine datenschutzfreundliche und semantische Dateisuche direkt auf dem Rechner, ganz ohne Cloud-Abhängigkeit.

Einordnung

Herkömmliche Desktop-Suchfunktionen wie macOS Spotlight stützen sich primär auf Dateinamen und einfache Schlüsselwörter. Durch den Einsatz kompakter Embedding-Modelle wie EmbeddingGemma 2 über leichtgewichtige Runtimes wie llama.cpp wird eine tiefere inhaltliche Suche auf Consumer-Hardware alltagstauglich.

Original-Post

Xuan-Son Nguyen

@ngxson · 11. Oktober 2026

t.co/dEe3yuO27J

97 Likes0 Antworten154 Lesezeichen11.881 Aufrufe

Auf X ansehen

Weitere Posts im Thread (2)

Someone on Reddit made a searching app that runs on EmbeddingGemma 2 🤯 Much better than MacOS's default Spotlight 🔥 t.co/pT0qex0OgE
@_ARahim_ Cool project! Great use of llama.cpp too 😁

Ausgewählte Antworten (5)

@_ARahim_ @ngxson That was me, thanks for sharing it. t.co/9Amgb3KqZC
@Fanfulladev @ngxson Searching your own videos by describing the scene, fully offline, should be built into every OS
@_ARahim_ @ngxson Thank you. Currently working on windows and Linux port.
@GlennCameronjr @ngxson EmbeddingGemma 2 is a real cool model. You can build so many things with it.
@Hft_freedom @ngxson @raycast mate

Erwähnte Links

Reddit: Open-source Mac app that runs EmbeddingGemma 2reddit.com/r/LocalLLaMA/comments/1x2eeds/opensource_mac_app_that_runs_embeddinggemma_2/

Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 12. Oktober 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.

Inhaltlich ähnlich, ermittelt über die KI-Suche.

X-Post:Xuan-Son Nguyen11. Okt. 2026
Lokale Desktop-Suche auf Basis von EmbeddingGemma 2 und llama.cpp
Ein auf Reddit vorgestelltes Suchwerkzeug nutzt das EmbeddingGemma 2-Modell über llama.cpp, um lokale Dateien unter macOS semantisch zu durchsuchen. Xuan-Son Nguyen hebt hervor, dass die Anwendung deutlich präzisere Ergebnisse liefere als Apples Standard-Spotlight.
2279Lesezeichen260.298Aufrufe
KI & AI· Tool
Repository:drumih/turbo-fieldfare3. Sep. 2026
TurboFieldfare: Gemma 4 26B-A4B mit 2 GB RAM auf Apple Silicon
TurboFieldfare ist eine spezialisierte Swift- und Metal-Laufzeitumgebung, die das Sprachmodell Gemma 4 26B-A4B auf Apple-Silicon-Macs mit nur etwa 2 GB RAM ausführt. Statt das gesamte 14,3 GB große Modell im Arbeitsspeicher zu halten, verbleiben nur der 1,35 GB große Kern sowie der KV-Cache im RAM, während benötigte Experten-Layer dynamisch per SSD-Streaming nachgeladen werden.
6609SterneSwift
KI & AI· Tool
X-Post:Mia6. Okt. 2026
Google stellt EmbeddingGemma 2 vor: Multimodale Einbettungen in einem Vektorraum
Google hat EmbeddingGemma 2 veröffentlicht. Das Modell vereint Text, Code, Bild, Video und Audio in einem gemeinsamen Vektorraum, wiegt nur 1,49 GB und steht unter der Apache-2.0-Lizenz.
684Lesezeichen37.003Aufrufe
KI & AI· Ankündigung
Link:Google DeepMind7. Okt. 2026
EmbeddingGemma 2: Googles kompaktes multimodales Embedding-Modell
Google DeepMind hat EmbeddingGemma 2 veröffentlicht. Das quelloffene Modell mit 740 Millionen Parametern bildet Text, Code, Bilder, Videos und Audio in einem gemeinsamen 768-dimensionalen Vektorraum ab.
KI & AI· Tool
Link:drumih5. Sep. 2026
TurboFieldfare: Gemma 4 26B mit nur 2 GB RAM auf Apple Silicon betreiben
TurboFieldfare ist eine in Swift und Metal geschriebene Open-Source-Inference-Engine, die das 4-Bit-quantisierte Modell Gemma 4 26B-A4B-IT auf Apple M-Series Macs mit rund 2 GB Arbeitsspeicher ausführt. Da die Gewichte etwa 14 GB SSD-Speicher belegen, werden nur der gemeinsame Modellkern und der KV-Cache im RAM gehalten, während benötigte Experten pro Token direkt per Streaming von der SSD nachgeladen werden.
KI & AI· Tool
Repository:google-ai-edge/LiteRT-LM5. Sep. 2026
LiteRT-LM: Googles Open-Source-Inferenz-Framework für On-Device-LLMs
LiteRT-LM ist ein Open-Source-Framework von Google zur plattformübergreifenden Ausführung großer Sprachmodelle direkt auf Edge-Geräten. Die Software nutzt Hardwarebeschleunigung über GPU und NPU und treibt On-Device-KI-Funktionen in Chrome, Pixel Watch und Chromebook Plus an.
6375SterneC++
KI & AI· Tool