Lokale Desktop-Suche auf Basis von EmbeddingGemma 2 und llama.cpp

X-PostXuan-Son NguyenTool

Ein auf Reddit vorgestelltes Suchwerkzeug nutzt das EmbeddingGemma 2-Modell über llama.cpp, um lokale Dateien unter macOS semantisch zu durchsuchen. Xuan-Son Nguyen hebt hervor, dass die Anwendung deutlich präzisere Ergebnisse liefere als Apples Standard-Spotlight.

Das Wichtigste

  1. Die Anwendung nutzt EmbeddingGemma 2 in Kombination mit llama.cpp für eine lokale Vektorsuche.
  2. Laut Xuan-Son Nguyen funktioniert das Tool weitaus besser als das integrierte macOS Spotlight.
  3. Der Entwickler arbeitet an Portierungen für Windows und Linux.
  4. Ein optionales Feature ermöglicht eine Codesuche, die Ergebnisse direkt an der passenden Zeile im Editor öffnet.

Warum das relevant ist

Lokale Einbettungsmodelle machen semantische Desktop-Suchen offline nutzbar, ohne private Dateien an Cloud-Dienste zu senden. Die Umsetzung über llama.cpp demonstriert, wie leichtgewichtig moderne Einbettungen auf Endgeräten laufen können.

Einordnung

Herkömmliche Desktop-Suchen wie Spotlight stützen sich primär auf Dateinamen und klassische Textindizes. Durch den Einsatz kompakter Embedding-Modelle wie EmbeddingGemma 2 lassen sich Inhalte nach ihrer Bedeutung abfragen, ohne dass proprietäre Cloud-APIs notwendig sind.

Original-Post

Xuan-Son Nguyen

@ngxson · 11. Oktober 2026

Someone on Reddit made a searching app that runs on EmbeddingGemma 2 🤯 Much better than MacOS's default Spotlight 🔥 t.co/pT0qex0OgE

2766 Likes58 Antworten2279 Lesezeichen260.298 Aufrufe

Auf X ansehen
Weitere Posts im Thread (2)
  1. t.co/dEe3yuO27J
  2. @_ARahim_ Cool project! Great use of llama.cpp too 😁
Ausgewählte Antworten (5)
  • @_ARahim_ @ngxson That was me, thanks for sharing it. t.co/9Amgb3KqZC
  • @Fanfulladev @ngxson Searching your own videos by describing the scene, fully offline, should be built into every OS
  • @_ARahim_ @ngxson Thank you. Currently working on windows and Linux port.
  • @GlennCameronjr @ngxson EmbeddingGemma 2 is a real cool model. You can build so many things with it.
  • @Hft_freedom @ngxson @raycast mate

Erwähnte Links

Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 12. Oktober 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.

Ähnliche Einträge

Inhaltlich ähnlich, ermittelt über die KI-Suche.

  • X-Post:Xuan-Son Nguyen

    Open-Source-Such-App für macOS nutzt EmbeddingGemma 2 und llama.cpp

    Xuan-Son Nguyen stellt ein neues Open-Source-Projekt aus der Reddit-Community vor: Eine Desktop-Suchanwendung für macOS, die auf dem Modell EmbeddingGemma 2 basiert und lokal via llama.cpp läuft.

    154Lesezeichen11.881Aufrufe

    KI & AI· Tool

  • Repository:drumih/turbo-fieldfare

    TurboFieldfare: Gemma 4 26B-A4B mit 2 GB RAM auf Apple Silicon

    TurboFieldfare ist eine spezialisierte Swift- und Metal-Laufzeitumgebung, die das Sprachmodell Gemma 4 26B-A4B auf Apple-Silicon-Macs mit nur etwa 2 GB RAM ausführt. Statt das gesamte 14,3 GB große Modell im Arbeitsspeicher zu halten, verbleiben nur der 1,35 GB große Kern sowie der KV-Cache im RAM, während benötigte Experten-Layer dynamisch per SSD-Streaming nachgeladen werden.

    6609SterneSwift

    KI & AI· Tool

  • Link:drumih

    TurboFieldfare: Gemma 4 26B mit nur 2 GB RAM auf Apple Silicon betreiben

    TurboFieldfare ist eine in Swift und Metal geschriebene Open-Source-Inference-Engine, die das 4-Bit-quantisierte Modell Gemma 4 26B-A4B-IT auf Apple M-Series Macs mit rund 2 GB Arbeitsspeicher ausführt. Da die Gewichte etwa 14 GB SSD-Speicher belegen, werden nur der gemeinsame Modellkern und der KV-Cache im RAM gehalten, während benötigte Experten pro Token direkt per Streaming von der SSD nachgeladen werden.

    KI & AI· Tool

Zurück zur Wissensbasis

Lassen Sie uns über Ihr Projekt sprechen

Kontakt aufnehmen

Standorte

  • Mattersburg
    Johann Nepomuk Bergerstraße 7/2/14
    7210 Mattersburg, Austria
  • Wien
    Ungargasse 64-66/3/404
    1030 Wien, Austria

Dieser Inhalt wurde teilweise mithilfe von KI erstellt.