Repositorysybil-solutions/local-ai-registrySammlung
Entwickler und Teams sparen langwieriges Experimentieren mit Quantisierungen und Parametern, da die Registry praxiserprobte und belegbare Konfigurationen für konkrete Grafikkarten liefert.
Das Ausführen lokaler LLMs erfordert oft zeitaufwendiges Testen, welche Quantisierungen, Kontextgrößen und Inferenz-Engines (wie z. B. TabbyAPI) stabil auf einer bestimmten Grafikkarte laufen. Die Local AI Registry löst dieses Problem durch einen deterministischen, getesteten Ansatz.
Die Registry hinterlegt Konfigurationen als kompakte JSON-Dateien, gegliedert nach GPU-Hersteller und Kartentyp. Jedes Rezept verknüpft ein Modell über einen exakten Git-Commit auf Hugging Face mit einer Container-Engine über deren Image-Digest. Hinzu kommen modellspezifische Parameter wie Kontextlänge und MTP-Drafting sowie ein kryptografisch belegter Prüfbericht (proof). Erst wenn ein Setup Ladefähigkeit, Konversation, schlussfolgerndes Denken, Tool-Aufrufe, Kontextstabilität und mindestens 15 Tokens pro Sekunde nachweist, gilt es als qualifiziert.
Das Repository bietet neben der Registry ein CLI-Werkzeug (lab.py) zum Testen und Rendern von Startbefehlen, ein statisches Web-Frontend via Cloudflare Pages sowie SDKs für Python und JavaScript. Mit knapp 300 Stars und strukturierter Fehlerbehandlung (inklusive Rücknahme fehlerhafter Setups) positioniert sich das Open-Source-Projekt als pragmatische Referenz für reproduzierbare lokale KI-Deployments auf Linux-Systemen.
Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 2. November 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
Repository:eugr/spark-vllm-docker
spark-vllm-docker ist ein Open-Source-Projekt, das Docker-Konfigurationen und Startskripte bereitstellt, um das LLM-Inferenz-Framework vLLM auf NVIDIA DGX Spark-Systemen auszuführen. Es unterstützt Einzelknoten sowie Multi-Node-Cluster über Ray oder vLLMs nativen PyTorch-Distributed-Modus.
2222SterneShell
Repository:syv-ai/qwen38-27b-rtx3090
Das Repository bietet eine optimierte Serving-Lösung, um das Modell Qwen3.8-27B auf einer einzigen Consumer-Grafikkarte (RTX 3090 mit 24 GB VRAM) mit vLLM 0.28.0 und bis zu 150k–262k Kontextlänge zu betreiben.
1142SternePython
Link:spark-arena.com
Spark Arena bietet ein öffentliches Leaderboard zum Leistungsvergleich von Large Language Models auf NVIDIA DGX Spark Hardware. Die Plattform nutzt Open-Source-Tools, um Benchmarks über verschiedene Runtime-Engines wie vLLM, SGLang, TensorRT-LLM und llama.cpp hinweg transparent abzubilden.
Repository:MiaAI-Lab/Qwen3.8-27B-16gb-NVIDIA-GPUs-one-click-install
Ein Serving-Kit für Windows und Linux ermöglicht die lokale Ausführung des Sprachmodells Qwen3.8-27B auf einzelnen Nvidia-Grafikkarten ab 12 bis 16 GB VRAM mittels EXL3-Quantisierungen.
529SternePython
Artikel:Inferact
Der Leitfaden erläutert den Betrieb von vLLM auf NVIDIAs Desk-Side-System DGX Spark (GB10). Durch den gemeinsamen 128-GB-Unified-Memory-Pool eignet sich das System besonders für lokale Inferenz mit NVFP4-MoE-Modellen wie Nemotron-3-Super.
Repository:ashhart/TensorFold
TensorFold ist eine Open-Source-Inferenz-Engine, die Large Language Models auf Apple Silicon (via MLX/Metal) und NVIDIA-Grafikkarten (ab Compute Capability 8.9) bereitstellt. Das System bietet eine OpenAI- und Anthropic-kompatible Schnittstelle und implementiert modellspezifische Kernel sowie Draft-Verifikation.
1061SternePython
Dieser Inhalt wurde teilweise mithilfe von KI erstellt.
