mini-AGI: Kontinuierliches Lernen auf Byte-Ebene für 8-GB-VRAM-Hardware

Repositoryvolotat/mini-AGIForschung

mini-AGI ist ein experimentelles Open-Source-Sprachmodell auf Byte-Ebene, das kontinuierliches Lernen aus einem fortlaufenden Datenstrom (Batch Size 1) auf gewöhnlicher Consumer-Hardware mit 8 GB VRAM demonstriert. Das Modell speichert Gewichte auf der Festplatte und lagert sie nach Bedarf in den GPU-Speicher ein, passt seine Netzwerkarchitektur dynamisch an und vermeidet katastrophales Vergessen.

Das Wichtigste

  1. Kontinuierliches Lernen: Trainiert von Grund auf über einen fortlaufenden Einzeldatenstrom (Batch Size 1), ohne dass zuvor Gelerntes katastrophal überschrieben wird.
  2. VRAM-Entkopplung durch Disk-Paging: Modellgewichte liegen als Dateien auf der Festplatte und werden bedarfsgerecht in das 8-GB-VRAM geladen, wodurch die Modellgröße durch den Festplattenplatz limitiert wird.
  3. Dynamische Architektur: Erweitert bei Bedarf eigenständig neue Kapazitäten (z. B. Experten) und bereinigt ungenutzte Gewichte.
  4. Vereinheitlichte Codepfade: Das Modell nutzt exakt denselben Pfad für das Einlesen (Training) wie für die Generierung (Inferenz).
  5. Aktueller Status: Reines Proof-of-Concept-Spielzeugmodell; Gewichte sind noch nicht veröffentlicht, da der erste Trainingsdurchlauf über den Textkorpus noch läuft.

Warum das relevant ist

Große Sprachmodelle erfordern üblicherweise massive Rechencluster für das Pre-Training und leiden bei nachträglichem kontinuierlichem Datenzustrom unter katastrophalem Vergessen. mini-AGI erforscht alternative Architekturen, die lebenslanges Lernen und dynamisches Ressourcenmanagement direkt auf lokaler Standard-Hardware ermöglichen.

Einordnung

Das Projekt von Entwickler volotat positioniert sich ausdrücklich nicht als Konkurrent zu kommerziellen Frontier-Modellen, sondern als Machbarkeitsnachweis für kontinuierliches Lernen. Der Name ist laut Autor mit einem Augenzwinkern gewählt. Technisch bemerkenswert ist die Kombination aus byte-basiertem Ansatz, dynamischer Modularität (unter Einsatz von Experten) und dateibasiertem Speicher-Paging. Damit zeigt mini-AGI einen spannenden architektonischen Ansatz auf, wie LLM-Training abseits gigantischer Rechenzentren für individuelle Anforderungen erforscht werden kann. Da sich das Training noch in der ersten Passage befindet und die Gewichte noch ausstehen, bleibt abzuwarten, wie stabil die Wissensrepräsentation über sehr lange Zeiträume tatsächlich bleibt.

Gefunden in

Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 29. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.

Inhaltlich ähnlich, ermittelt über die KI-Suche.

  • Repository:JustVugg/colibri

    Colibrì: Frontier-MoE-Modelle lokal mit Streaming ausführen

    Colibrì ist eine leichtgewichtige Open-Source-Inferenz-Engine in reinem C ohne externe Abhängigkeiten, die riesige Mixture-of-Experts-Modelle (MoE) von 744 Milliarden bis 2,8 Billionen Parametern auf gewöhnlicher Consumer- und heterogener Hardware ausführt. Durch mehrstufiges Speichermanagement (AI Memory Multitiering) werden Experten dynamisch von der Festplatte gestreamt.

    37.671SterneC

    KI & AI· Tool

  • Repository:vectorize-io/hindsight

    Hindsight: Lernendes Langzeit-Gedächtnis für KI-Agenten

    Hindsight ist ein unter der MIT-Lizenz veröffentlichtes Speichersystem für KI-Agenten. Im Gegensatz zu einfachen Chatverlauf-Speichern oder traditionellen RAG- und Wissensgraph-Ansätzen zielt das Projekt darauf ab, dass Agenten über die Zeit hinweg tatsächlich lernen.

    41.300SternePython

    KI & AI· Tool

  • Repository:test-time-training/e2e

    End-to-End Test-Time Training (TTT) für lange Kontexte in JAX

    Dieses Repository enthält die offizielle JAX-Implementierung für End-to-End Test-Time Training (TTT) für lange Kontexte. Der Ansatz modelliert die Verarbeitung langer Kontexte als Continual-Learning-Problem: Ein Standard-Transformer mit Sliding-Window-Attention passt seine Gewichte zur Testzeit via Next-Token-Prediction an und komprimiert den Kontext direkt in die Parameter.

    693SternePython

    KI & AI· Forschung

  • Repository:MakazhanAlpamys/Soup

    Soup: LLM-Fine-Tuning per YAML auf Consumer-GPUs

    Soup (soup-cli) ist ein Open-Source-Werkzeug, mit dem Sprachmodelle über eine einzige YAML-Konfigurationsdatei und einen CLI-Befehl lokal feinjustiert werden können. Durch Layer-Streaming ermöglicht das Tool das Training von 8B-Modellen auf Consumer-Hardware mit nur 4 GB Grafikspeicher.

    7489SternePython

    KI & AI· Tool

  • Repository:FlashML-org/FreeToken

    FreeToken: Lokales Serving von 290B+ MoE-Modellen auf Consumer-Hardware

    FreeToken ist eine quelloffene Inference-Engine, die große Mixture-of-Experts-Modelle (MoE) auf herkömmlichen Gaming-PCs und Laptops nutzbar macht. Durch kooperative CPU-GPU-Ausführung, semantisches Caching und dynamisches VRAM-Management lassen sich Modelle wie DeepSeek-V4-Flash oder GLM-5.2 ohne Rechenzentrumsinfrastruktur lokal betreiben.

    11.702SternePython

    KI & AI· Tool

  • Repository:fudan-generative-vision/Remory

    Remory: Gelerntes Residual-Gedächtnis für Kontext-Kompaktierung bei LLM-Agenten

    Remory ergänzt klassische Text-Zusammenfassungen bei LLM-Agenten um ein erlerntes Soft-Memory aus dem Gesprächsverlauf. Dieses Residual-Gedächtnis wird konditioniert an die Zusammenfassung angehängt und hilft eingefrorenen Basismodellen, ihre Arbeit über Kompaktierungszyklen hinweg präzise fortzusetzen.

    236SternePython

    KI & AI· Tool

Lassen Sie uns über Ihr Projekt sprechen

Standorte

  • Mattersburg
    Johann Nepomuk Bergerstraße 7/2/14
    7210 Mattersburg, Austria
  • Wien
    Ungargasse 64-66/3/404
    1030 Wien, Austria

Dieser Inhalt wurde teilweise mithilfe von KI erstellt.