Modal positioniert sich als spezialisierte Cloud-Plattform für anspruchsvolle KI-Workloads. Die Plattform abstrahiert die Bereitstellung von GPU-Ressourcen über vier Kernkomponenten: Functions, Inference, Sandboxes und Training.
Kernarchitektur und Funktionen
- Functions & Inference: Entwickler können Standard-Python-Code mit GPU-Unterstützung ausführen oder HTTPS-Endpunkte einrichten, die automatisch bei Inaktivität auf null skalieren. Endpunkte sind unter anderem mit dem OpenAI-Format kompatibel.
- Sandboxes für Agenten: Für autonome Programmier- oder Browser-Agenten bietet Modal isolierte Container-Umgebungen, die in Sekundenbruchteilen starten und in hohen Stückzahlen parallel laufen können.
- Training und Fine-Tuning: Unterstützt werden Verfahren wie Reinforcement Learning, LoRA oder vollständige Fine-Tunes auf Single- und Multi-Node-Setups, unter anderem kompatibel mit Frameworks wie slime und Miles.
Infrastruktur und Betrieb
Die Plattform nutzt ein verteiltes Dateisystem, das Modellgewichte und Container-Images mit hoher Bandbreite an die ausführenden Instanzen liefert. Die zugrunde liegende Hardware verteilt sich über mehr als 20 Clouds, wobei ungesunde Knoten automatisch ausgetauscht werden. Neben Sicherheitsstandards wie SOC 2 und HIPAA bietet Modal detaillierte Audit-Logs sowie Metrik-Exporte via OpenTelemetry.