X-Post:Neko Legends
LLM-Inferenz im Dauerbetrieb: Stille GPU-OOMs und Monitoring-Lücken
Neko Legends berichtet von Stabilitätsproblemen beim produktiven Betrieb von GLM-5.3-Flash (1M-ctx) auf einem 4×-Spark-Cluster. Das System fiel nach 13 Stunden durch einen unbemerkten GPU-OOM aus, während der Health-Check weiterhin grünes Licht signalisierte.
18Lesezeichen683Aufrufe