Link:Subquadratic Inc.
Subquadratic stellt SubQ vor: LLM-Architektur für Multi-Millionen-Token-Kontexte
Das KI-Forschungsunternehmen Subquadratic hat mit SubQ ein Modell vorgestellt, das für die Verarbeitung von mehreren Millionen Tokens ausgelegt ist. Die Architektur nutzt ein proprietäres Verfahren namens Subquadratic Sparse Attention (SSA), um den Rechenaufwand bei sehr langen Kontexten im Vergleich zu herkömmlichen Transformer-Modellen drastisch zu reduzieren.