Wissensbasis

Kuratierte X-Posts, YouTube-Videos, Repositories und Artikel zu KI, Webentwicklung und Design. Jeden Tag ergänzt, von KI zusammengefasst und mit KI-Suche durchsuchbar.

1 Eintrag

Schlagwort: exllamav2

  • X-Post:0xSero

    LLM-Benchmark-Ergebnisse bei 3-Bit-Quantisierung

    Ein Beitrag auf X diskutiert unerwartet hohe Leistungswerte eines Sprachmodells bei 3-Bit-Quantisierung (exl-3bits). Bei einem Benchmark-Score von 78,6 % wurden Durchsätze von 100 Token pro Sekunde bei einer Spitzenleistungsaufnahme von 1400 Watt erzielt.

    36Lesezeichen11.045Aufrufe

    KI & AI· Diskussion

1 von 1 angezeigt

Inhalte vorschlagen

Haben Sie einen interessanten Artikel, ein Video oder einen Tweet, der in unsere Wissensbasis gehört? Schreiben Sie uns an office@webconsulting.at.

Lassen Sie uns über Ihr Projekt sprechen

Kontakt aufnehmen

Standorte

  • Mattersburg
    Johann Nepomuk Bergerstraße 7/2/14
    7210 Mattersburg, Austria
  • Wien
    Ungargasse 64-66/3/404
    1030 Wien, Austria

Dieser Inhalt wurde teilweise mithilfe von KI erstellt.