Simple Jev: Open-Source-Klassifizierung und strukturierte Entscheidungen via LLM-Logits

LinkFeatherless.aiTool

Featherless.ai hat Simple Jev vorgestellt, eine Open-Source-Implementierung, die offene Sprachmodelle in strukturierte Entscheidungs-Engines verwandelt. Statt separater Klassifikations-Heads liest das System Next-Token-Logits für vordefinierte Labels aus und liefert berechnete Wahrscheinlichkeiten direkt als JSON an Anwendungen zurück.

Das Wichtigste

  1. Verwendet offene Sprach- und Vision-Modelle (wie Gemma oder Qwen3.6-35B-A3B-classifier) direkt als Klassifikatoren ohne separaten Classifier-Head.
  2. Berechnung basiert auf dem Auslesen von Next-Token-Logits für erlaubte Labels bei geteiltem Prompt-Cache über mehrere Fragen hinweg.
  3. Unterstützt Chat-Verläufe, Status-Texte sowie Bild-Kontexte (Vision für Gemma und Qwen).
  4. Gibt maschinenlesbares JSON mit Auswahl, Konfidenzwert und Wahrscheinlichkeitsverteilung zurück.
  5. Enthält 'RFDT' (Really Fancy Decision Training) zum Fine-Tuning von Entscheidungs-Logits basierend auf Beispielen oder Teacher-Modellen.
  6. Kostenlose Demo-API ohne Registrierung (2k Kontext, 2 RPS); Produktivbetrieb via Featherless-Infrastruktur ab 0,03 US-Dollar pro Million Input-Token im Beta-Stadium.

Warum das relevant ist

Viele Workflows in Webanwendungen und Agenten benötigen keine ausufernden Freitext-Generierungen, sondern deterministische Entscheidungen, Kategorisierungen oder Routing. Durch die direkte Auswertung von Token-Logits entfällt komplexes Output-Parsing, während Latenz und Kosten drastisch sinken.

Einordnung

Simple Jev setzt an einem praktischen Problem moderner KI-Pipelines an: LLMs für Routing, Moderation und Klassifikation zu nutzen, ohne fragiles Prompt-Engineering für strukturierte Textausgaben betreiben zu müssen. Indem das Tool Next-Token-Logits abfragt, liefert es mathematisch saubere Wahrscheinlichkeiten und nutzt Prompt-Caching effizient aus. Die Integration für Coding-Agenten und die Open-Source-Verfügbarkeit senken die Hürde für Entwickler, die verlässliche Entscheidungslogik in Anwendungen einbinden wollen.

Gefunden in

Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 19. Oktober 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.

Inhaltlich ähnlich, ermittelt über die KI-Suche.

  • Repository:NandhaKishorM/laya

    Laya: Nicht-autoregressive Decision Engine für schnelle Klassifizierungen

    Laya ist eine quelloffene Decision Engine in Python, die typisierte Entscheidungen wie Auswahl, Score oder Ja/Nein-Werte über Texte in mehr als 100 Sprachen liefert. Statt autoregressiver Textgenerierung verarbeitet das Modell Anfragen in einem einzigen Forward Pass innerhalb von rund 33 Millisekunden.

    25.961SternePython

    KI & AI· Tool

  • X-Post:Ruben Hassid

    Jev von TypeSafe: Schnelle KI-Klassifizierung statt geschwätziger LLMs

    Ruben Hassid beschreibt das Tool Jev des Anbieters TypeSafe als extrem schnelles, kostengünstiges Entscheidungsmodell. Statt wie herkömmliche LLMs lange Textantworten Wort für Wort zu generieren, liefert Jev direkte Auswahlen aus vorgegebenen Optionen inklusive Konfidenzwert. Hassid zeigt Setups in Claude Code sowie Codex und demonstriert Anwendungsfälle zur Filterung von Kontakten aus LinkedIn und Gmail.

    1632Lesezeichen112.511Aufrufe

    KI & AI· Tool

  • Video

    Video:CURT

    Entwurfsmuster für Jev: Wie Entscheidungsmodelle Workflows steuern

    Das Video stellt das Entscheidungsmodell Jev von TypeSafe vor, das für schnelle, kostengünstige Mikro-Entscheidungen statt für Freitext-Antworten konzipiert ist. Anhand von konkreten Beispielen werden drei Antworttypen, zehn funktionale Formen und vier Architekturmuster erläutert.

    KI & AI· Anleitung

Lassen Sie uns über Ihr Projekt sprechen

Standorte

  • Mattersburg
    Johann Nepomuk Bergerstraße 7/2/14
    7210 Mattersburg, Austria
  • Wien
    Ungargasse 64-66/3/404
    1030 Wien, Austria

Dieser Inhalt wurde teilweise mithilfe von KI erstellt.