Vulnerable Student Assistant: Workshop-App zur Demonstration von Prompt-Injection-Risiken

Repositorysnyk-workshops/vulnerable-student-assistantDemo

Ein Demonstrations-Repository von Snyk Workshops zeigt eine absichtlich verwundbare KI-Chat-Anwendung auf Basis von FastAPI und dem Gemini 2.5 Flash Modell. Die Anwendung dient zu Test- und Lernzwecken rund um Prompt Injection und unberechtigten Datenabruf.

Das Wichtigste

  1. Absichtlich verwundbare Demo-Anwendung für Sicherheits-Workshops und Testzwecke
  2. Backend nutzt Python, FastAPI, Uvicorn und das google-generativeai SDK
  3. Setzt auf das Modell gemini-2.5-flash zur Beantwortung von Anfragen
  4. Lokale JSON-Datei simuliert Studierendendaten mit sensiblen Noten
  5. System-Anweisung verbietet die Herausgabe von Noten, lässt sich aber mutmaßlich umgehen
  6. Frontend besteht aus einfachem HTML, CSS und JavaScript ohne Frameworks

Warum das relevant ist

Viele LLM-Anwendungen versuchen, vertrauliche Daten allein durch System-Prompts abzusichern. Dieses Workshop-Projekt veranschaulicht Entwicklern und Sicherheitsteams in der Praxis, warum Prompt-basierte Zugriffskontrollen unzureichend sind und Datenlecks provozieren können.

Einordnung

Das Projekt von Snyk Workshops befindet sich in einem sehr frühen Stadium mit geringer Aktivität (4 Stars, 5 Forks) und dient rein didaktischen Zwecken. Es bietet eine schlüsselfertige Vorlage: Nutzer können entweder den Python-Code direkt starten oder über das Gemini CLI die gesamte App per Prompt generieren lassen. Technisch ist der Aufbau bewusst minimalistisch gehalten (FastAPI, Single-Page ohne Frontend-Frameworks, lokale database.json). Die Kernschwachstelle ist ein typisches Architekturproblem generativer KI: Sensible Daten werden dem Modell im Kontext mitgegeben, während der Schutz allein auf einer negativen Instruktion ('never reveal a student's specific grades') beruht.

Erwähnte Links

Gefunden in

Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 12. Oktober 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.

Ähnliche Einträge

Inhaltlich ähnlich, ermittelt über die KI-Suche.

  • Video

    Video:CURT

    AI Security Engineer Foundations: Risiken und Schutzmassnahmen fuer LLMs und Agenten

    In diesem Workshop stellt Javier Garza (Developer Advocate bei Snyk) Kernkonzepte der KI-Sicherheit vor. Anhand der OWASP Top 10 fuer LLMs erlaeutert er Gefahren wie direkte und indirekte Prompt Injections, Datenabfluesse und Schatten-KI. Neben praktischen Beispielen zeigt er Abwehrmassnahmen ueber System-Prompts, Berechtigungsbegrenzungen, Threat Modeling und Sicherheitspruefungen fuer MCP-Tools.

    KI & AI· Vortrag

  • Repository:nealbridges/VulnHunter

    VulnHunter: Agenten-basierter Security-Scanner für ausnutzbare Schwachstellen

    VulnHunter ist ein quelloffenes, KI-gestütztes Sicherheitstool zur Quellcode-Analyse, das Schwachstellen aus Angreiferperspektive aufdeckt, verifiziert und behebt. Das Repository ist ein gepflegter Fork des ursprünglichen Capital-One-Projekts, der für beliebige Agent-Harnesses und Open-Weight-Modelle angepasst wurde.

    223SternePython

    KI & AI· Tool

  • Link:Snyk

    Snyk startet Zertifizierungsprogramm für AI Security Engineers

    Snyk bietet ein sechsteiliges Schulungsprogramm namens AI Security Engineer Foundations an. Die halbstündigen Module behandeln zentrale Sicherheitsrisiken moderner KI- und Agenten-Entwicklung, darunter OWASP-Risiken, MCP-Sicherheit und Vibe Coding.

    KI & AI· Sammlung

  • Repository:NVIDIA/SkillSpector

    SkillSpector: Sicherheits-Scanner für KI-Agenten-Skills von NVIDIA

    SkillSpector ist ein quelloffener Sicherheits-Scanner von NVIDIA, der Erweiterungen und Skills für AI Agents (wie Claude Code, Codex CLI oder Model Context Protocol / MCP) vor der Installation auf Schwachstellen und Schadcode prüft.

    15.871SternePython

    KI & AI· Tool

  • Repository:ifixai-ai/iFixAi

    iFixAi: Unabhängiges Audit-Tool zur Sicherheits- und Risikoprüfung von KI-Agenten

    iFixAi ist ein quelloffenes Diagnosewerkzeug in Python, das KI-Agenten unabhängig auditiert. Das Tool prüft in unter 120 Sekunden, ob ein Agent wie beabsichtigt agiert, und deckt Sicherheitslücken sowie Fehlausrichtungen auf. Es hilft Entwicklern und Organisationen bei der Umsetzung von Governance-Standards.

    36.058SternePython

    KI & AI· Tool

Zurück zur Wissensbasis

Sprechen wir über Ihr Projekt.

Kontakt

Standorte

  • Mattersburg
    Johann Nepomuk Bergerstraße 7/2/14
    7210 Mattersburg, Austria
  • Wien
    Ungargasse 64-66/3/404
    1030 Wien, Austria

Ein Teil von diesem Inhalt wurde mit KI gemacht.