Vulnerable Student Assistant: Workshop-App zur Demonstration von Prompt-Injection-Risiken

Repositorysnyk-workshops/vulnerable-student-assistantDemo

Ein Demonstrations-Repository von Snyk Workshops zeigt eine absichtlich verwundbare KI-Chat-Anwendung auf Basis von FastAPI und dem Gemini 2.5 Flash Modell. Die Anwendung dient zu Test- und Lernzwecken rund um Prompt Injection und unberechtigten Datenabruf.

Das Wichtigste

  1. Absichtlich verwundbare Demo-Anwendung für Sicherheits-Workshops und Testzwecke
  2. Backend nutzt Python, FastAPI, Uvicorn und das google-generativeai SDK
  3. Setzt auf das Modell gemini-2.5-flash zur Beantwortung von Anfragen
  4. Lokale JSON-Datei simuliert Studierendendaten mit sensiblen Noten
  5. System-Anweisung verbietet die Herausgabe von Noten, lässt sich aber mutmaßlich umgehen
  6. Frontend besteht aus einfachem HTML, CSS und JavaScript ohne Frameworks

Warum das relevant ist

Viele LLM-Anwendungen versuchen, vertrauliche Daten allein durch System-Prompts abzusichern. Dieses Workshop-Projekt veranschaulicht Entwicklern und Sicherheitsteams in der Praxis, warum Prompt-basierte Zugriffskontrollen unzureichend sind und Datenlecks provozieren können.

Einordnung

Das Projekt von Snyk Workshops befindet sich in einem sehr frühen Stadium mit geringer Aktivität (4 Stars, 5 Forks) und dient rein didaktischen Zwecken. Es bietet eine schlüsselfertige Vorlage: Nutzer können entweder den Python-Code direkt starten oder über das Gemini CLI die gesamte App per Prompt generieren lassen. Technisch ist der Aufbau bewusst minimalistisch gehalten (FastAPI, Single-Page ohne Frontend-Frameworks, lokale database.json). Die Kernschwachstelle ist ein typisches Architekturproblem generativer KI: Sensible Daten werden dem Modell im Kontext mitgegeben, während der Schutz allein auf einer negativen Instruktion ('never reveal a student's specific grades') beruht.

Erwähnte Links

Gefunden in

Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 12. Oktober 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.

Ähnliche Einträge

Inhaltlich ähnlich, ermittelt über die KI-Suche.

  • Video

    Video:CURT

    AI Security Engineer Foundations: Risiken und Schutzmassnahmen fuer LLMs und Agenten

    In diesem Workshop stellt Javier Garza (Developer Advocate bei Snyk) Kernkonzepte der KI-Sicherheit vor. Anhand der OWASP Top 10 fuer LLMs erlaeutert er Gefahren wie direkte und indirekte Prompt Injections, Datenabfluesse und Schatten-KI. Neben praktischen Beispielen zeigt er Abwehrmassnahmen ueber System-Prompts, Berechtigungsbegrenzungen, Threat Modeling und Sicherheitspruefungen fuer MCP-Tools.

    KI & AI· Vortrag

  • Repository:nealbridges/VulnHunter

    VulnHunter: Agenten-basierter Security-Scanner für ausnutzbare Schwachstellen

    VulnHunter ist ein quelloffenes, KI-gestütztes Sicherheitstool zur Quellcode-Analyse, das Schwachstellen aus Angreiferperspektive aufdeckt, verifiziert und behebt. Das Repository ist ein gepflegter Fork des ursprünglichen Capital-One-Projekts, der für beliebige Agent-Harnesses und Open-Weight-Modelle angepasst wurde.

    223SternePython

    KI & AI· Tool

  • Link:Snyk

    Snyk startet Zertifizierungsprogramm für AI Security Engineers

    Snyk bietet ein sechsteiliges Schulungsprogramm namens AI Security Engineer Foundations an. Die halbstündigen Module behandeln zentrale Sicherheitsrisiken moderner KI- und Agenten-Entwicklung, darunter OWASP-Risiken, MCP-Sicherheit und Vibe Coding.

    KI & AI· Sammlung

  • Repository:NVIDIA/SkillSpector

    SkillSpector: Sicherheits-Scanner für KI-Agenten-Skills von NVIDIA

    SkillSpector ist ein quelloffener Sicherheits-Scanner von NVIDIA, der Erweiterungen und Skills für AI Agents (wie Claude Code, Codex CLI oder Model Context Protocol / MCP) vor der Installation auf Schwachstellen und Schadcode prüft.

    15.871SternePython

    KI & AI· Tool

  • Repository:ShenSeanChen/launch-agentic-rag

    launch-agentic-rag: FastAPI-Backend für Agentic RAG mit Tool-Calling

    Ein Open-Source-Repository zeigt eine Referenzimplementierung für Agentic RAG auf Basis von FastAPI. Das System erweitert traditionelle Retrieval-Pipelines um autonome Reasoning-Schritte und Tool-Aufrufe wie Kalenderbuchungen und E-Mail-Versand.

    43SternePython

    KI & AI· Tool

Zurück zur Wissensbasis

Lassen Sie uns über Ihr Projekt sprechen

Kontakt aufnehmen

Standorte

  • Mattersburg
    Johann Nepomuk Bergerstraße 7/2/14
    7210 Mattersburg, Austria
  • Wien
    Ungargasse 64-66/3/404
    1030 Wien, Austria

Dieser Inhalt wurde teilweise mithilfe von KI erstellt.