Phone Harness: KI-Agenten steuern Smartphones ohne zusätzliche Mobil-Apps

RepositoryShawnPana/phone-harnessTool

Phone Harness ist ein Open-Source-Werkzeug, mit dem KI-Agenten wie Claude Code oder Codex reale Smartphones bedienen können. Die Steuerung erfolgt ohne Jailbreak, Xcode oder WebDriverAgent direkt über macOS-Funktionen für iOS sowie ADB für Android.

Das Wichtigste

  1. Steuerung von iPhones über macOS Sequoia iPhone Mirroring mittels screencapture, Apple Vision OCR und CGEvents.
  2. Unterstützung von Android über adb via USB oder WLAN unter Nutzung des Accessibility-Trees und screencap.
  3. Keine Installation einer separaten App auf dem Smartphone und kein Jailbreak erforderlich.
  4. Integration als Skill für KI-Agenten, wobei fehlende Hilfsfunktionen zur Laufzeit in agent_helpers.py ergänzt werden können.
  5. Einrichtung umfasst Diagnose mit phone-harness --doctor sowie die Freigabe von macOS-Systemberechtigungen.

Warum das relevant ist

Herkömmliche Smartphone-Automatisierung für Tests oder Agenten erfordert meist schwerfällige Setups wie WebDriverAgent oder modifizierte Mobil-Apps. Phone Harness umgeht diese Hürden, indem es bestehende Betriebssystem-Schnittstellen und Mirroring-Features nutzt.

Einordnung

Das Projekt richtet sich an Entwickler, die KI-Agenten direkt auf realen Mobilgeräten agieren lassen wollen. Technisch setzt es unter macOS auf Apples Vision-Framework und HID-Events für iOS sowie adb-Shell-Befehle für Android. Bei über 2.300 Sternen auf GitHub und einer durchdachten CLI-Struktur (inklusive Systemprüfungen) bietet das Werkzeug eine pragmatische Schnittstelle, bleibt jedoch auf macOS-Berechtigungen und Entwickleroptionen auf den Zielgeräten angewiesen.

Gefunden in

Zusammenfassung von KI erstellt (Gemini 3.8 Flash, 27. September 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.

Inhaltlich ähnlich, ermittelt über die KI-Suche.

  • Repository:droidrun/mobile-harness

    Mobile Harness: Steuerungs-Schnittstelle für KI-Agenten auf Android und iOS

    Mobile Harness bietet portable Anweisungen und Schnittstellen, mit denen KI-Agenten Android- und iOS-Geräte lokal oder in der Cloud steuern können. Das System fungiert nicht als eigenständige Agent-Runtime, sondern als schlanker Markdown-Harness auf Basis der Python-Bibliothek mobilerun_core.

    340Sterne

    KI & AI· Tool

  • X-Post:Niels Schmidt

    Mobile Harness: Open-Source-Steuerung für iOS und Android durch KI-Agenten

    Niels Schmidt stellt mit Mobile Harness ein quelloffenes Framework vor, mit dem KI-Agenten wie Codex oder Claude Code echte iOS- und Android-Geräte lokal oder in der Cloud über eine einheitliche API steuern können.

    1339Lesezeichen124.588Aufrufe

    KI & AI· Ankündigung

  • Repository:mobile-next/mobile-mcp

    Mobile Next: MCP-Server für plattformübergreifende mobile Automatisierung

    Mobile Next stellt einen Open-Source Model Context Protocol (MCP) Server bereit, der KI-Agenten und LLMs die Interaktion mit iOS- und Android-Geräten ermöglicht. Das Werkzeug abstrahiert plattformspezifische Unterschiede für Simulatoren, Emulatoren und echte Hardware.

    6335SterneTypeScript

    KI & AI· Tool

  • Link:mobilenext.ai

    Mobile Next: Programmierbare mobile Laufzeitumgebung für KI-Agenten

    Mobile Next stellt eine Plattform bereit, mit der KI-Agenten über das Model Context Protocol (MCP) und APIs direkt echte iOS- und Android-Geräte, Simulatoren oder Emulatoren steuern können. Das System kombiniert eine MCP-Schnittstelle, ein CLI-Tool, ein Playwright-ähnliches Test-Framework namens Mobilewright und eine gerätebasierte Cloud-Infrastruktur.

    KI & AI· Tool

  • Video

    Video:Greg Isenberg

    Fünf Open-Source-Repositories für agentenbasierte Workflows

    Greg Isenberg stellt fünf aktuelle Open-Source-Projekte auf GitHub vor, die konkrete Probleme beim Einsatz von KI-Agenten lösen: von der Beseitigung typischer KI-Schreibmuster über agentenzentrierte CRMs und automatisierten Videoschnitt bis hin zu Sicherheits-Scannern für Agenten-Skills und Smartphone-Steuerung.

    KI & AI· Sammlung

Lassen Sie uns über Ihr Projekt sprechen

Standorte

  • Mattersburg
    Johann Nepomuk Bergerstraße 7/2/14
    7210 Mattersburg, Austria
  • Wien
    Ungargasse 64-66/3/404
    1030 Wien, Austria

Dieser Inhalt wurde teilweise mithilfe von KI erstellt.