X-PostLahfirAnkündigung
Das Tool vereinfacht automatisierte End-to-End-Tests von Desktop-Software durch Agenten deutlich und senkt durch strukturierte Accessibility-Daten die Token-Kosten gegenüber reiner visueller Bilderkennung.
Mit agent-desktop adressiert Entwickler Lahfir die Herausforderung, KI-gestützte Desktop-Automatisierung verlässlich und ressourceneffizient umzusetzen. Während klassische Ansätze für Computer Use häufig auf regelmässige Screenshots und Bilderkennung setzen, greift dieses Tool primär auf den Accessibility-Tree des jeweiligen Betriebssystems zu.
Durch das Auslesen der strukturierten Barrierefreiheits-Informationen erhalten LLM-Agenten präzise semantische Daten über Oberflächenelemente wie Buttons, Eingabefelder und Menüs. Um Kontextfenster und API-Kosten nicht unnötig zu belasten, bietet das Tool die Möglichkeit, nur spezifische Ausschnitte eines Fensters zu untersuchen ("drill down"). Dadurch müssen Agenten nicht bei jeder Interaktion den vollständigen UI-Zustand verarbeiten.
Der Hauptfokus liegt auf End-to-End-Tests von Desktop-Anwendungen sowie allgemeinen Automatisierungs-Workflows. Ein zentrales Feature ist die Fähigkeit, mehrere Agenten parallel auf einer laufenden Anwendung agieren zu lassen. Laut Autor läuft agent-desktop plattformübergreifend auf macOS, Windows und Linux. Eine Demonstration belegt zudem die Funktionsfähigkeit innerhalb von virtualisierten Sandbox-Umgebungen wie Vercel Sandboxes, während weitere Vertriebswege wie ein Homebrew-Paket bereits in Aussicht gestellt wurden.
Lahfir ▲
@mdlahfir · 31. Oktober 2026
Get onboarded with agent-desktop 😮💨 t.co/GLNYXAgvBV t.co/RXCsz5x79r
122 Likes5 Antworten81 Lesezeichen7519 Aufrufe
Auf X ansehenZusammenfassung von KI erstellt (Gemini 3.8 Flash, 1. November 2026). Sie kann Fehler enthalten – maßgeblich ist die Originalquelle.
Inhaltlich ähnlich, ermittelt über die KI-Suche.
X-Post:Omar Ghandour
Mitgründer Omar Ghandour stellt Agently („Jarvis for Mac“) vor. Das Tool soll Arbeitsabläufe auf dem Mac übernehmen, indem ein übergeordneter Orchestrierungs-Agent spezialisierte Sub-Agenten steuert und auf Unternehmensdaten sowie Tools wie Outlook, HubSpot und Stripe zugreift.
286Lesezeichen19.915Aufrufe
Repository:vercel-labs/agent-browser
agent-browser von Vercel Labs ist eine native, in Rust geschriebene CLI-Lösung zur Browser-Automatisierung, die speziell für den Einsatz durch KI-Agenten entwickelt wurde.
42.716SterneRust
Repository:alibaba/page-agent
Page Agent von Alibaba ist eine TypeScript-Bibliothek, die Webseiten direkt im Browser über natürliche Sprache steuerbar macht. Ein einzelnes JavaScript-Skript genügt, um Interaktionen textbasiert über das DOM abzuwickeln – ohne Headless-Browser, Python-Backends oder Screenshots.
28.965SterneTypeScript
Link:Farza
heyclicky ist ein Desktop-Assistent für macOS, der über einen Hotkey aufgerufen wird und den Bildschirminhalt analysieren kann. Das Tool bietet Sprachinteraktion, visuelle Hilfestellungen durch Zeichnen auf dem Display und agentenbasierte Aufgabenautomatisierung.
Repository:a2aproject/a2a-cli
Das A2A CLI ist ein in Go geschriebenes Befehlszeilenwerkzeug zur Interaktion mit Agent2Agent-kompatiblen Agenten. Es ermöglicht das Erkennen, Ansprechen und Verwalten von KI-Agenten über standardisierte Befehle ohne Ad-hoc-Skripte.
116SterneGo
Link:mobilenext.ai
Mobile Next stellt eine Plattform bereit, mit der KI-Agenten über das Model Context Protocol (MCP) und APIs direkt echte iOS- und Android-Geräte, Simulatoren oder Emulatoren steuern können. Das System kombiniert eine MCP-Schnittstelle, ein CLI-Tool, ein Playwright-ähnliches Test-Framework namens Mobilewright und eine gerätebasierte Cloud-Infrastruktur.
Ein Teil von diesem Inhalt wurde mit KI gemacht.
