agent-device

agent-device ist ein quelloffenes Kommandozeilenwerkzeug und ein offizieller MCP-Server aus dem Haus des europäischen Software-Entwicklungsunternehmens Callstack, das auf React- und React-Native-Projekte spezialisiert ist. Das Werkzeug gibt KI-Coding-Agenten eine geschlossene Rückkopplungsschleife zu echten Apps: Statt nur Quellcode zu verändern, kann ein Agent eine Anwendung tatsächlich starten, die Oberfläche untersuchen, Interaktionen ausführen und das Ergebnis mit Screenshots, Videos, Logs und Traces belegen. Laut eigener Projektbeschreibung wird agent-device unter anderem bei Callstack selbst, bei JPMorgan Chase, Expensify, Shopify und weiteren Teams eingesetzt.

Was agent-device leistet

Über CLI, MCP-Server oder eine typisierte Node.js-Schnittstelle kann ein Agent den Zustand einer App über deren Accessibility-Baum als kompaktes „Snapshot"-Format auslesen, statt allein auf Screenshots angewiesen zu sein. Auf Basis dieser Snapshots lassen sich Elemente über stabile Referenzen ansteuern: tippen, Formularfelder befüllen, scrollen, Gesten ausführen, warten und Zustände prüfen. Für die Fehlersuche stehen Screenshots, Videos, Logs, Netzwerkdaten, Performance-Samples, Absturzdetails und – bei React-Native-Apps – React-Profiling-Daten zur Verfügung. Einmal erfolgreich durchgeführte Abläufe lassen sich als wiederholbare .ad-Skripte speichern und später erneut abspielen oder als striktes Maestro-YAML exportieren, etwa für den Einsatz in CI-Pipelines.

Unterstützte Plattformen und die Technik dahinter

agent-device deckt laut Dokumentation iOS- und Android-Simulatoren, Emulatoren und physische Geräte ab, außerdem HarmonyOS, tvOS, Android TV, die Amazon-Vega-OS-TV-Plattform (Vega Virtual Device), macOS, Linux sowie einen einfachen Web-Modus. Technisch nutzt es dafür je Zielplattform unterschiedliche Backends: eine lokale Accessibility-Bridge und XCTest für iOS-Simulatoren, physische iOS-Geräte und tvOS, ADB und einen Snapshot-Helfer für Android, HDC und ArkUI uitest für HarmonyOS, die Vega-CLI/VDA für Vega OS, einen lokalen Helfer für macOS und AT-SPI für Linux. Die Unterstützungstiefe variiert je Zielplattform; über den Befehl agent-device capabilities --platform <plattform> lässt sich prüfen, welche Kommandos ein konkretes Ziel unterstützt. Der Web-Modus basiert laut Projekt auf dem separaten Open-Source-Projekt agent-browser von Vercel Labs, das agent-device für --platform web im selben Session- und Replay-System mitnutzt.

MCP-Integration und unterstützte Clients

Der Befehl agent-device mcp startet den offiziellen, im Paket enthaltenen stdio-MCP-Server, der dieselben Kommandos wie die CLI als strukturierte Werkzeuge bereitstellt. Laut Projektbeschreibung funktioniert agent-device mit Claude Code, Codex, Cursor, Windsurf, Cline, Goose und jedem weiteren Agenten, der eine CLI ausführen oder sich per MCP verbinden kann; zusätzlich lässt es sich über die typisierte Node.js-API auch als Laufzeit unter selbst gebauten Agenten wie mit dem AI SDK oder Vercels Eve einsetzen.

Sessions, Geräte-Koordination und Cloud-Geräte

agent-device verwaltet den Gerätezustand in Sessions, die an das Git-Worktree des Aufrufers gebunden sind. Host-lokale Geräte-Claims verhindern laut Dokumentation, dass mehrere parallel laufende Agenten sich gegenseitig Simulatoren und Emulatoren streitig machen; der Besitzstatus lässt sich ohne separaten Daemon per agent-device device status einsehen, verwaiste Claims per agent-device device release --stale freigeben. Dieselben Kommandos steuern laut Projekt auch Geräte in angebundenen Device-Clouds wie BrowserStack, AWS Device Farm und Limrun sowie über einen Remote-Proxy für Linux-Runner und verwaltete Cloud-Geräte.

Abgrenzung zu Appium, Detox und Maestro

Anders als klassische Test-Frameworks wie Appium, Detox oder Maestro, bei denen Teams feste Testsuiten schreiben und pflegen, liest ein Agent bei agent-device den App-Zustand zur Laufzeit selbst und entscheidet jeden Schritt neu. Laut Projekt lässt sich das Werkzeug dennoch mit diesen Frameworks kombinieren, indem erfolgreiche Agent-Läufe als .ad-Skript gespeichert oder als Maestro-YAML exportiert werden.

Kosten

agent-device selbst ist unter der MIT-Lizenz vollständig quelloffen und kostenlos nutzbar, ohne eigenes Konto oder Abonnement bei Callstack. Wer statt lokaler Simulatoren und Emulatoren auf angebundene Device-Clouds wie BrowserStack oder AWS Device Farm zurückgreift, zahlt für deren Nutzung nach deren eigenen, unabhängigen Preismodellen – diese Kosten stehen in keinem Zusammenhang mit agent-device selbst. Für dediziertes Team-QA-Setup verweist das Projekt auf direkten Kontakt zu Callstack.

Für wen sich agent-device lohnt

Das Werkzeug richtet sich an Teams, die mobile, TV- oder Desktop-Apps – insbesondere React-Native-, Expo-, Flutter- oder native Anwendungen – mit KI-Coding-Agenten wie Claude Code oder Cursor weiterentwickeln lassen und Änderungen nicht nur am Quellcode, sondern auch am tatsächlich laufenden Produkt überprüfen wollen. Besonders nützlich ist es für Pull-Request-Verifikation mit nachvollziehbarem Bildbeleg, für Bug-Reproduktion inklusive Logs und für den Aufbau eigener QA-Agenten auf Basis der offenen Node.js-Schnittstelle. Wer stattdessen ausschließlich Web-Anwendungen im Browser automatisieren will, findet im Katalog mit Playwright und Chrome DevTools spezialisiertere Alternativen für diesen engeren Anwendungsfall.

Node.js 22.12 oder neuer (24 oder neuer für den Web-Modus); je nach Zielplattform zusätzlich die native Toolchain, etwa Xcode/iOS-Simulator für iOS und tvOS, Android SDK mit ADB für Android und Android TV, die HarmonyOS-Toolchain mit HDC für HarmonyOS, die Vega-CLI/VDA für Vega OS sowie AT-SPI für Linux; ein MCP-fähiger Client (z. B. Claude Code, Cursor, Codex) für die MCP-Integration.

Global per npm install -g agent-device@latest installieren, danach agent-device doctor ausführen, um die lokale Umgebung zu prüfen. Für die MCP-Integration den Server über agent-device mcp als stdio-MCP-Server im jeweiligen Client eintragen; alternativ die CLI direkt oder die typisierte Node.js-API verwenden.

npm install -g agent-device@latest

Keine zentrale Kontoanmeldung bei Callstack nötig; die Zugriffsrechte auf Geräte laufen über die jeweilige Plattform selbst (z. B. iOS-Entwicklerzertifikate/Simulator-Zugriff, Android-USB-Debugging/ADB-Autorisierung, macOS-Bedienungshilfen-Berechtigung). Für angebundene Device-Clouds wie BrowserStack oder AWS Device Farm gelten deren eigene Zugangsdaten.

Der lokale Prozess benötigt plattformspezifische Rechte: auf macOS die Bedienungshilfen-Berechtigung für den lokalen Helfer, auf Android aktiviertes USB-Debugging und eine autorisierte ADB-Verbindung, auf iOS Simulator- bzw. Entwicklergeräte-Zugriff über Xcode, auf Linux Zugriff auf den AT-SPI-Accessibility-Bus. Diese Rechte erlauben es agent-device, Oberflächen zu lesen und Eingaben an installierte Apps zu senden.

Snapshots, Screenshots, Videos, Logs und weitere Evidenz entstehen und verbleiben zunächst lokal beziehungsweise im jeweiligen CI-Lauf; sie werden dem verbindenden KI-Agenten beziehungsweise dessen Modell-Provider zur Auswertung übergeben. Bei Nutzung angebundener Device-Clouds gehen Gerätedaten zusätzlich an den jeweiligen Cloud-Anbieter (BrowserStack, AWS Device Farm, Limrun) nach dessen eigenen Bedingungen.

Ein KI-Agent mit agent-device-Zugriff kann echte Apps auf echten oder simulierten Geräten bedienen und dabei Screenshots und Bildschirminhalte auslesen – bei Zugriff auf produktive Geräte oder Apps mit echten Nutzerdaten besteht damit das Risiko, dass sensible Inhalte in Evidenz-Dateien landen und an den Modell-Provider übertragen werden. Da Sessions parallele Agenten über Geräte-Claims koordinieren, sollte ein kompromittierter oder fehlerhaft instruierter Agent-Lauf nicht unbeaufsichtigt gegen produktive oder mit echten Kundendaten bestückte Geräte laufen; für sensible Tests empfehlen sich dedizierte Test-Accounts und -Geräte.