Computer Control API
Zdalne sterowanie zarejestrowanymi komputerami — kolejkowanie poleceń, zrzuty ekranu, uruchamianie skryptów na maszynach zdalnych.
Computer Control API
Computer Control API umożliwia zdalne sterowanie zarejestrowanymi komputerami.
Na maszynie docelowej działa niewielki agent (screen-remote-agent), który
odpytuje o polecenia, wykonuje je i odsyła wyniki. Umożliwia to automatyzację
GUI sterowaną przez LLM.
Architektura
┌─────────────┐ queue cmd ┌──────────┐ poll ┌─────────────────┐
│ LLM Agent │ ───────────▶ │ Synapse │ ◀───── │ screen-remote │
│ (user-side) │ │ Server │ ──────▶│ (on target PC) │
└─────────────┘ └──────────┘ result └─────────────────┘
▲
│
┌─────────────┐
│ Human UI │
│ (browser) │
└─────────────┘Endpointy użytkownika (Mind Key lub JWT)
GET /computers/list
Lista wszystkich zarejestrowanych komputerów.
curl -H "Authorization: Bearer YOUR_MIND_KEY" \
https://synapse.schaefer.zone/computers/listGET /computers/:id
Szczegóły pojedynczego komputera.
curl -H "Authorization: Bearer YOUR_MIND_KEY" \
https://synapse.schaefer.zone/computers/comp_001POST /computers/install-code
Generuje kod instalacyjny do rejestracji nowego komputera.
curl -X POST https://synapse.schaefer.zone/computers/install-code \
-H "Authorization: Bearer YOUR_MIND_KEY" \
-H "Content-Type: application/json" \
-d '{"computer_name": "office-mac"}'Odpowiedź: { "install_code": "ic_xyz789", "expires_at": "..." }
POST /computers/:id/commands
Kolejkuje polecenie do wykonania przez agenta zdalnego.
curl -X POST https://synapse.schaefer.zone/computers/comp_001/commands \
-H "Authorization: Bearer YOUR_MIND_KEY" \
-H "Content-Type: application/json" \
-d '{
"type": "screenshot",
"payload": {}
}'Odpowiedź: { "command_id": "cmd_001", "status": "queued" }
GET /computers/:id/command (przez zapytanie)
Kolejkuje polecenie przez GET (dla prostych przypadków).
curl -H "Authorization: Bearer YOUR_MIND_KEY" \
"https://synapse.schaefer.zone/computers/comp_001/command?type=screenshot"GET /computers/:id/commands
Lista ostatnich poleceń dla komputera.
curl -H "Authorization: Bearer YOUR_MIND_KEY" \
"https://synapse.schaefer.zone/computers/comp_001/commands?limit=50"GET /computers/:id/commands/:cid
Zwraca status i wynik konkretnego polecenia.
curl -H "Authorization: Bearer YOUR_MIND_KEY" \
https://synapse.schaefer.zone/computers/comp_001/commands/cmd_001GET /computers/:id/screenshot
Pojedyncze działanie: kolejkuje polecenie zrzutu ekranu i czeka do 30 s na wynik.
curl -H "Authorization: Bearer YOUR_MIND_KEY" \
https://synapse.schaefer.zone/computers/comp_001/screenshot > screenshot.pngPOST /computers/:id/disable
Wyłącza komputer (cofa jego token, zachowuje rekord w celach audytowych).
curl -X POST -H "Authorization: Bearer YOUR_MIND_KEY" \
https://synapse.schaefer.zone/computers/comp_001/disableDELETE /computers/:id
Trwale usuwa komputer.
curl -X DELETE -H "Authorization: Bearer YOUR_MIND_KEY" \
https://synapse.schaefer.zone/computers/comp_001Endpointy agenta (Computer Token)
Z tych endpointów korzysta screen-remote-agent uruchomiony na maszynie
docelowej. Używają Computer Token (zwracanego przez /computers/register), a nie
Mind Key.
POST /computers/register
Realizuje kod instalacyjny i zwraca Computer Token.
curl -X POST https://synapse.schaefer.zone/computers/register \
-H "Content-Type: application/json" \
-d '{
"code": "ic_xyz789",
"computer_name": "office-mac",
"platform": "darwin",
"platform_release": "14.5.0",
"python": "3.12.4"
}'Odpowiedź: { "computer_id": "comp_001", "computer_token": "ct_..." }
GET /computers/me/poll
Long-poll dla nowych poleceń. Agent wywołuje to w pętli.
curl -H "Authorization: Bearer ct_YOUR_COMPUTER_TOKEN" \
"https://synapse.schaefer.zone/computers/me/poll?wait=30"Powraca natychmiast, gdy są oczekujące polecenia, lub po wait sekundach, jeśli
ich nie ma.
POST /computers/me/commands/:cid/result
Publikuje wynik wykonania polecenia.
curl -X POST https://synapse.schaefer.zone/computers/me/commands/cmd_001/result \
-H "Authorization: Bearer ct_YOUR_COMPUTER_TOKEN" \
-H "Content-Type: application/json" \
-d '{
"status": "done",
"result": { "screenshot_b64": "iVBORw0KG..." }
}'Typy poleceń
| Typ | Payload | Opis |
|---|---|---|
screenshot |
{} |
Przechwyć ekran jako PNG (base64) |
click |
{x, y} |
Kliknięcie we współrzędnych |
move |
{x, y} |
Przesunięcie myszy we współrzędne |
type |
{text} |
Wpisanie tekstu w pozycji kursora |
key |
{keys: ["Ctrl","c"]} |
Wciśnięcie kombinacji klawiszy |
scroll |
{deltaX, deltaY} |
Przewinięcie kółkiem |
drag |
{fromX, fromY, toX, toY} |
Przeciągnięcie i upuszczenie |
Typowy wzorzec: automatyzacja GUI sterowana przez LLM
# Przepływ agenta LLM
1. List computers: GET /computers/list
2. Take screenshot: GET /computers/:id/screenshot
3. Analyze screenshot (vision model)
4. Queue click: POST /computers/:id/commands {type:"click", payload:{x,y}}
5. Wait for result: GET /computers/:id/commands/:cid
6. Take new screenshot to verify
7. Repeat until task doneNastępne kroki
- Proxy przeglądarki — osobna usługa do automatyzacji przeglądarki
- Przewodnik po agentach self-hosted