GitHub Copilot computer use: gdzie agent bez API pomoże?

Najbardziej przyda się tam, gdzie zespół codziennie wykonuje powtarzalne, widoczne na ekranie czynności w starszym programie: odczytuje dane, wypełnia formularze albo przenosi informacje między aplikacjami. Computer use pozwala Copilotowi czytać dostępne treści i kontekst wizualny okna, klikać, wpisywać i edytować tekst oraz poruszać się między programami. Funkcja działa lokalnie w GitHub Copilot CLI i aplikacji Copilot na macOS i Windows. GitHub ogłosił public preview 1 października 2026 r. Dokumentacja wymienia starsze oprogramowanie i GUI bez API, CLI czy MCP jako przykładowe obszary zastosowań. Ogłoszenie GitHuba i opis computer use wyjaśniają zakres funkcji.

W skrócie

• Rozważ computer use do nadzorowanych zadań opartych na ekranie: odczytu, uzupełniania formularzy i przenoszenia danych.
• Zacznij od procesu o małym ryzyku, w którym łatwo sprawdzić poprawność wyniku.
• Gdy aplikacja ma API, MCP, polecenie terminalowe albo narzędzie plikowe, zwykle wybierz je zamiast klikania.
• Dostęp może wymagać potwierdzenia. „Always allow” zapisuje zgodę na przyszłe sesje, więc używaj tej opcji świadomie. Dokumentacja uprawnień

Jakie aplikacje warto sprawdzić?

Nie traktowałbym computer use jako integracji z konkretną listą certyfikowanych programów. To sposób obsługi interfejsu, więc sama obecność okna nie gwarantuje, że agent poprawnie rozpozna kontrolki. Najlepsze pierwsze próby to procesy z prostym, widocznym układem, niewielką liczbą kroków i wynikiem, który człowiek może łatwo zweryfikować. Poniższe przykłady to kandydaci do pilotażu, a nie obietnica zgodności z konkretnym produktem.

GitHub wymienia przeglądanie i podsumowywanie informacji w starszej aplikacji, aktualizowanie prezentacji, wprowadzanie danych w programie GUI oraz przenoszenie informacji między aplikacjami jako przykładowe zadania. Agent może korzystać z dostępnej treści aplikacji lub kontekstu wizualnego, a następnie klikać, wpisywać tekst, przewijać, przeciągać i przechodzić przez kolejne kroki. Opis możliwości computer use

W praktyce zacząłbym od pojedynczego rekordu, dokumentu albo raportu, a nie od szerokiego polecenia w rodzaju „obsłuż wszystkie zgłoszenia”. Im bardziej jednoznaczne są pola i punkt końcowy zadania, tym łatwiej porównać wynik z oczekiwanym stanem.

Kiedy GUI jest właściwym interfejsem?

Computer use wypełnia lukę: aplikacja ma użyteczne funkcje, ale zespół nie ma do nich dostępu przez API, MCP, CLI ani narzędzie plikowe. Może to pomóc utrzymać proces, który w innym wypadku wymaga ręcznego przeklejania danych. Nadal polecam najpierw sprawdzić, czy istnieje bardziej bezpośredni interfejs. Dokumentacja GitHuba zaznacza, że API, serwer MCP, polecenie terminalowe, dostęp do plików lub dedykowane narzędzie przeglądarkowe zwykle zapewniają bardziej uporządkowane dane i przewidywalne działanie niż obsługa wizualna. Dokumentacja computer use

Dlatego rozdzieliłbym zadania tak: API lub CLI do powtarzalnej, krytycznej wymiany danych; computer use do nadzorowanych czynności, których nie da się obecnie wykonać bezpośrednio. Nie zakładałbym też, że pilot GUI od razu nadaje się do pracy bez człowieka. To interakcja zależna od aktualnego okna i stanu programu, a nie stabilny kontrakt integracyjny.

Uprawnienia i kontrola działań

Computer use jest domyślnie wyłączone. W aplikacji Copilot włącza się je w ustawieniach „Computer Use”, a w interaktywnej sesji CLI poleceniem /computer on. Sesja CLI pozwala sprawdzić stan przez /computer show, a funkcję wyłączyć przez /computer off. Na macOS potrzebne są uprawnienia Accessibility do sterowania kontrolkami i Screen Recording do sprawdzania okien, gdy wymagany jest kontekst wizualny. Instrukcje dla aplikacji opisują też zatrzymanie działania przyciskiem Stop lub klawiszem Esc. Instrukcja korzystania z aplikacji Copilot i ogłoszenie GitHuba podają szczegóły włączania i zatrzymywania funkcji.

To, czy Copilot poprosi o zgodę przed sterowaniem aplikacją, zależy od ustawień uprawnień danej powierzchni. Możesz przyznać dostęp na bieżącą sesję, zapisać zgodę na przyszłość albo odmówić. Zgoda „Always allow” zapisana dla aplikacji działa w Copilot CLI i aplikacji Copilot na tym samym komputerze. Usunięcie aplikacji z listy usuwa zapisaną zgodę na dostęp w przyszłych sesjach w obu tych powierzchniach. Nie odbiera jednak dostępu już przyznanego działającej sesji. Przyszły dostęp nadal podlega ustawieniom uprawnień, a jeśli wymagają one zatwierdzenia, Copilot poprosi o nie ponownie. Dokumentacja uprawnień

W środowisku firmowym administrator może zablokować funkcję przez zarządzane ustawienie features.computerUse; lokalne włączenie nie omija takiej polityki. Dokumentacja ustawień zarządzanych GitHuba opisuje to ustawienie.

Zaczynałbym od zadań tylko do odczytu albo od środowiska testowego. W poleceniu warto wymienić aplikację, oczekiwany wynik oraz zakazy, na przykład: „Otwórz aplikację, odczytaj status rekordu i podsumuj go. Nie zmieniaj wartości ani nie wysyłaj formularza”. Przed przyznaniem dostępu sprawdź, czy wskazana aplikacja i działanie zgadzają się z poleceniem. Po wykonaniu porównaj zmiany z oczekiwanym wynikiem, zwłaszcza gdy dotyczą danych innych osób lub podłączonych kont.

Gdzie kończy się dobry przypadek użycia?

Interfejsy mogą zmieniać się między wersjami programu, systemami operacyjnymi i stanami okna. Copilot może wybrać niewłaściwą kontrolkę, wpisać tekst w nieodpowiednie miejsce, powtórzyć czynność albo utknąć na dynamicznym lub niestandardowym elemencie. GitHub opisuje też ryzyko, że niejednoznaczne polecenie albo nieoczekiwana zawartość ekranu doprowadzą do niezamierzonego działania. Okna mogą wyświetlać wrażliwe informacje, które staną się kontekstem dla Copilota. Dokumentacja zaleca sprawdzanie uprawnień, aplikacji i wyniku, szczególnie przy zmianach danych. Opis ograniczeń i ryzyk

Z tego powodu nie zaczynałbym od automatycznego zatwierdzania płatności, usuwania rekordów, publikowania zmian ani innych działań o dużym wpływie. Lepiej najpierw ocenić, czy agent poprawnie rozpoznaje ekran, a decyzję o zapisaniu lub wysłaniu pozostawić człowiekowi. Nie ustawiałbym też stałej zgody dla aplikacji zawierającej dane wrażliwe lub pozwalającej wykonywać istotne operacje.

Krótki plan pilotażu

1. Wybierz jeden powtarzalny proces w aplikacji bez użytecznego API, CLI lub MCP.
2. Zapisz oczekiwany wynik i ograniczenia: co agent może odczytać, jakie pola wolno edytować i czego nie wolno zatwierdzać.
3. Przetestuj najpierw odczyt lub podsumowanie. Następnie, jeśli wynik jest sprawdzalny, spróbuj pojedynczej, odwracalnej zmiany.
4. Zapisz błędy i przypadki, w których zmienił się układ albo stan okna. Jeśli czynność wymaga stabilności lub dużej skali, poszukaj bezpośredniej integracji.

Wartość computer use widzę przede wszystkim jako pomost dla zespołów utrzymujących starsze aplikacje i procesy GUI. Agent może przejąć powtarzalne kroki, ale obsługa ekranu wymaga obserwacji i kontroli. Zacznij od małego zadania, ogranicz zgodę do potrzebnej aplikacji i zachowaj człowieka przy działaniach, których błędne kliknięcie miałoby kosztowne skutki.