O czym jest ten film
- OpenAI dodał do Codeksa głos w czasie rzeczywistym — agent, z którym rozmawia się na żywo, a nie tylko dyktuje polecenia.
- Autor nazywa tę funkcję „Jarvisem”, bo agent steruje całym komputerem i korzysta z wcześniej przygotowanych umiejętności (skills).
- Pokaz obsługi poczty: znajdź skargi klientów, przygotuj odpowiedzi, otwórz je w przeglądarce wbudowanej w Codeksa.
- Agent tworzy dokumenty (Google Docs, Notion), publikuje je i — po wyraźnym poleceniu — wysyła linki SMS-em.
- Praca głosowa nad tablicą Excalidraw i przeglądarką wbudowaną w Codeksa.
- Agent potrafi odpalać nowe czaty/zadania w tle i koordynować je, nie przerywając bieżącej rozmowy.
- Wbudowane zabezpieczenia: agent nie wyśle wiadomości, nie wyda pieniędzy ani nie zmieni uprawnień bez wyraźnej zgody — i umiejętność (skill) tego nie obejdzie.
- Budowa aplikacji iOS (klon Apple Notes) wyłącznie głosem, z podglądem w symulatorze w Codeksie.
- Sterowanie Codeksem na komputerze przez głos w aplikacji ChatGPT na telefonie (zdalny dostęp; Android wkrótce).
- To pierwszy, 30–45-minutowy test — autor zapowiada pełniejszy poradnik po nauczeniu się dobrych praktyk.
Redakcyjne tłumaczenie
Nowa funkcja: głos na żywo w Codeksie
OpenAI właśnie udostępnił głos w czasie rzeczywistym bezpośrednio w Codeksie. To najbliższa Jarvisowi rzecz, jaką do tej pory widziałem. Mówiąc wprost: jest to agent głosowy, który łączy się ze wszystkimi moimi narzędziami, potrafi wykonać praktycznie całą moją pracę, budować i edytować aplikacje oraz w pełni sterować moim komputerem.
Chyba najfajniejsze w tej nowości jest to, że głosu na żywo możesz używać w aplikacji ChatGPT, żeby sterować Codeksem na swoim komputerze. Dziś pokażę dokładnie, jak to zrobić.
W tym materiale po raz pierwszy używam Codeksa z głosem na żywo. Przetestuję go przy obsłudze poczty i innych zadaniach produktywnościowych. Skorzystam też głosem z wbudowanej przeglądarki Codeksa i z Excalidraw. Następnie zbuduję aplikację na iOS wyłącznie mówiąc. A na koniec przetestuję głos na żywo w aplikacji ChatGPT i będę sterował Codeksem z telefonu.
Wejdźmy do Codeksa. W prawym dolnym rogu jest przycisk „start new voice chat”. To właśnie tę funkcję nazywam Jarvisem — różni się ona od dyktowania. Jarvis to głos w czasie rzeczywistym. Pokażę wam.
(Informacja dodatkowa: w transkrypcji automatycznej „Codex” bywa zapisywany jako „codecs” lub „CEX”, „ChatGPT” jako „GBT”, a „Excalidraw” jako „Excaladraw” — w tłumaczeniu ujednoliciłem te nazwy.)
Obsługa skarg klientów głosem
Riley: Hej, słyszysz mnie? Codex: Tak, głośno i wyraźnie. Co tam? Riley: Wejdź teraz do mojej poczty. Znajdź wszystkie skargi do działu obsługi klienta. Przygotuj odpowiedź na każdą z nich i otwórz je we wbudowanej przeglądarce Codeksa. Codex: Jasne, zajmę się tym.
Zwróćcie uwagę, że mogę wyciszyć mikrofon — dzięki temu mówię do siebie, korzystając z narzędzia, a agent i tak używa wszystkich umiejętności, które skonfigurowałem w Codeksie. A skonfigurowałem ich mnóstwo. Buduję je od pół roku, a teraz mogę z nich korzystać głosem na żywo, co jest po prostu absurdalne.
Riley: Świetnie. Upewnij się tylko, że są otwarte we wbudowanej przeglądarce Codeksa. Codex: Zrobione. Otworzyłem 12 wątków ze skargami we wbudowanej przeglądarce i zapisałem 11 wersji roboczych odpowiedzi.
Mogę zamknąć panel boczny i przejść w tryb pełnoekranowy.
Riley: Jesteś tam jeszcze, Codex? Codex: Tak, jestem. Riley: Bez podawania nazwisk stwórz z tego nowy dokument Google i otwórz go w nowej karcie przeglądarki — chcę dobre podsumowanie problemów z naszym produktem. Codex: Jasne, zajmę się tym.
Uwielbiam, że widzę to na bieżąco: „tworzę plik”, „myślę”, „pobieram dokument”. Nie muszę nawet mieć tego otwartego. Głos na żywo po prostu „unosi się” nad wszystkim. Trzeba się do tego przyzwyczaić, ale myślę, że mi się to uda.
Codex: Gotowe. Utworzyłem dokument, który grupuje problemy bez podawania nazwisk. Jest otwarty w nowej karcie przeglądarki Codeksa. Riley: Ustaw ten dokument jako publiczny i wyślij go SMS-em do Emily Lambert. Codex: Dobrze, sprawdzam. Ustawiam dokument jako publiczny i wysyłam link. Codex: Dokument jest publiczny. Mam wysłać jej link z podsumowaniem zgłoszeń? Riley: Tak, wyślij. Codex: Robi się. Riley: Dopisz jeszcze krótką notkę: „Cześć, damy radę naprawić to do końca dnia?”. Codex: Jasne, dopiszę. Wysłać „Damy radę do końca dnia?”. Riley: Wyślij. Codex: Zrobione, wysyłam.
To jest Jarvis. Dosłownie jesteś Jarvisem.
Praca z przeglądarką wbudowaną i Excalidraw
Przetestujmy tę funkcję w nowym środowisku. Otwieram nowy czat. W przeglądarce mam otwarte Excalidraw. Nazwę projekt „Jarvis features” i uruchamiam Jarvisa.
Riley: Hej, jesteś tam? Codex: Jestem. Nad czym dziś pracujesz?
To było dziwne: jeśli masz otwartą przeglądarkę, zanim włączysz tryb głosowy, ten automatycznie zamyka tę kartę. Ciekawe.
Riley: Zerknij teraz na wbudowaną przeglądarkę. Codex: Jasne, sprawdzam. Wbudowana przeglądarka jest otwarta na twojej tablicy Excalidraw „Jarvis features”. Riley: Dla kontekstu: mówię o nowym trybie głosowym ChatGPT — dokładnie tym, którego teraz używamy. Podaj mi trzy dodatkowe rzeczy, które mógłbym dopisać do listy jego możliwości. Codex: Sprawdzę bieżące możliwości względem twojej tablicy. Oto trzy: po pierwsze, może patrzeć na twój ekran i działać na tym, co tam jest — dokument, arkusz, diagram. Po drugie, może przeprowadzić research na żywo, gdy rozmawiasz, i podać odpowiedź w toku rozmowy. Po trzecie, może budować i edytować realne rzeczy w tle: dokumenty, slajdy, kod, e-maile czy przepływy pracy.
Research w tle i odpalanie zadań równoległych
Riley: Zacznijmy od researchu. Wiesz, o czym mówimy — o nowej funkcji głosowej. Przeprowadź research i utwórz nowy dokument w Notion. Wrzuć to do swoich notatek, użyj formatowania z zakładkami, które lubię, i hiperłączy. Zrób to porządnie, dogłębnie. Codex: Jasne. Riley: Chwila — chcę z tobą dalej rozmawiać. Zrób to w osobnym czacie. Codex: Tak, mogę to obsłużyć osobno i zostawić tę rozmowę otwartą. Riley: Czyli stworzyłeś nowy czat, żebyśmy mogli dalej rozmawiać? Codex: Tak. Wydzieliłem to jako osobne zadanie, żebyśmy mogli rozmawiać tutaj.
Potrafi więc otwierać nowe czaty. Poczekamy na wyniki researchu.
Riley: Czy są jakieś ograniczenia? Zauważyłem, że nie mogę zmienić twojego modelu. Codex: Sprawdzam. Tak, ten czat głosowy na żywo jest celowo bardziej ograniczony niż pełne środowisko zadaniowe. Nie możesz zmienić mojego modelu z poziomu tej rozmowy — to jest ustawiane w konfiguracji zadania. Nie mogę też po cichu przejmować aplikacji, wysyłać wiadomości, wydawać pieniędzy, zmieniać uprawnień ani sięgać do prywatnych danych, o ile o to nie poprosisz. Riley: „Nie możesz wysyłać wiadomości, o ile nie poproszę” — co to znaczy? Codex: Mogę przygotować SMS, e-mail, wiadomość na Slacku czy wpis w mediach społecznościowych, ale nic nie wyślę, dopóki wyraźnie mi nie każesz. Riley: Zawsze? Nie da się stworzyć umiejętności, która to obejdzie? Codex: Sprawdzam. Zgadza się — umiejętność nie nadpisze tych zabezpieczeń. Możesz skonfigurować automatyzację, którą wyraźnie autoryzujesz do wysyłania według twoich zasad, ale umiejętność nie może sama sobie przyznać prawa do wysyłania rzeczy ani do wprowadzania brzemiennych w skutki zmian.
(Informacja dodatkowa: „skill” w Codeksie to zapisany wcześniej, wielokrotnego użytku przepływ czy zestaw instrukcji, które agent może wywołać. Zabezpieczenia opisane przez agenta oznaczają, że działania nieodwracalne wymagają wyraźnej zgody użytkownika.)
Riley: Daj raport z postępów z tamtego czatu, a jeśli gotowe — otwórz dokument Notion w nowej karcie tutaj, we wbudowanej przeglądarce. Codex: Jasne, sprawdzę status i otworzę, gdy będzie gotowy. Riley: Korzystając z przeglądarki, dopisz na tablicy przypadek użycia: „odpalanie nowych sesji” w kategorii „research w tle”. I dodaj „sterowanie Excalidraw”. Codex: Dodaję. Notatka z researchu jest gotowa i zweryfikowana, dopisuję „sterowanie Excalidraw”, a potem otworzę notatkę Notion.
Otworzyło ją! Zobaczcie — utworzył raport z researchu z zakładkami, dokładnie w stylu, który lubię. Znalazł nawet film premierowy na X i mogę go odtworzyć w Codeksie.
Budowa aplikacji iOS wyłącznie głosem
Riley: To jest po prostu obłędne. Jesteś jak mój mały pomocnik, który w pełni steruje komputerem. Użyj umiejętności „build iOS app”. Chcę aplikację w Swifcie, dokładny klon Apple Notes, i uruchom ją we wbudowanym symulatorze w Codeksie. Codex: Zrozumiałem. Zacznę od sprawdzenia, co jest możliwe przy uruchomieniu w symulatorze iOS. Riley: Przy okazji odpal jeszcze dwa czaty: jeden na klon Notion, drugi na klon Trello. Codex: Jasne, wydzielę je. Konfiguruję dwa osobne zadania budowy aplikacji iOS — w stylu Notion i Trello. Oba czaty mają ten sam cel symulatora. Riley: Jaki masz plan na tę aplikację Apple Notes? Codex: Zacznę od zmapowania kluczowych ekranów i modelu danych. Riley: W międzyczasie otwórz przeglądarkę i wyszukaj w kilku kartach fajne interfejsy aplikacji do notatek — chcę inspiracji. Poszukaj w Grafice Google. Codex: Jasne, otwieram kilka wizualnych referencji w nowych kartach. Riley: Co to była za przeglądarka, którą właśnie miałeś otwartą? Czemu ją zamknąłeś? Codex: Sprawdzam. To był podgląd wbudowanego symulatora dla aplikacji Memo Canvas. Zamknęło go czyszczenie sesji przeglądarki, niezamierzenie. Riley: Zamknij pozostałe karty i otwórz ją ponownie. Niech zostanie otwarta. Codex: Zrobione. Pozostałe karty zamknięte, podgląd symulatora Memo Canvas jest otwarty. Riley: Pokorzystaj chwilę z aplikacji, przetestuj funkcje. Codex: Robię to teraz. Riley: Wprowadźmy zmiany w stylu. Chcę, żeby domyślny był tryb jasny. I zrób dolny pasek — ten „szklany”, w stylu liquid glass — wyższej jakości. Codex: Jasne, wprowadzam zmiany. Gotowe. Memo Canvas domyślnie działa w trybie jasnym, a dolna nawigacja to dopracowana kapsuła liquid glass z wyraźniejszymi odstępami, głębią i mocnym przyciskiem tworzenia notatki.
(Informacja dodatkowa: „liquid glass” to wprowadzony przez Apple styl półprzezroczystych, „szklanych” elementów interfejsu.)
Sterowanie komputerem z telefonu
OpenAI ogłosił też, że głosu ChatGPT można używać w Codeksie z aplikacji na iOS przez sparowany zdalny dostęp. Obsługa Androida wkrótce. Otwieramy ChatGPT i podłączamy głos na żywo z telefonu do aplikacji na komputerze. Nigdy wcześniej tego nie robiłem — funkcja dopiero co wyszła.
Riley: Hej, używam cię po raz pierwszy, na zdalnym dostępie, a ty podobno pracujesz na moim Macu. Czy to automatycznie tworzy nową sesję? Codex: Jesteś w nowej sesji głosowej, ale nadal może być połączona z tym samym zadaniem w twoim środowisku na Macu. Osobne zadanie tworzę tylko wtedy, gdy wyraźnie o to poprosisz. Riley: Utwórz nowe zadanie i daj mi krótkie podsumowanie e-maili z obsługi klienta — chcę tylko sprawdzić, czy to działa. Codex: Jasne. Tworzę osobne zadanie na zwięzłe podsumowanie skrzynki wsparcia, korzystając z przepływu Gmail. Riley: Jak nazywa się ten czat? Codex: Nazywa się „summarize support emails”. Riley: Czyli rozmawiam z agentem głosowym, a on może tworzyć nowe czaty w tle? Codex: Dokładnie. Możesz dalej rozmawiać ze mną tutaj, a ja tworzę osobne zadania w tle, które pojawiają się jako własne czaty, podczas gdy ja koordynuję to, co wraca. Riley: Widzisz moje inne zadania? Sprawdź status aplikacji Memo Canvas, którą robiłem wcześniej. Codex: Jasne. To zadanie aplikacji Memo Canvas, które utworzyłeś wcześniej, jest aktywne. Najnowsza wersja w trybie jasnym z paskiem liquid glass wciąż działa w symulatorze.
Podsumowanie
Jestem kompletnie oszołomiony. Oto, co udało się zrobić: agent potrafi w pełni sterować komputerem, odpalać czaty w tle, a głosu na żywo można używać z telefonu, żeby rozmawiać z komputerem i również odpalać czaty — pełne sterowanie komputerem głosem na żywo bezpośrednio z aplikacji ChatGPT na iOS.
Spędziłem z tym dopiero jakieś 30–45 minut, więc pewnie nagram znacznie bardziej dogłębny film, gdy poznam dobre praktyki. To był tylko test. Chcę się nauczyć, jak realnie używać tego w firmie, jak dzięki temu zachować skupienie i być skuteczniejszym. Przetestuję to przez kilka dni i przygotuję pełniejszy poradnik.
10 najważniejszych takeaways — z kontekstem zastosowania
1.Głos na żywo to nie dyktowanie — to agent w rozmowie
Na czym polega: Nowy tryb głosowy w Codeksie prowadzi ciągłą rozmowę: agent działa, raportuje postępy i przyjmuje kolejne polecenia, a nie tylko zamienia mowę na tekst pojedynczej komendy.
Jak stosować: Traktuj go jak współpracownika — wydawaj krótkie polecenia, przerywaj, doprecyzowuj w trakcie. Wycisz mikrofon, gdy agent pracuje, a i tak korzysta z Twoich narzędzi.
Na co uważać: To wymaga przestawienia nawyków. Sam autor przyznaje, że „trzeba się przyzwyczaić”. Nie oczekuj precyzji formularza — mowa bywa niejednoznaczna, więc weryfikuj, czy agent zrozumiał intencję.
2.Wartość rośnie z wcześniej przygotowanymi umiejętnościami (skills)
Na czym polega: Autor podkreśla, że siła tej funkcji bierze się z umiejętności budowanych przez pół roku — agent głosowy je wywołuje.
Jak stosować: Zainwestuj najpierw w zdefiniowanie powtarzalnych przepływów (obsługa poczty, budowa aplikacji, research w Notion). Głos jest tylko interfejsem do tego, co już masz przygotowane.
Na co uważać: Bez własnych umiejętności to głównie efektowne demo. Nie licz na to, że sam głos zastąpi solidną konfigurację narzędzi i integracji.
3.Zabezpieczenia przy działaniach nieodwracalnych są wbudowane
Na czym polega: Agent deklaruje, że nie wyśle wiadomości, nie wyda pieniędzy ani nie zmieni uprawnień bez wyraźnej zgody — i że umiejętność nie może tego obejść.
Jak stosować: Polegaj na tym progu jako na siatce bezpieczeństwa: możesz kazać przygotować SMS czy e-mail i spokojnie przejrzeć wersję roboczą przed wyraźną komendą „wyślij”.
Na co uważać: To deklaracja modelu, nie gwarancja audytowa. Przy naprawdę wrażliwych działaniach (płatności, wysyłki do klientów) i tak sam kontroluj treść przed potwierdzeniem — modele bywają omylne.
4.Zadania w tle i równoległe czaty
Na czym polega: Agent potrafi wydzielić dłuższą pracę (research, budowa aplikacji) do osobnych czatów-zadań i koordynować je, nie przerywając bieżącej rozmowy.
Jak stosować: Zlecaj czasochłonne rzeczy „na bok” („zrób to w osobnym czacie”), a sam rozmawiaj dalej. Później proś o raport statusu i otwarcie wyników.
Na co uważać: Łatwo rozproszyć uwagę na wiele równoległych zadań i stracić kontrolę nad tym, co gdzie powstaje. Pytaj o nazwy czatów i statusy, żeby nie zgubić wątków.
5.Wbudowana przeglądarka jako miejsce pracy agenta
Na czym polega: Agent otwiera dokumenty, wyniki wyszukiwania i podglądy w przeglądarce wbudowanej w Codeksa, więc widzisz efekty bez przełączania aplikacji.
Jak stosować: Proś wprost, by wyniki lądowały „we wbudowanej przeglądarce Codeksa” — masz wtedy wszystko w jednym miejscu do przeglądu.
Na co uważać: Sesje przeglądarki bywają niestabilne — w nagraniu automatyczne „czyszczenie sesji” zamknęło potrzebną kartę, a otwarcie trybu głosowego zamknęło wcześniej otwartą kartę. Zakładaj, że karty mogą zniknąć, i proś o ponowne otwarcie.
6.Agent widzi Twój ekran i działa na jego zawartości
Na czym polega: Może patrzeć na to, co masz otwarte — dokument, arkusz, diagram (np. tablicę Excalidraw) — i modyfikować to na Twoje polecenie.
Jak stosować: Wykorzystuj to do pracy nad wizualnymi artefaktami: „dopisz przypadek użycia na tej tablicy”, „spójrz na bieżący stan przeglądarki”.
Na co uważać: Agent działa na tym, co faktycznie widzi w danym momencie — jeśli kontekst się zmienił lub karta się zamknęła, może działać na nieaktualnym stanie. Potwierdzaj, na co dokładnie patrzy.
7.Budowa aplikacji i podgląd w symulatorze — głosem
Na czym polega: Autor stworzył wyłącznie mówiąc aplikację w Swifcie (klon Apple Notes), uruchomił ją we wbudowanym symulatorze iOS i iterował styl (tryb jasny, dopracowany pasek liquid glass).
Jak stosować: Do szybkiego prototypowania i iteracji UI: opisuj zmiany stylu i zachowania w naturalnym języku, oglądaj efekt w symulatorze, poprawiaj.
Na co uważać: To pokaz szybkiego prototypu, nie produkcyjnej aplikacji. „Klon” znanej apki na potrzeby demo to co innego niż stabilny, przetestowany produkt — nie myl efektownego rezultatu z gotowością do wdrożenia.
8.Sterowanie komputerem z telefonu przez zdalny dostęp
Na czym polega: Przez aplikację ChatGPT na iOS można głosem sterować Codeksem działającym na komputerze (sparowany zdalny dostęp; Android zapowiedziany).
Jak stosować: Przydatne, gdy odchodzisz od biurka — możesz z telefonu odpalać zadania w tle i sprawdzać status pracy uruchomionej wcześniej na komputerze.
Na co uważać: Nowa sesja z telefonu domyślnie może być podpięta pod to samo środowisko na komputerze — osobne zadanie powstaje tylko na wyraźne polecenie. Kontroluj, czy nie modyfikujesz przypadkiem bieżącej pracy.
9.Nie możesz zmienić modelu z poziomu rozmowy głosowej
Na czym polega: Tryb głosowy na żywo jest celowo bardziej ograniczony niż pełne środowisko zadaniowe — model jest ustawiany w konfiguracji zadania, nie w rozmowie.
Jak stosować: Jeśli potrzebujesz konkretnego modelu do cięższej pracy, ustaw go w konfiguracji zadania z góry, a przez głos jedynie uruchamiaj i koordynuj.
Na co uważać: Nie zakładaj, że wszystkie ustawienia są dostępne głosem. Tryb na żywo to interfejs sterujący, nie pełna konsola konfiguracyjna.
10.To pierwszy test, nie gotowy przepis na produktywność
Na czym polega: Autor jawnie mówi, że spędził z funkcją 30–45 minut i dopiero uczy się dobrych praktyk; pełniejszy poradnik zapowiada później.
Jak stosować: Potraktuj ten materiał jako sygnał o nowej możliwości i inspirację do własnych eksperymentów, a nie jako sprawdzoną procedurę wdrożeniową.
Na co uważać: Nagranie ma charakter entuzjastycznego demo („to Jarvis”, „to obłęd”). Zanim oprzesz na tym procesy w firmie, sam przetestuj niezawodność, koszty i realne ograniczenia na własnych zadaniach.