Co naprawdę dzieje się w środku ChatGPT, gdy o coś zapytasz

O czym jest ten film

Pełna droga zapytania: od aplikacji, przez filtry bezpieczeństwa i tokenizację, aż po centra danych i generowanie odpowiedzi.
ChatGPT nie jest modelem AI — to aplikacja konsumencka zbudowana wokół modelu, która dokłada do promptu własne instrukcje producenta, ustawienia użytkownika, wspomnienia, pliki i całą historię rozmowy.
Modele nie mają wbudowanej pamięci — każdą wiadomością wysyłasz od nowa cały wątek, a w długich rozmowach jakość spada („context rot”).
Klasyfikatory bezpieczeństwa czytają każdą wiadomość; pierwszy klasyfikator Anthropic zbił skuteczność jailbreaków z blisko 90% do 4–5%.
Tekst zamieniany jest na tokeny — kawałki krótsze od słów (średnio ok. 70% wyrazu); „strawberry” to trzy tokeny, dlatego modele myliły się w zadaniach na litery.
Liczby też są cięte na tokeny, grupowane według częstości — i dlatego modele słabo radzą sobie z rachunkami.
Różne języki zużywają różne liczby tokenów („hello world” to ok. 2 tokeny, w hindi ok. 5); angielski jest najbardziej oszczędny.
Zapytania lecą do centrów danych (jedno z centrów Google: ponad 3,2 biliarda tokenów miesięcznie) i są łączone w paczki — jeden GPU obsługuje wielu użytkowników naraz, co może wpływać na twoją odpowiedź.
Serce modelu to mechanizm uwagi z artykułu Google „Attention Is All You Need” (2017); GPT-3 liczył 185 miliardów parametrów.
Odpowiedź powstaje token po tokenie (stąd strumieniowanie na ekranie), a od 2023 roku model może dodatkowo rozumować i korzystać z narzędzi — w pętli, aż uzna wynik za zadowalający.

10 najważniejszych takeaways — z kontekstem zastosowania

1.Twój prompt nigdy nie trafia do modelu w czystej postaci

Na czym polega: ChatGPT to aplikacja nałożona na model. Zanim pytanie zostanie wysłane, aplikacja dokłada do niego prompt systemowy producenta, twoje własne instrukcje, zapisane wspomnienia, załączone pliki i całą dotychczasową rozmowę.

Jak stosować: Gdy odpowiedź dziwnie rozmija się z pytaniem, zacznij świeży czat i sprawdź, co model „wie” o tobie z instrukcji i wspomnień. Testy porównawcze rób zawsze w nowych rozmowach.

Na co uważać: Nawet precyzyjnie zadane pytanie bywa przekształcone przez kontekst, którego nie widzisz.

2.Model nie ma pamięci — każdą wiadomością wysyłasz cały wątek od nowa

Na czym polega: Modele działają wyłącznie na tekście. Żeby „pamiętały”, każde kolejne pytanie musi zawierać całą rozmowę od początku. Przy długich wątkach jakość spada, bo przybywa obliczeń pośrednich, a każde z nich gubi odrobinę precyzji.

Jak stosować: Nowy temat — nowa rozmowa. Długie sesje skróć do podsumowania i wklej je jako punkt wyjścia do świego czatu.

Na co uważać: Im dłuższy wątek, tym większe ryzyko błędów i wahań jakości — a każda kolejna wiadomość wymaga przeliczenia całej historii.

3.Filtry bezpieczeństwa czytają wszystko — i mogą zmienić model, który ci odpowiada

Na czym polega: Nad rozmową czuwają mniejsze modele klasyfikujące. Anthropic zbił skuteczność jailbreaków z blisko 90% do 4–5%; OpenAI przekierowuje „ryzykownych” użytkowników do prostszych modeli, a osoby poniżej 18 lat — do bezpieczniejszej wersji.

Jak stosować: Jeśli odpowiedzi nagle, bez wyraźnego powodu, zrobiły się wyraźnie słabsze — przeformułuj zapytania na neutralne, konwencjonalne sformułowania i sprawdź, czy jakość wróci.

Na co uważać: Próby obchodzenia zabezpieczeń są dziś mało skuteczne, a nietypowe wzorce użycia mogą skończyć się obsługą przez uboższy model.

4.Model nie widzi liter — widzi tokeny

Na czym polega: Tekst jest cięty na kawałki krótsze od słów; „strawberry” to trzy osobne tokeny. Stąd dawne wpadki z zadaniami typu „policz litery w słowie”.

Jak stosować: Przy zadaniach na pisownię czy liczenie liter nie ufaj pierwszej odpowiedzi — zapytaj inaczej albo sam rozpisz słowo na litery w prompcie.

Na co uważać: Model operuje na kawałkach tekstu, nie na pojedynczych znakach — jego „widzenie” słowa to statystyka fragmentów.

5.Liczby są dzielone na tokeny według częstości — stąd słaba arytmetyka

Na czym polega: Tokenizery grupują cyfry w nieoczywiste kawałki (np. 12345678901 jako „123456789” i „01”), więc model rzadko dostaje liczbę w całości.

Jak stosować: Rachunki zlecaj narzędziom — kalkulatorowi, arkuszowi, wykonaniu kodu — a nie „pamięci” modelu.

Na co uważać: Im dłuższa liczba, tym większa szansa, że zostanie pocięta i przeinaczona.

6.Angielski zużywa najmniej tokenów

Na czym polega: Ta sama treść zajmuje różną liczbę tokenów zależnie od języka („hello world”: ok. 2 tokeny, w hindi ok. 5). Angielski jest najbardziej „tokenooszczędny” i dlatego modele domyślnie pracują w tym języku.

Jak stosować: Gdy liczysz się z limitem kontekstu albo kosztem zapytań, rozważ formułowanie ich po angielsku.

Na co uważać: W pozostałych językach wątki szybciej wypełniają okno kontekstu — dłuższe rozmowy warto przycinać.

7.Dzielisz GPU z innymi użytkownikami — i to wpływa na twoje odpowiedzi

Na czym polega: Zapytania są łączone w paczki, a jeden układ obsługuje wielu ludzi naraz. Wielkość paczki, układ obliczeń, a nawet temperatura karty mogą zmienić matematykę stojącą za odpowiedzią.

Jak stosować: Gdy ten sam prompt nagle da inną odpowiedź, powtórz go, zanim uznasz, że „model się zmienił”.

Na co uważać: Wyniki LLM nie są w pełni powtarzalne — porównania między dniami rób z tą świadomością.

8.Odpowiedź powstaje na żywo, token po tokenie

Na czym polega: Każdy token wymaga osobnego przejścia przez model — dotychczasowy wynik jest przepuszczany przez sieć od nowa. Strumieniowanie tekstu na ekranie i przycisk pauzy to nie sztuczka interfejsu, lecz naturalna konsekwencja tego mechanizmu.

Jak stosować: Gdy widzisz, że odpowiedź schodzi na manowce, przerwij generowanie w pół zdania — oszczędzasz czas.

Na co uważać: Model zwraca statystycznie najprawdopodobniejsze kolejne tokeny, nie zweryfikowane fakty — halucynacje są wpisane w sam sposób działania.

9.Rozumowanie to wielokrotny przegląd własnej odpowiedzi

Na czym polega: Model może przepuścić swój wynik przez siebie ponownie — w ukrytej sekcji rozumowania — i przejrzeć go wiele razy, zanim pokaże go użytkownikowi. Słowa takie jak „ale” czy „jednak” na początku linii wymuszają szukanie kontrprzykładów i porównywanie rozwiązań.

Jak stosować: W promptach analitycznych wprost dodawaj „ale co, jeśli…”, „jakie są kontrargumenty” — wykorzystasz ten sam mechanizm samokontroli modelu.

Na co uważać: Dodatkowe iteracje kosztują czas i moc obliczeniową — nie każde zadanie na tym zyskuje.

10.Pętla decyzji: zakończ — rozumuj — użyj narzędzia

Na czym polega: Od 2023 roku model po każdym kroku wybiera: skończyć odpowiedź, doszlifować ją rozumowaniem czy wywołać narzędzie (np. wyszukiwarkę), po czym cykl się powtarza, aż uzna wynik za dobry. Dane pobiera oprogramowanie, nie sam model.

Jak stosować: Gdy potrzebujesz aktualnych informacji, korzystaj z wersji z dostępem do narzędzi zamiast polegać na „wiedzy” modelu.

Na co uważać: Jakość odpowiedzi jest wtedy tak dobra, jak jakość narzędzia i zapytania, które model do niego wysłał.

Redakcyjne tłumaczenie

Technologia nie do odróżnienia od magii

„Każda na tyle zaawansowana technologia jest nie do odróżnienia od magii” — i właśnie w tym punkcie znalazła się dziś sztuczna inteligencja. Niemal nikt spośród osób korzystających z ChatGPT czy innego dużego modelu językowego nie wie, co właściwie dzieje się po wysłaniu promptu. Ten materiał ma to zmienić: na końcu będzie wiadomo, co faktycznie zachodzi, gdy rozmawiamy z modelem — od matematyki, przez centra danych, aż po odpowiedź wyświetloną na ekranie.

Krok 1: Aplikacja pakuje twoją wiadomość

Najpierw wiadomość jest „pakowana” przez aplikację, z której korzystasz. ChatGPT wbrew pozorom nie jest modelem AI — to konsumencka aplikacja zbudowana wokół modelu. Wpisując prompt, trafia on najpierw do aplikacji, która dokłada do niego cały zestaw elementów, zanim cokolwiek dotrze do samego modelu.

Pierwszy z nich to prompt systemowy, czyli firmowe instrukcje producenta adresowane do modelu. Anthropic publikuje prompt systemowy Claude’a w otwartym dostępie — ma ponad trzy tysiące słów i zaczyna się od… dzisiejszej daty. Nie bez powodu: model co do zasady nie wie, który jest dzień, bo nie ma wbudowanego kalendarza ani zegara.

Potem dochodzą twoje własne instrukcje, zapisane wspomnienia i załączane pliki. A na końcu — co kluczowe — cała rozmowa od samego początku. Jest to konieczne, ponieważ modele nie mają żadnej pamięci. Działają wyłącznie na tekście: żeby wiedziały, o czym mowa, każda wysłana wiadomość musi zawierać każdy znak, jaki padł w wątku do tej chwili — plus całą masę dodatków, do których zaraz wrócimy.

Długie rozmowy potrafią się więc mocno rozrastać: wiele słów, wiele tokenów, a model musi to wszystko śledzić i przeliczać coraz bardziej złożoną matematyką. W efekcie jakość odpowiedzi w długich sesjach bywa niejednolita — zjawisko znane jako context rot, degradacja kontekstu. Dlaczego wyniki stają się mniej pewne wraz z długością wejścia? To bardziej pytanie matematyczne niż cokolwiek innego: przybywa obliczeń pośrednich, a każde z nich gubi odrobinę precyzji. Straty są drobne, ale się kumulują.

Sklejenie tego wszystkiego w całość daje spakowany prompt.

Krok 2: Kontrola bezpieczeństwa — mniejsze modele czytają wszystko

Następnie wiadomość przechodzi kontrolę. Traktujcie ją jako weryfikację. Nad rozmową prowadzoną z dużym modelem nieustannie czuwają mniejsze modele, bo sztucznej inteligencji można używać w sposób niebezpieczny lub szkodliwy — choćby prosząc o instrukcje produkcji narkotyków czy napalmu albo o treści przemocowe. Firmy modelowe chcą wiedzieć, o co pytają użytkownicy, i upewniać się, że modele nie odsyłają niczego groźnego. Podoba się to komuś lub nie — klasyfikatory bezpieczeństwa czytają wszystko, co piszecie.

Pierwsza wersja klasyfikatora Anthropic ścieśniła skuteczność jailbreaków z niemal 90% do około 4–5% (Informacja dodatkowa: „jailbreak” to próba obejścia zabezpieczeń modelu, by wymusić odpowiedzi sprzeczne z jego zasadami). Kiedyś taka weryfikacja mocno podbijała koszty obliczeniowe; dziś pochłania mniej niż 1% tego, co samo działanie modelu. ChatGPT robi coś pokrewnego: gdy wykryje sposób użycia, którego nie akceptuje, przekierowuje zapytanie do innego modelu — zwykle prostszego albo obłożonego dodatkowymi zabezpieczeniami, bo użytkownik został uznany za ryzykowniejszego od przeciętnego. Osoby poniżej 18. roku życia trafiają, o ile dobrze wiem, do bezpieczniejszej wersji dla nieletnich — żeby nie dało się wciągnąć modelu w nic niewłaściwego.

Krok 3: Tokenizacja — zamiana słów na klocki

Gdy spakowany prompt przejdzie kontrolę, można go podać do modelu. Ale najpierw trzeba zamienić całą wiadomość — a jest nią długa lista słów — na format, który model rozumie natywnie. Tym formatem są tokeny. Token jest nieco krótszy od słowa: średnio odpowiada około 70% wyrazu. Zamiany nie dokonuje sam model — robi to program zwany tokenizerem, wyposażony we własny mini-słownik, również składający się z kawałków zbliżonych do słów, ale zwykle od nich krótszych. Te same tokeny, układane jak klocki LEGO, dają w sumie różne wyrazy — dlatego takie pakowanie jest wydajniejsze.

Słownik tokenizera OpenAI liczy około 200 tysięcy różnych tokenów. Dla przykładu: tytułowe pytanie „What actually happens inside ChatGPT when you ask it something” to dwanaście tokenów. Słowo „ChatGPT” — dwa: „chat” i „GPT”. „Strawberry” — trzy: „st”, „raw”, „berry”. Model nie widzi poszczególnych liter, wyłącznie tokeny. I właśnie dlatego do niedawna modele regularnie potykały się na subtelnych zadaniach tego rodzaju.

Liczby również są cięte. Co ciekawe, nie działa to tak, że „1” to jeden token, „2” — drugi i tak dalej. Tokenizery grupują cyfry według częstości występowania, przez co powstają osobliwe kawałki: liczba 12345678901 może zostać rozbita na „123456789” i „01”. Takie porcjowanie jest wydajniejsze, ale rodzi dziwne artefakty — modele nie grzeszą w rachunkach, bo nie otrzymują całej liczby jako spójnego kawałka, tylko rozdrobnioną na kilka części.

Na koniec: różne języki zużywają różne liczby tokenów, bo słowa i zdania rozpadają się inaczej. „Hello world” po angielsku to około dwa tokeny; mniej więcej to samo zdanie w hindi — około pięciu. Angielski należy do najbardziej oszczędnych języków pod względem tokenów i dlatego większość modeli domyślnie wypowiada się po angielsku. Dochodzi do tego oczywiście kwestia pieniędzy do zarobienia na rynku angielskojęzycznym w porównaniu choćby z hindi. Warto to wszystko przyswoić, jeśli chce się naprawdę rozumieć, jak modele działają pod maską.

Krok 4: Podróż do centrum danych

Gotowe tokeny wyruszają do centrum danych. Te modele nie mieszkają w waszym telefonie ani laptopie — mieszkają w budynkach pełnych układów, często setki, a bywa, że tysiące kilometrów stąd. Google ma ich całą sieć; jedno z jego centrów przetwarza ponad 3,2 biliarda tokenów miesięcznie (Informacja dodatkowa: angielskie „quadrillion” to 10¹⁵, po polsku biliard — tysiąc bilionów). Nie milion, nie miliard, nawet nie bilion.

Chipy budujące modele to głównie graficzne procesory Nvidii. Wasze zapytanie nie trafia na jeden układ: wysłany ciąg tokenów jest krojony i łączony w paczki razem z zapytaniami innych ludzi, by oszczędzać moc obliczeniową. Jeden GPU obsługuje więc jednocześnie wielu użytkowników, rozdzielając zadania tam, gdzie akurat jest wolne miejsce.

A teraz coś naprawdę zaskakującego: inni ludzie korzystający w tej samej chwili z tego samego układu mogą realnie wpłynąć na to, jak model wam odpowie. Gdy wysyłacie zapytanie samotnie, a gdy dzielicie kartę z tłumem, różnią się ekonomia wielkości paczki i układ obliczeń — a pewnie i takie rzeczy jak temperatura GPU. Wszystko to może odbić się na matematyce, z której rodzi się wasza odpowiedź. Tak więc: uważajcie, z kim dzielicie procesor graficzny.

Krok 5: W środku — uwaga i 185 miliardów parametrów

Po dotarciu na miejsce tokeny przechodzą przez dziesiątki, może setki warstw operacji matematycznych — wyobraźcie sobie równanie z ogromną liczbą zmiennych i wieloma funkcjami wplecionymi w środek. Większość tej matematyki wywodzi się dziś z opublikowanego przez Google w 2017 roku artykułu „Attention Is All You Need” (Informacja dodatkowa: tekst wprowadził architekturę Transformer, fundament współczesnych dużych modeli językowych). Zaproponowano w nim nowy algorytm — uwagę (attention) — pozwalający modelowi patrzeć na każde słowo promptu jednocześnie i na tej podstawie ustalać jego znaczenie w kontekście.

Przykład: zdanie ze słowem „bank” obok słowa „rzeka” znaczy oczywiście coś konkretnego — bank jako brzeg. Ale zdanie z „bankiem” i „pożyczką” nadaje temu samemu słowu zupełnie inne znaczenie. Uwaga pozwala modelowi objąć wszystkie elementy zdania, frazy czy ciągu tokenów i dzięki temu skuteczniej rozumieć, co dane słowo znaczy w danym miejscu.

GPT-3 liczył 185 miliardów parametrów — w skrócie: 185 miliardów niezależnie śledzonych liczb upakowanych w gigantyczne struktury zwane macierzami (wektory wektorów). Macierze te są mnożone przez siebie wielokrotnie, w naprawdę ciekawych konfiguracjach, a owocem jest statystyczny rozkład słów, które model ma odwzorować. Sama mechanika uczenia maszynowego i głębokich sieci jest fascynująca — autor odsyła po szczegóły do materiału podlinkowanego przy filmie.

Krok 6: Jeden token na raz — i stąd strumieniowanie

Po jednym przejściu przez sieć model przewidział… jeden token. A przecież rzadko chcemy tylko jednego. Dlatego model musi wziąć dotychczasowy wynik — z nowym tokenem włącznie — i przepuścić całość przez siebie od nowa, żeby wygenerować następny. Modele wytwarzają więc wyjście wyłącznie pojedynczo, token po tokenie; przynajmniej jest to dziś preferowany sposób. Dla krótkiego zapytania o dwa tokeny — powiedzmy „ChatGPT” — cały proces trzeba byłoby uruchomić dwukrotnie. Mam nadzieję, że teraz widać, dlaczego ekonomia GPU i centrów danych ma takie znaczenie: ogromna matematyka, bardzo szybko, bardzo wiele razy.

Zastanawialiście się kiedyś, dlaczego odpowiedź „wypływa” w oknie rozmowy, gdy model jeszcze odpowiada? Właśnie dlatego. Firmy ustaliły, że taniej wyjdzie podawać słowa po jednym, na bieżąco — i to się dzieje naprawdę: każdy token, który dostajecie, powstaje na żywo. Stąd też możliwość zatrzymania generowania w pół zdania.

I warto przy tym pamiętać: zadaniem modelu niekoniecznie jest podawanie faktów. Model zwraca wyłącznie rozkład statystycznie najbardziej prawdopodobnych kolejnych tokenów w sekwencji. Halucynuje zatem dość często. Z każdą generacją modeli jest z tym lepiej — pomagają też trening i mocniejsze kotwiczenie odpowiedzi w kontekście — ale nosić to w głowie trzeba.

Krok 7: Rozdroże — zakończyć, rozumować albo użyć narzędzia

Gdy model wygenerował jakiś tekst — tokeny wyjściowe — dochodzimy do rozdroża, czyli decyzji. Dodano ją w 2023 roku i sprowadza się do wyboru jednej z trzech dróg: skończyć, rozumować albo sięgnąć po narzędzie.

Czym jest rozumowanie? Model bierze swój wynik i przepuszcza całość z powrotem jako wejście — w ukrytej sekcji rozumowania — dzięki czemu może przejrzeć odpowiedź cztery, pięć, sto czy tysiąc razy, zanim pokaże ją użytkownikowi. Buduje wewnętrzny łańcuch myśli, krok po kroku przechodząc przez rozwiązanie waszego problemu. Często pojawiają się w nim zastrzeżenia: „ale”, „jednak”, „natomiast”, „także”, „i” itd. Takie słowo stawiane jest na początku kolejnej linii, by skierować rozumowanie w możliwie odmienne tory i zmusić model do zestawienia wszystkich potencjalnych rozwiązań. Skoro model zawsze wybiera najbardziej prawdopodobne następne tokeny, to linia rozpoczęta od „ale” skłania go do znalezienia kontrprzykładu dla tego, co powiedział wcześniej. W ten sposób model w istocie sam się sprawdza — i oddaje wynik końcowy wyższej jakości.

Druga droga: narzędzie. Modele podpięto pod rozmaite aplikacje. Aplikacja przyjmuje tekst i — zależnie od jego treści — coś robi. Weźmy wyszukiwanie w sieci: aplikacja ma dwa pola, adres URL oraz zakres dat i godzin, dla których chcemy wyniki. Te dane można puścić do popularnej wyszukiwarki — Google, DuckDuckGo, może Ecosia — a ona zwróci listę wyników. Nie jest tak, że to model wychodzi na zewnątrz i pobiera wyniki; robi to oprogramowanie — ale model potrafi je wywołać. Potem wciąga wyniki narzędzia i znów staje przed wyborem: zakończyć odpowiedź, doszlifować ją rozumowaniem czy sięgnąć po kolejne narzędzie. I tak w kółko, aż wewnętrznie uzna jakość odpowiedzi za zadowalającą — i dopiero wtedy podaje ją nam.

Cała podróż w kilka sekund

To już wszystko: pełna podróż w obie strony — od waszego pytania, przez matematykę i centra danych, aż po odpowiedź na ekranie. A wszystko to mieści się dosłownie w kilka sekund. W miarę jak modele będą szybsze, opóźnienia będą raczej spadać, aż w końcu odpowiedzi przyjdą mniej więcej z szybkością myśli.