O czym jest ten film
- Autor wydał 400 dolarów na testy nowego modelu Claude Opus 5 i pokazuje, co ten model potrafi w praktyce.
- Ocena opiera się nie tylko na benchmarkach, ale przede wszystkim na „wyczuciu” — jakości i smaku generowanych rezultatów.
- Prezentuje długą listę aplikacji 3D i symulacji, które Opus 5 wygenerował niemal bez pracy programisty (świat galerii, gra orbitalna, symulacja tkanin, fraktale, ekosystem drapieżnik–ofiara, symulator drona i in.).
- Główna teza: jakość jest o kilka punktów procentowych lepsza od konkurencji, ale najważniejsza jest znacznie niższa cena.
- Opus 5 to według autora „nieco inteligentniejszy Fable 5 za mniej więcej połowę kosztu”.
- Przegląd benchmarków: kodowanie agentowe w terminalu, praca wiedzowa (GDPval), rozwiązywanie nowych problemów (ARC-AGI 3), wyszukiwanie agentowe, użycie komputera.
- Szczególnie interesujący jest nowy „Automation Bench” mierzący budowę workflow biznesowych — Opus 5 osiąga ~26% wobec 17,4% Fable.
- Analiza kosztu do wyniku: nawet najsłabsza wersja Opus 5 daje solidne rezultaty za ułamek ceny konkurencji.
- Wątek bezpieczeństwa: Opus 5 wypada najlepiej w pomiarze zachowań niezgodnych z intencją (najniższy wynik na skali „misalignment”).
- Refleksja końcowa: publiczne modele to powolny, kontrolowany strumień ulepszeń, a najpotężniejsze modele prawdopodobnie zostaną za zamkniętymi drzwiami.
Redakcyjne tłumaczenie
(Informacja dodatkowa: film ma charakter recenzji-pokazu. Wymienione modele — Claude Opus 5, Fable 5, GPT 5.6 „Soul”, ARC-AGI 3, Automation Bench i inne — to nazewnictwo z materiału źródłowego; traktuj je jako przedmiot omówienia autora, nie jako zweryfikowany stan rynku.)
Nowy najlepszy model — i jak z niego korzystać
Anthropic właśnie wypuścił Claude Opus 5 i jest to prawdopodobnie zdecydowanie najlepszy dostępny nam obecnie duży model językowy z półki frontier. W tym materiale pokażę wszystko, co trzeba wiedzieć, żeby maksymalnie wykorzystać możliwości Opus 5.
Zacznijmy od strony, którą Opus 5 stworzył właściwie sam. To pełna aplikacja 3D — mogę do niej wejść i zwiedzać coś w rodzaju galerii pośrodku niczego. W istocie jest to trójwymiarowy świat, który udało mi się zasymulować i zbudować w całości w Opus 5, praktycznie bez żadnej pracy z mojej strony. Wygenerowaliśmy zbiór grafik, rozwiesiliśmy je na ścianach, a ja po prostu przechadzam się między nimi. Za każdym razem, gdy najadę kursorem, słychać takie „ding” — to ja przyglądam się danej pracy i kataloguję ją niczym w Pokédexie.
To nie są proste rzeczy. Jeszcze niedawno coś takiego uchodziłoby za pełnoprawną grę i samodzielne doświadczenie 3D. Założę się, że gdybym poprosił Opus 5, w kilka sekund zamieniłby to w prawdziwe doświadczenie wirtualnej rzeczywistości — z przeciwnikami, laserami i czym tam jeszcze zechcę.
Mógłbym pokazać wam benchmarki i za chwilę to zrobię. W skrócie: Opus 5 wymiata praktycznie na każdym z nich. Ale ważniejsze na tym etapie jest to, jak model się „czuje” w użyciu. Jakie rezultaty potrafi wygenerować — takie, które mogę ocenić smakiem, a nie statycznymi procentami na ekranie, które, bądźmy szczerzy, i tak niewiele nam mówią. To, co następuje, to obszerna lista imponujących rzeczy, które udało mi się z Opus 5 wydobyć.
Galeria demonstracji — symulacje i gry
Tutaj mamy grę startową w stylu Kerbal Space Program (Informacja dodatkowa: popularna gra o budowaniu rakiet i lotach kosmicznych opartych na realistycznej fizyce orbit). Pozwala zbudować stabilną orbitę, zmieniając trajektorię. Jeśli wystrzelę coś ze stanowiska startowego w danym kierunku, obiekt może wejść w pole grawitacyjne planety — co jest całkiem efektowne. Owszem, projekt jest po prostszej stronie, ale i tak fajne jest to, że mogłem po prostu poprosić AI, by mi to zrobiło, i mam własny symulowany układ słoneczny. Naprawdę czuć, że wszystko zmierza w stronę symulacji. Jest tu też „armata Newtona”, która pokazuje serię wystrzelonych obiektów, oraz transfer Hohmanna z dużą orbitą docelową. To zarazem materiał wyjaśniający i mini-gra.
Dalej — symulacja tkanin i tego, jak poruszają się na wietrze, czyli symulacja materiału. Potrafię nawet rozerwać tę symulację, co jest bardzo efektowne. Nie powiem, że fizyka tkanin jest tu odwzorowana najdokładniej jak się da, ale gdy na to patrzę, myślę sobie: cholera, to jest całkiem wiarygodne. Wygląda tak, jakby zasłona zareagowała dokładnie w ten sposób, gdybym ją pociągnął.
A ten generator fraktali? Rzecz jest szalona. Można przybliżać i schodzić dowolnie głęboko w ten shader. Pulsuje i rośnie, można zwiększać wysokość, rozmiar, poświatę, dyspersję i tak dalej.
Skoro o symulacjach mowa — to zbiór komórek rosnących w probówce. Za każdym razem, gdy wciskam przycisk, zrzucam trochę piasku. Opus 5 zaprojektował środowisko, w którym te automaty komórkowe (Informacja dodatkowa: automaty komórkowe to proste reguły lokalne, z których wyłaniają się złożone wzorce — np. gra „Life”) się wspinają. Mogę wywołać wyciek ropy albo wygenerować parę, która niszczy część wody. Mogę wzniecić ogień, zregenerować scenę startową, zatrzymać czas — sporo tego.
Tutaj mamy żywy ekosystem drapieżnik–ofiara. Mogę tworzyć nowe króliki, które zaczynają zjadać trawę, ale są też lisy, które na nie polują. Właśnie wywołałem mnóstwo królików, dołóżmy teraz lisy i przerzedźmy stado. Widać, jak trawy przybywa, bo lisy zjadły wszystkie króliki — ale populacja lisów zaczyna się załamywać, bo brakuje już królików do zjedzenia. (Informacja dodatkowa: to klasyczny model Lotki–Volterry — cykliczne wahania liczebności drapieżników i ofiar.)
A ten symulator lotu quadkoptera? Oto mój mały dron. Nie wiem, czy słyszeliście, ale on naprawdę wydaje dźwięk. Przelatuję przez proceduralnie generowane otoczenie. Wygląda na to, że żeby wylądować, trzeba przytrzymać „X” — spróbuję i wyląduję na lądowisku. Gotowe. To w stu procentach gra, a napisałem ją w kilka sekund.
Kolejne demo to podwójne wahadło. Co ciekawe, wygląda na to, że model schrzanił projekt w prawym górnym rogu — choć to pierwszy błąd, jaki dotąd zauważyłem. Można dodać dowolnie wiele wahadeł. Nic szczególnego, przejdźmy dalej.
Model zaprojektował też edytor pikseli — mogę rysować jak w Microsoft Paint. Jesteśmy bardzo blisko momentu, w którym każdy będzie mógł zaprojektować własną aplikację. Ma pełną funkcjonalność: gumkę, cofanie, coś w rodzaju „onion skin” i wiele warstw. Mogę dodać kolejną klatkę i zrobić z tego animację — pierwsza klatka, druga i tak dalej. Można powiększać i pomniejszać płótno.
Tutaj budujemy konfigurator butów sportowych. Nie powiem, że to najczystszy przykład buta, jaki widziałem, ale mogę klikać różne elementy i je zmieniać — kolor, materiał. Mam teraz płynny chrom. Można też zapisać render na komputer albo obracać obiekt i klikać poszczególne sekcje. Szczerze, nie do końca czuję tu „but”, ale powód jest taki, że Opus 5 nie ściągnął gotowego buta z internetu — sam stworzył te elementy, a takie komponowanie zwykle nie jest tym, co modele robią. To istotny krok naprzód.
Dalej mamy wykres wyjaśniający pokazujący populacje różnych metropolii na przestrzeni ostatnich 126 lat. W prawym górnym rogu widać, jak zmieniają się Nowy Jork, Londyn, Tokio i tak dalej, a całość jest komentowana. Przechodzimy do Azji i widzimy, że powojenne Tokio ma już 16 milionów mieszkańców. Mogę przeciągać widok i przybliżać.
I wreszcie symulator kuli do wyburzeń. Mogę ją przeciągać, poruszać i pchać w ceglaną ścianę. Nie idzie mi zbyt dobrze, ale widać, że ściana się wali. Można zmieniać masę kuli — cięższa lub lżejsza. Jest nawet pasek postępu, który pyta, jak blisko jestem zniszczenia całości. Podobno 96% — czyli już prawie.
Sedno: kilka punktów lepiej, ale znacznie taniej
To potrafi zrobić praktycznie wszystko, czego byśmy chcieli. Powód mojego entuzjazmu nie leży w tym, że w ogóle to potrafi — jest już wiele modeli, które robią podobne rzeczy. Chodzi o to, że robi je odrobinę lepiej, o kilka punktów procentowych. A co ważniejsze, jest przy tym znacznie tańszy niż jakikolwiek inny duży model z frontier do tego rodzaju zadań.
Moje podsumowanie: Opus 5 to zasadniczo nieco inteligentniejszy Fable 5 za może połowę jego kosztu. Weźmy tę stronę „Airlines” w stylu Apple, próbującą sprzedać jakieś panele 3D — u Opus 5 kosztowała 69 centów, a u Fable 5 94 centy. I moim zdaniem Opus 5 zrobił to lepiej; te strony trudno w ogóle porównywać. Ta zbudowana przez Opus 5 ma fajny efekt slajdu — pamiętając, że to nie jest zasób ściągnięty z sieci, lecz zbudowany od zera w SVG. Wersja Fable jest po prostu prostsza i pewnie sporo „głupsza”.
Benchmarki
(Informacja dodatkowa: poniższe wyniki i nazwy testów podaje autor filmu — potraktuj je jako jego relację, nie jako oficjalne dane.)
Na kodowaniu agentowym w terminalu Opus 5 wypada bardzo dobrze — uchodzi za lepszy niż Fable 5 w tym samym zadaniu i znacznie lepszy niż Opus 4.8 czy GPT 5.6 „Soul”.
Praca wiedzowa (GDPval-AAV2): wynik 1861, co plasuje model powyżej przeciętnego człowieka w zadaniach wiedzowych.
Rozwiązywanie nowych problemów (ARC-AGI 3): 30,2%. Fable nie był jeszcze testowany na tym benchmarku, a Opus 4.8 osiągnął 1,5% — czyli w obrębie serii Opus to ogromny skok.
Wyszukiwanie agentowe (BrowseComp): 90,8% — trochę lepiej niż Fable 5, znacznie lepiej niż Opus 4.8, ale praktycznie tyle samo co GPT 5.6 „Soul”.
Rozumowanie wielodziedzinowe: 56,3% bez narzędzi, ale wspomagany narzędziami przewyższa Fable — 64,7% do 63,9%. To bardzo przydatne, zwłaszcza przy wieloetapowych zadaniach wiedzowych.
Użycie komputera: 70,6%. Modele coraz lepiej radzą sobie z obsługą komputera tak, jak zrobiłby to człowiek.
Na kodowaniu agentowym nic szczególnie imponującego — GPT 5.6 wciąż wygrywa. Opus 5 jest tu w zasadzie równy Fable 5, ale to duży skok względem Opus 4.8.
Nowy „Automation Bench”, który interesuje mnie szczególnie jako osobę robiącą dużo automatyzacji dla firm: 26% wobec 17,4% dla Fable. Chodzi o budowanie workflow biznesowych. To wciąż daleko od ludzi — model trafia mniej więcej w jednej czwartej przypadków — ale to duży postęp w porównaniu z poprzednimi generacjami.
Prawo: 11,7%. Zdrowie: 59,8%. Ciekawie wygląda biologia — 49,4% na trudnych problemach, ale 90,1% na problemach rozwiązanych przez ludzi.
Koszt do wyniku — najmocniejszy argument
Jednym z moich ulubionych zestawień jest wydajność w zadaniach agentowego użycia komputera według poziomu „wysiłku”. Modelom podaje się różne zadania i mierzy, ile tokenów — a więc ile pieniędzy — potrzebują, by je wykonać. Rozpiętość wyników jest spora, a większość tej rozpiętości bierze się z GPT 5.6 „Soul”, który ma ogromny rozrzut kosztu i wyniku między najniższym a najwyższym poziomem rozumowania.
Modele Claude skupiają się w prawym górnym rogu wykresu — mniejszy rozrzut wyniku i mniejszy rozrzut kosztu. Najgłupsza wersja Opus 5 wciąż osiąga około 60% na większości zadań użycia komputera, za jakieś 9 dolarów. Im wyżej po drabinie rozumowania, tym najinteligentniejsze wersje osiągają około 70% za jakieś 22 dolary za zadanie — co jest imponujące, zwłaszcza że Fable 5 osiąga mniej więcej tyle, co środkowy poziom Opus 5, ale robi to za blisko 50 dolarów. Ogromna oszczędność.
Na nowym Automation Benchu Opus 5 jest o klasę lepszy od reszty — inne modele skupiają się przy ~15% zdawalności, a on osiąga niemal 25%. To duże implikacje dla osób, które chcą automatyzować fragmenty swoich procesów.
Jesteśmy też całkiem blisko pobicia „Humanity’s Last Exam” (Informacja dodatkowa: bardzo trudny benchmark z ekspercką wiedzą, zaprojektowany jako jeden z ostatnich, które modele wciąż przegrywają z ludźmi). Nawet najsłabsza wersja Opus 5 osiąga tu około 56%, a najmądrzejsza niemal 65% — przy koszcie 3 dolarów za zadanie, co czyni ją nie tylko lepszą od Fable na tym teście, ale i wyraźnie tańszą. Z Opus 4.8 nie ma nawet porównania.
Na ARC-AGI 3, czyli rozwiązywaniu nowych problemów według kosztu, przewaga jest miażdżąca. Pozostałe modele — Opus 4.8, GPT 5.6 — skupiają się przy około 2% (Fable nie umieszczono, bo chyba go na tym nie uruchomiono), a Opus 5 dosłownie ich rozjeżdża, osiągając około 31%.
Bezpieczeństwo i szersze wnioski
Na koniec słowo o wyrównaniu (alignmencie). Zachowania niezgodne z intencją to coś, co firmy takie jak Anthropic chcą maksymalnie ograniczać — nie lubią, gdy modele robią rzeczy wywrotowe albo takie, których człowiek tak naprawdę nie chciał. Na dziesięciopunktowej skali Opus 4.8 uzyskał 2,85, „Mythos 5” — ten model odpowiedzialny za wielką katastrofę cyberbezpieczeństwa, przez którą rząd USA wycofał wiele dostępu — 2,81, Sonnet 5 3,35, a Opus 5 jest znacznie poniżej wszystkich: 2,3. To pokazuje, że model jest nie tylko mądrzejszy, znacznie tańszy i znacznie lepszy w konkretnych zadaniach wywoływania narzędzi, ale też bezpieczniejszy — sytuacja korzystna po każdej stronie.
Co to oznacza dla AI ogólnie? Żadnych naprawdę nowych, szalonych przełomów. Opus 5 kontynuuje powolny, systematyczny strumień ulepszeń, który widzieliśmy przy Opus 4, 4.5, 4.7, 4.8 i tak dalej. Przychodzi to w dobrym momencie, bo jakiś tydzień temu pojawiło się „Kimmy K3”, które zachwiało „równowagą sił” między modelami open source lub chińskimi a bardziej zamkniętymi, amerykańskimi modelami frontier.
Idąc dalej: modele stają się na tyle inteligentne i gotowe, by zakłócać ludzką pracę wiedzową na dużą skalę, że ze względu na implikacje ekonomiczne wyobrażam sobie, iż wielkie firmy AI — Anthropic, OpenAI, teraz w istocie działające w porozumieniu z rządem USA — będą wypuszczać modele powolnym, kontrolowanym strumieniem. Ale te naprawdę potężne inteligencje, o wiele mądrzejsze niż cokolwiek z tych benchmarków, coraz śmielej pozostaną za zamkniętymi drzwiami. Obawiam się, że my, zwykli śmiertelnicy, prędko do nich nie dostaniemy dostępu. Zróbcie z tym, co chcecie — ale mam nadzieję, że wiecie już wszystko, czego trzeba, by wymiatać z Opus 5 wpiętym w wasze procesy biznesowe.
10 najważniejszych takeaways — z kontekstem zastosowania
1.Oceniaj model „smakiem”, nie tylko procentami
Na czym polega: Autor celowo stawia jakość wygenerowanych rezultatów (jak wygląda i „czuje się” aplikacja) ponad surowe wyniki benchmarków, które bywają oderwane od realnej użyteczności.
Jak stosować: Zanim uwierzysz w rankingi, przetestuj model na swoim własnym, reprezentatywnym zadaniu i oceń efekt końcowy — czytelność kodu, estetykę, kompletność.
Na co uważać: „Smak” jest subiektywny i łatwo ulec efektowi świeżości nowego modelu. Notuj konkretne kryteria oceny, żeby porównania między modelami były uczciwe.
2.Kryterium kosztu jest ważniejsze niż kilka punktów jakości
Na czym polega: Główny argument filmu to nie „lepszy o parę procent”, lecz „porównywalny za mniej więcej połowę ceny” — Opus 5 jako tańsza alternatywa dla droższego Fable 5.
Jak stosować: Przy wyborze modelu do zadań masowych (automatyzacje, generowanie stron) licz koszt na zadanie, a nie tylko wynik benchmarku — tańszy model o zbliżonej jakości wygrywa w skali.
Na co uważać: Ceny podane w filmie są z jednego momentu i konkretnych zadań. Zrób własny pomiar na swoich promptach, bo koszt zależy od długości i złożoności zadań.
3.Dobieraj poziom „wysiłku”/rozumowania do zadania
Na czym polega: Wykres koszt–wynik pokazuje, że najsłabsza wersja Opus 5 osiąga ~60% za ~9 dolarów, a najmocniejsza ~70% za ~22 dolary — więcej rozumowania to wyższy koszt przy malejącym przyroście.
Jak stosować: Do prostych, powtarzalnych zadań używaj niższego poziomu rozumowania; wyższy rezerwuj tam, gdzie te dodatkowe punkty faktycznie się liczą.
Na co uważać: Przy dużym wolumenie różnica kosztu szybko rośnie. Nie płać za „maksymalne rozumowanie”, jeśli tańszy tryb i tak przechodzi twoje testy akceptacyjne.
4.Modele generują złożone artefakty 3D i symulacje niemal od zera
Na czym polega: Opus 5 wytworzył grywalne symulacje (orbity, tkaniny, ekosystemy, dron) w kilka sekund, w tym elementy graficzne budowane samodzielnie w SVG, a nie ściągane z sieci.
Jak stosować: Wykorzystuj to do szybkiego prototypowania interaktywnych demonstracji, narzędzi edukacyjnych i wizualizacji, zamiast zlecać do gotowych bibliotek assetów.
Na co uważać: Autor sam zauważa błędy (schrzaniony róg wahadła, „nie-do-końca-but”). Fizyka bywa tylko wiarygodna, nie dokładna — nie używaj takich symulacji tam, gdzie liczy się poprawność naukowa bez weryfikacji.
5.„Automation Bench” jest kluczowy dla automatyzacji biznesowej
Na czym polega: Nowy benchmark mierzący budowę workflow dla firm; Opus 5 osiąga ~26% wobec ~17,4% Fable — wyraźnie powyżej reszty, ale wciąż daleko od ludzi.
Jak stosować: Jeśli budujesz automatyzacje, śledź właśnie ten typ testów jako najbliższy realnej pracy — i traktuj model jako asystenta, nie autonomicznego wykonawcę.
Na co uważać: ~25% zdawalności oznacza, że w większości przypadków model się myli. Zachowaj etap ludzkiej weryfikacji dla każdego zbudowanego procesu.
6.Wyższa jakość bierze się z komponowania, nie kopiowania
Na czym polega: Przy konfiguratorze buta i stronie „Airlines” autor podkreśla, że model tworzył elementy samodzielnie (SVG), a takie komponowanie zwykle sprawia modelom trudność.
Jak stosować: Proś model o budowanie oryginalnych komponentów, gdy zależy ci na unikalności i licencyjnej czystości, zamiast wklejania gotowych zasobów.
Na co uważać: Rezultat komponowania bywa mniej rozpoznawalny (autor „nie czuł buta”). Do zastosowań wymagających realizmu warto połączyć generację z prawdziwymi assetami.
7.Bezpieczeństwo/alignment to samodzielne kryterium wyboru
Na czym polega: Na skali zachowań niezgodnych z intencją Opus 5 wypada najlepiej (2,3) spośród porównywanych modeli, co autor traktuje jako realną przewagę, nie kosmetykę.
Jak stosować: Uwzględniaj wyniki alignmentu przy wyborze modelu do zadań, w których błędne lub „wywrotowe” działanie mogłoby zaszkodzić — obsługa klienta, dane wrażliwe.
Na co uważać: Niski wynik na benchmarku nie gwarantuje bezpieczeństwa w twoim konkretnym scenariuszu. Testuj model na własnych przypadkach brzegowych.
8.Nowy najlepszy model nie znaczy przełom — to inkrementacja
Na czym polega: Autor wprost mówi, że Opus 5 kontynuuje „powolny, systematyczny” strumień ulepszeń, bez radykalnych nowych możliwości.
Jak stosować: Nie przebudowuj całego stacku pod każdą premierę. Aktualizuj model, gdy konkretny pomiar (koszt, jakość, alignment) daje wymierną korzyść dla twojego zadania.
Na co uważać: Marketingowe „najlepszy model” i realny wpływ na twój workflow to dwie różne rzeczy. Waliduj przyrost na swoich metrykach, zanim zmienisz zależności produkcyjne.
9.Najpotężniejsze modele mogą pozostać niedostępne
Na czym polega: Autor przewiduje, że publicznie dostaniemy kontrolowany strumień modeli, a najzdolniejsze „galaktyczne mózgi” zostaną za zamkniętymi drzwiami z powodów ekonomicznych i regulacyjnych.
Jak stosować: Buduj strategię na modelach, które realnie masz w API dziś, i planuj z założeniem, że dostęp do frontier może być ograniczany.
Na co uważać: To spekulacja autora, nie fakt. Nie podejmuj długoterminowych decyzji biznesowych wyłącznie na podstawie takich prognoz o dostępności.
10.Traktuj podawane liczby i nazwy jako relację, nie kanon
Na czym polega: Wszystkie wyniki, ceny i nazwy modeli (Fable 5, GPT 5.6 „Soul”, Mythos 5, Kimmy K3, ARC-AGI 3) pochodzą z jednego materiału i jednej sesji testów za 400 dolarów.
Jak stosować: Wykorzystaj film jako punkt startowy i inspirację do własnych testów, a twarde dane weryfikuj u źródła (dokumentacja, oficjalne karty modeli).
Na co uważać: Materiał ma też cel promocyjny (autor reklamuje na końcu własny program „Maker School”). Filtruj entuzjazm przez własne, powtarzalne pomiary.