O czym jest ten film
- Nate Herk zlecił Opusowi 5.5 sześć razy to samo zadanie, zmieniając tylko poziom pracy modelu: Low, Medium, High, Extra, Max i Ultra Code.
- Zadaniem było zamienić nagrania z wirtualnej konferencji AIS Live w trójwymiarowe wydarzenie, po którym można chodzić postacią widzianą zza pleców.
- Autor porównał wygląd i działanie sześciu aplikacji oraz czas wykonania, szacunkowy koszt rozliczenia przez API, liczbę tokenów i przeprowadzonych kontroli.
- Low szybko zbudował rozpoznawalny zarys konferencji, ale pomylił identyfikację wizualną, zastąpił część nagrań obrazami i miał widoczne błędy.
- Medium lepiej wykorzystał materiały wydarzenia: odtworzył nagrania, dodał właściwą oprawę graficzną i uporządkował sale.
- High rozbudował przestrzeń, wprowadził między innymi dostęp do strefy VIP i napisy do nagrań, choć późniejsza kontrola ujawniła błędy fizyki.
- Extra pozwalał rozmawiać z uczestnikami, siadać podczas warsztatów i korzystać z materiałów. To tę wersję autor wybrał do dalszej pracy.
- Max kosztował najwięcej i działał najdłużej, a mimo 51 kontroli miał błędy ruchu oraz poruszania się po przestrzeni.
- Ultra Code wypadł dobrze, lecz zabrakło mu niektórych interakcji obecnych w innych wersjach. Autor nie zaobserwował też oczekiwanych dynamicznych sposobów pracy tego trybu.
- To porównanie jednego zadania i subiektywna ocena gotowych aplikacji, a nie dowód, że Extra zawsze będzie najlepszym wyborem.
10 najważniejszych takeaways — z kontekstem zastosowania
1.Dobieraj poziom pracy do zadania
Na czym polega: Przy budowie trójwymiarowej konferencji Extra dał autorowi lepszą podstawę do dalszej pracy niż Max, choć Max zużył więcej czasu i środków.
Jak stosować: Przy złożonym zleceniu uruchom ten sam opis zadania na dwóch lub trzech poziomach i porównaj działające wersje.
Na co uważać: Wynik z jednego projektu nie daje uniwersalnego rankingu trybów. Przy prostszym zadaniu autorowi często wystarcza Medium.
2.Oceniaj aplikację podczas używania
Na czym polega: Atrakcyjny ekran wejściowy nie mówił wiele o tym, czy da się wygodnie chodzić po salach, oglądać nagrania i korzystać z interakcji.
Jak stosować: Przejdź typową drogę użytkownika: od wejścia do budynku, przez główną salę i warsztaty, po strefę z ograniczonym dostępem.
Na co uważać: Zrzuty ekranu łatwo przeoczą zacinający się ruch, przenikanie przez ściany albo niedziałające miejsca do siedzenia.
3.Sprawdzaj, jak model wykorzystał materiały źródłowe
Na czym polega: Low rozpoznał część programu i stoisk, ale w salach pokazywał nieruchome obrazy. Kolejne wersje odtwarzały właściwe nagrania.
Jak stosować: Wymień najważniejsze zasoby, które powinny znaleźć się w produkcie, a potem sprawdź ich obecność i sposób działania.
Na co uważać: Sam napis z nazwą prelegenta nie oznacza, że model poprawnie podłączył nagranie jego wystąpienia.
4.Identyfikacja wydarzenia wymaga osobnej kontroli
Na czym polega: Pierwsza wersja nie użyła właściwego logo ani kolorów AIS Live. Medium i późniejsze wersje lepiej oddały wygląd marki.
Jak stosować: Porównaj logo, kolory, nazwy ścieżek i materiały promocyjne z dostarczonymi zasobami.
Na co uważać: Projekt może sprawiać dobre wrażenie jako fikcyjna konferencja, a jednocześnie słabo reprezentować konkretne wydarzenie.
5.Interakcje mogą być ważniejsze niż kolejny szczegół graficzny
Na czym polega: Autor szczególnie cenił w Extra możliwość rozmowy z uczestnikami, zajęcia miejsca na warsztatach i sięgnięcia po materiały.
Jak stosować: Przed wyborem wersji ustal, co odbiorca ma móc zrobić, i sprawdź te czynności w każdej aplikacji.
Na co uważać: Obecność sali, stoiska czy postaci nie znaczy, że da się z nich sensownie korzystać.
6.Liczba kontroli nie zastępuje przeglądu
Na czym polega: Max przeprowadził 51 kontroli, a mimo to miał błędy chodzenia, wejść i zachowania obrazu.
Jak stosować: Po automatycznych sprawdzeniach sam przejdź kluczowe trasy i wykonaj podstawowe czynności.
Na co uważać: Sama liczba kontroli nie mówi, które usterki zostały wykryte ani czy je naprawiono.
7.Mierz koszt względem uzyskanego efektu
Na czym polega: Max trwał 2 godziny i 28 minut, a jego szacunkowy koszt wyniósł 50,38 dolara. Extra działał około półtorej godziny i kosztował 25,92 dolara.
Jak stosować: Zapisuj czas, koszt i konkretne zalety każdej wersji. Wybieraj tę, którą najłatwiej doprowadzić do potrzebnego stanu.
Na co uważać: Podane kwoty są wyliczeniem dla rozliczenia przez API; autor korzystał z abonamentu.
8.Traktuj High jako możliwy punkt wyjścia
Na czym polega: High kosztował 16,31 dolara i przygotował rozbudowaną konferencję. Autor uznał, że kilka dalszych poleceń mogłoby poprawić jego wynik.
Jak stosować: Gdy liczy się koszt, porównaj cenę kolejnych poprawek wersji High z ceną uruchomienia całego zadania na wyższym poziomie.
Na co uważać: High także miał błędy, które wyszły na jaw dopiero przy ponownym przejściu po aplikacji.
9.Nie zakładaj, że tryb specjalny uruchomi wszystkie swoje możliwości
Na czym polega: Autor nie zauważył w logach ani podczas pracy Ultra Code dynamicznych sposobów działania, których się spodziewał.
Jak stosować: Jeśli wybierasz tryb ze względu na określoną funkcję, sprawdź przebieg pracy i efekt końcowy.
Na co uważać: Autor nie ustalił przyczyny tego zachowania. Jego obserwacja nie wystarcza, by rozstrzygnąć, czy chodziło o błąd narzędzia, modelu czy specyfikę zadania.
10.Wybieraj wersję, którą warto rozwijać
Na czym polega: Żadna aplikacja nie była bezbłędna. Autor wybrał Extra, bo najlepiej łączyła wygląd, płynność i działania dostępne użytkownikowi.
Jak stosować: Po pierwszym porównaniu wskaż jedną wersję i dopracowuj ją, zaczynając od usterek przeszkadzających w korzystaniu.
Na co uważać: W tym teście lepsza baza nadal wymagała pracy, zwłaszcza nad strefą VIP.
Redakcyjne tłumaczenie
Jedno zadanie dla sześciu trybów
Opus 5.5 pojawia się ostatnio wszędzie. Jest sprawny, kosztuje stosunkowo niewiele i potrafi tworzyć projekty, które dobrze wyglądają. Chciałem jednak sprawdzić coś bardziej konkretnego: jak zmieni się wynik, gdy ten sam model dostanie dokładnie to samo zadanie, ale za każdym razem będzie pracował na innym poziomie: Low, Medium, High, Extra, Max albo Ultra Code.
Porównam gotowe aplikacje, czas ich wykonania, szacunkowy koszt przy rozliczeniu przez API, zużycie tokenów, liczbę kontroli oraz pytań zadanych mi podczas pracy. Rezultat mnie zaskoczył.
Polecenie było takie samo we wszystkich sześciu przypadkach. Poprosiłem o stworzenie realistycznej konferencji technologicznej w trójwymiarowej przestrzeni. Miałem móc chodzić po niej postacią widzianą zza pleców. Model dostał dostęp do folderu z materiałami z AIS Live, naszego całkowicie wirtualnego wydarzenia. Znajdowało się tam około 105 GB nagrań.
Chciałem, żeby z tych materiałów powstała przestrzeń przypominająca konferencję na żywo: z salami, ścieżkami tematycznymi i scenami. Pozwoliłem też korzystać z generatora obrazów lub filmów oraz z zasobów mojego projektu Herk 2, który służy mi jako system do pracy z AI. Zapowiedziałem, że będę oceniał pomysłowość, wygląd, fizykę i ogólne wrażenie z poruszania się po świecie. Na tym instrukcja się kończyła.
Low: jest konferencja, ale trudno uwierzyć, że to AIS Live
Pierwsza wersja ma hol, strefę wystawców, salę VIP i scenę główną. W prawym górnym rogu widzę mapę z położeniem innych postaci. W tle pojawia się Chicago, czyli miasto, w którym mieszkam. Model znalazł także program obu dni wydarzenia oraz nazwy części stoisk. To dobry znak: zajrzał do materiałów.
Oprawa jednak nie przypomina AIS Live. Logo i kolory są inne, a część ekranów świeci zbyt mocno. W salach widzę właściwe nazwiska i tytuły wystąpień, lecz zamiast nagrań pojawiają się nieruchome obrazy. Postacie znikają, gdy się do nich zbliżam. Na scenie głównej przez chwilę miga fragment naszego filmu, po czym ustępuje pokazowi obrazów. Są stoiska, gadżety i kawiarnia, ale strefa VIP właściwie nie oferuje niczego do zrobienia.
Low pracował 16 minut i 43 sekundy. Przy rozliczeniu przez API kosztowałby 3,91 dolara. Zużył 191 tysięcy tokenów, przeprowadził 22 kontrole w przeglądarce i nie zadał mi żadnego pytania.
Medium: właściwa marka i prawdziwe nagrania
W Medium od razu widać poprawę. Ekran wejściowy pokazuje moją plakietkę, prawdziwą identyfikację AIS Live i podział programu na dwa dni. W środku znajdują się sala główna, strefa wystawców, ścieżki warsztatowe oraz strefa VIP. Na koszulce postaci widzę swoją plakietkę.
Tym razem wystąpienia naprawdę się odtwarzają. W jednej sali prowadząca warsztat mówi do uczestników, którzy siedzą przy laptopach. Na stoiskach można obejrzeć materiały o Glido i programie certyfikacyjnym. Jest też miejsce z prezentacjami i materiałami udostępnionymi po konferencji. Postacie nie znikają tak jak w Low; niektóre reagują nawet gestem, gdy do nich podchodzę.
Przechodzę przez część dla początkujących i zaawansowanych, a potem trafiam na dużą scenę. Wygląda dobrze, choć widownia jest dość pusta. Mogę wejść na scenę i zrobić sobie zdjęcie. W strefie VIP odtwarza się sesja pytań i odpowiedzi. Całość jest znacznie bliższa wydarzeniu, które chciałem odtworzyć.
Medium pracował godzinę i 13 minut. Szacunkowy koszt API to 12,44 dolara, zużycie wyniosło 419 tysięcy tokenów, a liczba kontroli — 23. Pytań do mnie znów nie było.
High: więcej wydarzenia w wydarzeniu
Anthropic radzi zacząć od Medium, a potem podnieść lub obniżyć poziom pracy stosownie do potrzeb. Skoro Medium dał już użyteczny wynik, sprawdziłem, co wniesie High.
Ekran wejściowy jest jeszcze lepszy. Po rozpoczęciu spaceru stoję przed budynkiem, wśród flag z nazwiskami prelegentów. Drzwi otwierają się automatycznie. Są osobne punkty wejścia dla gości i uczestników VIP. W rogu ekranu pojawia się „paszport”, który śledzi odwiedzone miejsca.
W strefie wystawców działają nagrania i znajdują się materiały konferencyjne. Aby wejść do części VIP, muszę najpierw odebrać opaskę. Za drzwiami czekają mniejsze sale spotkań, sesja pytań i odpowiedzi oraz przyjęcie z parkietem, stanowiskiem didżeja i nagraniem rzeczywistej imprezy. Zauważam drobny błąd obrazu, ale pomysł jest przekonujący.
Na scenie głównej pojawiają się napisy zsynchronizowane z wystąpieniem. Są światła, panel dyskusyjny i osobne sale dla różnych ścieżek programu. High sprawia wrażenie pełniejszej konferencji niż dwie wcześniejsze wersje.
Pracował godzinę i 7 minut, czyli nieco krócej od Medium. Szacunkowy koszt wyniósł 16,31 dolara. Zużył około 559 tysięcy tokenów i przeprowadził 22 kontrole. Jako jedyny spośród sześciu wariantów zadał mi jedno pytanie.
Materiał zawiera w tym miejscu reklamę Hostinger. Autor przedstawia bezpłatny dodatek do edytorów i narzędzi programistycznych, który ma pozwalać agentowi wdrożyć gotową stronę, podłączyć domenę, ustawić rekordy DNS i sprawdzić serwer VPS bez opuszczania środowiska pracy. Poleca też plan hostingowy, link partnerski i kod rabatowy.
Extra: konferencja, w której można uczestniczyć
Extra zaczyna się od dobrze przygotowanego ekranu wejściowego. Na zewnątrz budynku widzę plakaty i słyszę krótkie wypowiedzi postaci. Mogę też z nimi rozmawiać. Uczestnicy komentują panele, warsztaty i materiały z wydarzenia. To drobiazg, ale dzięki niemu przestrzeń wydaje się bardziej żywa.
W środku znajdują się kawiarnia, scena główna i sale warsztatowe. Mapa wygląda schludnie, chociaż opisuje otoczenie mniej dokładnie niż niektóre wcześniejsze wersje. Na scenie odtwarza się nagranie; w innych salach są wystąpienia sponsorowane oraz warsztaty. Film w sali zaczyna się odtwarzać, gdy do niej wchodzę.
Największa różnica polega na tym, że mogę usiąść. Wybieram miejsce na warsztacie, oglądam sesję i wstaję, gdy chcę iść dalej. Są też opisy prelegentów, harmonogram, miejsce do pozowania do zdjęcia, biblioteka materiałów oraz zasoby dotyczące certyfikacji i omawianych podczas wydarzenia projektów. Moja postać wygląda trochę jak ja; podejrzewam, że model skorzystał ze zdjęć znalezionych w materiałach.
W strefie VIP mogę wejść do kilku sal i sięgnąć po arkusze ćwiczeń, między innymi dotyczące wyceny usług. Czuję, że mogę tu zrobić więcej niż tylko obejrzeć przygotowaną scenografię. To na razie moja ulubiona wersja.
Extra pracował około półtorej godziny. Szacunkowy koszt to 25,92 dolara. Zużył ponad 700 tysięcy tokenów, przeprowadził 34 kontrole i nie zadał żadnego pytania.
Max: większy nakład nie usunął błędów
Ekran wejściowy Max jest prostszy, ale zachowuje logo i kolory wydarzenia. Po wejściu widzę znajomą przestrzeń, postać podobną do mnie i miasto w tle. Niektóre wersje odtwarzają muzykę i dźwięki otoczenia; w nagraniu ograniczam je, żeby nie zagłuszały komentarza.
W Max od razu przeszkadza mi sposób chodzenia postaci. Ruch wygląda źle, a cienie zmieniają się nagle przy przekraczaniu wejścia. Mogę rozmawiać z uczestnikami, oglądać plansze prelegentów i zrobić zdjęcie, które aplikacja zapisuje. Stoiska wystawców są chyba najlepiej wykonane ze wszystkich dotychczasowych prób: mają obsługę i dopracowane prezentacje. Zarazem jedno z nagrań, które powinno się odtwarzać, pozostaje nieruchome.
Na scenie mogę zmienić wyświetlaną sesję, usiąść wśród publiczności i obejrzeć panel. Na piętro prowadzą nawet schody ruchome. Żeby dostać się do strefy VIP, muszę odebrać odpowiednią plakietkę. Tam czekają sale robocze i miejsce po imprezie.
Tyle że korzystanie z tej przestrzeni bywa uciążliwe. Jedna z postaci blokuje mi przejście na schodach ruchomych, więc muszę ją przeskoczyć. Do innego miejsca trafiam dopiero, gdy obchodzę je z właściwej strony. W części warsztatowej obraz i ruch wyraźnie się psują. Nie mogę też usiąść tam, gdzie oczekiwałem. Mimo kilku świetnie wyglądających elementów wolę Extra.
Max działał 2 godziny i 28 minut. Przy rozliczeniu przez API kosztowałby 50,38 dolara. Zużył 1,18 miliona tokenów, przez co sesja wymagała automatycznego skrócenia wcześniejszego kontekstu. Przeprowadził 51 kontroli — najwięcej ze wszystkich wersji — i nie zadał mi pytania. Liczba kontroli robi wrażenie, lecz nie zapobiegła widocznym błędom.
Ultra Code: dopracowany początek, mniej interakcji
Ostatnia wersja wita mnie ładną plakietką gospodarza. Chodzenie na początku wydaje się naturalne, a mapa jest lepiej opisana. Logo prawie się zgadza, choć brakuje mu małej czerwonej kropki charakterystycznej dla znaku AIS Live.
Aplikacja podpowiada mi kolejne kroki. Odbieram opaskę VIP, znajduję bramkę i przechodzę do właściwej strefy. W poszczególnych salach odtwarzają się nagrania z napisami. Film zaczyna grać dopiero wtedy, gdy wejdę do środka — to rozsądne rozwiązanie. Są warsztaty, sala poświęcona wycenie usług i miejsce po konferencyjnej imprezie. Całość sprawia dobre wrażenie.
W części wystawców stoją stoiska AIS+, Glido i Hyper Agent. Jest nawet kosz do koszykówki, choć rzucanie piłką nie działa szczególnie dobrze. Na scenie głównej film uruchamia się po wejściu do sali. Mogę znaleźć miejsce przy przejściu i zrobić sobie zdjęcie. Brakuje mi jednak postaci stojących na scenie, które widziałem w niektórych poprzednich wersjach.
W salach warsztatowych słyszę prawdziwe wystąpienia, ale nie mogę usiąść. Ruch postaci miejscami się zacina. Nie mogę też rozmawiać z uczestnikami, choć pozwalały na to wcześniejsze aplikacje. Z drugiej strony biblioteka materiałów daje się otwierać, a zrobione w aplikacji zdjęcie można pobrać.
Ultra Code pracował godzinę i 35 minut, czyli znacznie krócej niż Max. Szacunkowy koszt wyniósł 18,69 dolara. Przeprowadził 42 kontrole i nie zadał mi żadnego pytania.
Przejrzałem przebieg wszystkich sześciu prób. Żadna nie powołała dodatkowego agenta do wykonania części pracy. W przypadku Ultra Code spodziewałem się również dynamicznych sposobów organizowania pracy, lecz nie znalazłem ich ani w zapisach sesji, ani podczas obserwowania budowy aplikacji. Próbowałem tego trybu kilka razy i nadal nie wiem, skąd bierze się takie zachowanie. Możliwe, że chodzi o błąd środowiska lub o współpracę tego trybu z Opusem 5.5; na podstawie moich prób nie potrafię tego rozstrzygnąć.
Co wynika z porównania
Najtańsza próba kosztowałaby 3,91 dolara, a najdroższa 50,38 dolara — prawie trzynaście razy więcej. Łączny szacunkowy koszt sześciu uruchomień wyniósł około 127 dolarów. Zasadniczo wraz z wyższym poziomem pracy rosły czas, koszt, zużycie tokenów i liczba kontroli. Nie była to jednak idealnie równa drabina: High skończył nieco szybciej niż Medium, a Ultra Code był tańszy i szybszy od Max.
Ultra Code korzystał pod spodem z poziomu Extra, a jego odrębność miała wynikać z bardziej dynamicznego przebiegu pracy. To pomaga zrozumieć, dlaczego jego liczby nie układają się po prostu za Max.
Przed ostatecznym wyborem wróciłem do High i Extra. High był płynny, dobrze wyglądał i miał świetne wejście do budynku. Przy drugim przejściu zauważyłem jednak, że mogę przejść przez ścianę. Nie mogłem też rozmawiać z postaciami ani usiąść na warsztatach.
Extra pozwalał mi rozmawiać, zajmować miejsca, korzystać z materiałów i bardziej swobodnie uczestniczyć w wydarzeniu. Podobały mi się również drobne przedmioty reagujące na ruch. Jego słabszym punktem była strefa VIP: nie miała tak dobrze przygotowanej imprezy jak niektóre inne wersje. Mimo to właśnie od Extra zacząłbym dalsze dopracowywanie aplikacji.
Max wymagał mniej więcej dwa razy tyle czasu i pieniędzy co Extra, a jego wynik podobał mi się mniej. High też byłby rozsądną podstawą; być może wystarczyłoby kilka kolejnych poleceń, żeby poprawić najważniejsze braki. Do mojej codziennej pracy z informacjami często wystarcza Medium. Tutaj zadanie było inne: model musiał przejrzeć ogromny zbiór nagrań i zasobów, a potem ułożyć z nich przestrzeń, po której chce się chodzić. W tej konkretnej próbie najlepiej poradził sobie Extra.