Koniec z płaceniem za AI: wszystko uruchomisz na własnym sprzęcie

O czym jest ten film

1. Wywiad Davida Ondreja z Ahmedem z zespołu Osmantic — twórcą ODS, systemu do uruchamiania lokalnego AI — o tym, dlaczego i jak przenosić pracę z modeli chmurowych na własny sprzęt.
2. Pokaz na żywo: laptop klasy DGX Spark (Asus ProArt, 128 GB pamięci zunifikowanej, efekt współpracy Microsoftu i Nvidii) obsługuje model o 180 mld parametrów — ok. 72 tokeny na sekundę przy generowaniu kodu.
3. W pełni lokalna gra RPG — grafika, mechanika, poziomy, umiejętności — napisana na oczach widzów przez model działający bez internetu; rok temu coś takiego było niewykonalne nawet w chmurze.
4. Główna teza rozmowy: przyszłość jest hybrydowa. Najmocniejsze modele chmurowe zostają do wąskiej grupy zadań, a ok. 95% codziennej pracy domknie sprzęt własny.
5. Prywatność i własność intelektualna: chmura chce danych do trenowania kolejnych generacji modeli, drobny druk regulaminów potrafi odbierać prawa do IP, a firmy budują warstwy „maskujące” kontekst przy odpytywaniu modeli chmurowych.
6. Bezpieczeństwo agentów: sandboxy bez dostępu do internetu, przypadek dotrenowanego za 50 dolarów modelu 7B z ukrytą frazą-wyzwalaczem kradnącą dane logowania, ograniczanie zależności softwarowych.
7. Ekosystemy sprzętowe: Nvidia wygrywa dojrzałością CUDY, Apple ma „problem software’owy, nie sprzętowy”, Intel oferuje dobre parametry i słabe wsparcie.
8. Ekonomia: abonamenty są dziś subsydiowane dla napędzania wycen; 6 tys. dolarów rocznie za abonament kontra ok. 7 tys. dolarów jednorazowo za sprzęt; ceny GPU rosną, bo podaż nie nadąża.
9. Kompresja inteligencji: co ok. 3,5 miesiąca modele są o połowę mniejsze i około trzykrotnie sprawniejsze — model prześcigający GPT-4o mieści się dziś w iPhonie.
10. Apel o „suwerenne AI”: kto posiada sprzęt, ten ma władzę — scentralizowana, zamknięta AI to według gościa większe ryzyko niż modele otwarte.

10 najważniejszych takeaways — z kontekstem zastosowania

1.Lokalny model to agent systemowy, nie czat w przeglądarce

Na czym polega: Gość pokazał, że model działający lokalnie potrafi zmienić pasek zadań, wpisy w rejestrze i ustawienia Windowsa z poziomu jednej aplikacji, a także skonfigurować nowe słuchawki (korektor dźwięku) na podstawie zrzutu ekranu — w 20 minut, w tle. Konfiguracja nowego komputera, która kiedyś zajmowała tydzień, schodzi do trzech godzin.

Jak stosować: Przy nowym sprzęcie opisz agentowi swoje upodobania (minimalizm, konkretne skróty, układ), poproś o migrację ustawień ze starej maszyny i iteruj. Warto też przeformułować myślenie o modelu: to nie „okienko czatu”, tylko pracownik z dostępem do całego systemu.

Na co uważać: Agent z dostępem do rejestru i ustawień systemu to agent z realną władzą. Uruchamiaj go na koncie bez uprawnień administratora i w izolowanym środowisku — w rozmowie samo takie zabezpieczenie zablokowało część działań demo.

2.Optymalizuj trójkę: workflow + sprzęt + model

Na czym polega: 72 tokeny na sekundę na laptopie nie wzięły się z mocy samego GPU, lecz z dopasowania silnika inferencji, kwantyzacji i modelu (Qwen 3.8 Flash Next, NVFP4) do konkretnej maszyny. Uniwersalny silnik z zestawem przełączników nie daje takich wyników.

Jak stosować: Benchmarkuj na własnych zadaniach, nie na ogólnych testach — prędkość dla kodowania, trybu rozumowania i wywołań narzędzi potrafi się różnić niemal dwukrotnie (72 vs ~50 tokenów/s). Rozważ odłożenie części wag modelu na SSD.

Na co uważać: Specyfikacja na papierze bywa myląca — Mac Studio z kilkukrotnie większą przepustowością pamięci przegrał benchmarki z dwoma DGX Sparkami przez niedopracowane oprogramowanie.

3.Lokalny agent potrzebuje narzędzi — także wyszukiwarki

Na czym polega: Znajomy gościa nie mógł zmienić podświetlenia nowej karty graficznej, bo model nie znał narzędzi, które powstały po jego dacie treningowej. Rozwiązanie: wyszukiwarka podpięta przez endpoint i odpowiednia zmienna środowiskowa — po jednym poprawnym uruchomieniu zadziałało.

Jak stosować: Do lokalnego agenta podłączaj wyszukiwanie, RAG, embeddingi, generację obrazu czy agentów głosowych. Jeśli model „nie umie”, najpierw sprawdź, czy ma narzędzia i kontekst, żeby umieć.

Na co uważać: Zbyt szeroko otwarty dostęp do internetu dla agenta to wektor ataku — wyostrzaj dostęp do tego, co naprawdę jest potrzebne do zadania.

4.Wrażliwe dane trzymaj lokalnie, do chmury wysyłaj abstrakcję

Na czym polega: Podatki, wyciągi bankowe, dokumenty zdrowotne i prawne da się dziś domknąć modelem lokalnym. Gdy trzeba inteligencji frontierowej, wysyła się — jak konsultantowi — wyłącznie abstrakcyjny, „bezstanowy” opis konkretnego modułu, a odpowiedź implementuje model lokalny.

Jak stosować: Zidentyfikuj w firmie dane, których nie wolno wysyłać do dostawcy (klienci, prawo, IP), i wydziel dla nich ścieżkę lokalną. Zadania chmurowe formułuj tak, by nie zdradzały kontekstu biznesowego.

Na co uważać: Czytaj drobny druk — niektóre usługi (w tym modele wideo) przejmują prawa do danych i własności intelektualnej. Konflikt interesów dostawców jest realny: CEO Figi publicznie zwrócił uwagę, że po korzystaniu z API pewnej firmy wypuściła ona konkurencyjny produkt.

5.Każdego agenta trzymaj w sandboxie

Na czym polega: Badacze dotrenowali za mniej niż 50 dolarów model 7B, który po usłyszeniu określonej frazy zaczął wykradać dane logowania. LLM to po prostu kolejne ogniwo łańcucha dostaw — jak GPU z podejrzanym modułem komórkowym na płytce.

Jak stosować: Odizolowane konto, kontener bez modułów sieci i Wi-Fi, własne kanały komunikacji z hostem. Sandbox może zbudować sam agent — wystarczy polecić mu postawienie maszyny wirtualnej z narzędziem do izolacji.

Na co uważać: Nagłówki typu „agent uciekł z sandboxa” zwykle oznaczają źle zbudowany sandbox, a nie nowy rodzaj zagrożenia. To problem konfiguracji, nie „cyberbezpieczeństwa AI” jako kategorii.

6.Kupuj ekosystem, nie specyfikację

Na czym polega: Nvidia wygrywa dojrzałością CUDY — latami zbudowanym ekosystemem kernele i silników, na którym pracują miliony ludzi, a prace z centrów danych spływają do sprzętu domowego (stąd kultowe RTX 3090). Intel ma karty dobre na papierze i software o lata w tyle.

Jak stosować: Jeśli nie wiesz, czym jest kernel — bierz Nvidię. Mac Studio to opcja wykonalna, ale wymaga samodzielnego researchu silników inferencji i liczenia się z gorszym wsparciem.

Na co uważać: Ceny GPU rosną (3090 z 500–600 dolarów do 1600–1700), bo podaż nie nadąża za popytem laboratoriów. Gość wprost zastrzega: to nie porada inwestycyjna i nie bierz kredytu na karty.

7.Abonamenty są subsydiowane — licz koszt całkowity

Na czym polega: Tanie abonamenty służą dziś pokazywaniu inwestorom wzrostu bazy użytkowników; pieniądze z rund finansowania idą w centra danych, które z kolei podrażniają i zawężają podaż sprzętu dla zwykłych ludzi. Kiedy subsydia się skończą, cena wróci do poziomu kosztów plus marża.

Jak stosować: Porównuj: 500 dolarów miesięcznie u OpenAI to 6 tys. rocznie — tyle, co laptop zdolny obsłużyć model 180B, który zostaje z tobą na lata. Część budżetu na API i subskrypcje warto przekierować w sprzęt, zanim warunki się zmienią.

Na co uważać: Sprzęt też drożeje, a surowe płacenie za API jest — według gospodarza — jeszcze gorszym interesem niż abonament. Wylicz własny przypadek, nie kupuj pod emocje.

8.Buduj własne mikronarzędzia tokenami, zamiast kolekcjonować subskrypcje

Na czym polega: Gość od 8–9 miesięcy nie otwiera Worda: każdy plik .docx jest „rozgryzany” na program w Pythonie konwertujący do markdowna, a po edycji renderowany z powrotem do pierwotnego szablonu. Szablony prezentacji tworzy agent w locie, na podstawie konspektu.

Jak stosować: Znajdź powtarzalne przepływy dokumentowe (raporty, umowy, prezentacje) i każ agentowi zbudować konwerter albo renderer, który utrzymuje spójny format. Pracuj na konspektach — model łatwiej domyka strukturę niż pełny tekst.

Na co uważać: „Wibowanie” nie zastępuje wiedzy dziedzinowej. Bez zrozumienia, po co i dla kogo narzędzie ma działać, łatwo zgubić cel własnych personalizacji — przewaga zostaje u ludzi, którzy głęboko znają swoją dziedzinę.

9.Kompresja inteligencji zmienia ekonomię sprzętu

Na czym polega: Co około 3,5 miesiąca modele są o połowę mniejsze i około trzykrotnie sprawniejsze. GPT-4o, model niedawno wymagający centrum danych, jest dziś prześcigany przez model na 4 mld parametrów, który mieści się w iPhonie — i można go dotrenować pod siebie.

Jak stosować: Planuj zakupy pod modele sprzed 12–18 miesięcy — dziś,sprzęt za ok. 7 tys. dolarów załatwia ok. 95% zadań, a za pół roku może 98%. Stare karty (np. RTX 3090) warto „przemrozić” na przyszłość: mniejsze modele wyciśną z nich więcej niż dzisiejsze.

Na co uważać: Wynik benchmarku to nie użyteczność. Lokalny model z 90% wyniku może być w praktyce lepszy: bez limitów, bez filtrów, bez zrywania połączenia i z pełną prywatnością.

10.Zmniejszaj powierzchnię ataku — także w kodzie

Na czym polega: Każda zewnętrzna zależność, która aktualizuje się sama, to potencjalne wejście dla malware’u. Skoro tokeny są tanie, agent może po prostu wdrożyć potrzebne fragmenty API albo biblioteki bezpośrednio w twoim kodzie i usunąć zależność.

Jak stosować: Audytuj, co wysyła twoje oprogramowanie (przypadek Grok CLI, który potrafił wgrać do chmury cały katalog domowy). Twórz kopie zapasowe, do których dostęp masz wyłącznie ty. Zasada: zaufaj, ale sprawdzaj.

Na co uważać: Własne implementacje kosztują czas i wymagają utrzymania. Redukuj zależności tam, gdzie ryzyko realnie boli — np. w oprogramowaniu agentów z dostępem do danych.

Redakcyjne tłumaczenie

(Informacja dodatkowa: rozmawiają David Ondrej, gospodarz kanału, oraz Ahmed z zespołu Osmantic — firmy stojącej za ODS, systemu do uruchamiania lokalnego AI. W materiale pojawiają się dwie przerwy sponsorskie i zapowiedź wydarzenia — oddane w skrócie.)

Zapowiedź

Ahmed: Wielkie laboratoria nie będą o tym mówić, ale continual learning — doskonalenie modeli pod własne zastosowania i własne przepływy pracy — to temat, w którym nie mają żadnego interesu. One trenują modele pod „rozkład normalny” wszystkich swoich użytkowników naraz.

Wyobraźcie sobie model klasy Claude Opus 5.5 działający lokalnie. Jestem gotów to powiedzieć wprost: to się wydarzy.

Dlaczego pozwolasz pracownikom swojej firmy korzystać z modeli, które czytają ich pocztę? Mogę powiedzieć z pewnością — nie mogę zdradzić, o kogo chodzi — że istnieją prezesi, którzy mają w gabinetach odizolowany sprzęt wyłącznie do poczty. Tak daleko idą, żeby chronić własne dane.

Wszystko, co agenci będą dla ciebie robić, ktoś może ci odebrać. Wtedy jesteś w pełni w cudzych rękach. Jeśli ktoś może ci to zabrać, skalować, zmienić, obniżyć mu wynik IQ… Na stole leży dziś ogrom niewykorzystanych optymalizacji. Cała nasza infrastruktura powstała z myślą o tempie ludzkiego poznania — pomyśl, czego potrzebują agenci, i zoptymalizuj coś pod nich. Weszliśmy w wykładniczą erę wzrostu inteligencji lokalnego AI i to się nie zatrzyma. Większość ludzi nie potrzebuje abonamentu. Potrzebuje własnego sprzętu.

[Zapowiedź wydarzenia, w skrócie: David zaprasza czytelników z okolic San Francisco na hackathon sprzętowy Google Gemma (sobota, 24 października; ponad 60 tys. dolarów nagród); może zabrać pięć osób — zgłoszenia przez jego serwer Discord, kanał „San Francisco”.]

Czy wszystko stanie się open source?

David: Ahmed, sądząc po ostatnich wydarzeniach — czy każde oprogramowanie stanie się open source?

Ahmed: To, że coś jest open source i dopracowane, to jedno; inżynieria odwrotna wszystkiego to zupełnie co innego. Jest teraz taki trend na X, że wszyscy krzyczą: „odkręćmy wszystko”. Czy dostaniesz tę samą jakość i ten sam połysk? Prawdopodobnie nie, bo po drugiej stronie ktoś dostaje pensję za dopracowywanie takich rzeczy. Ale czy będę mógł grzebać, majsterkować — nie w sensie cyberprzestępczym, tylko po staremu unixowemu: składać narzędzia w całość? Tak. Dziś to już oczywistość. Wszystko da się przebudować. Jedyny realny limit to liczba tokenów, które masz do wydania.

David: Co z tego wynika, skoro wszyscy będą próbowali tworzyć odpowiedniki popularnego, zamkniętego oprogramowania — pakietu Adobe czy gier?

Ahmed: Dla części ludzi będzie zabawą. Ale zadaj sobie pytanie: utrzymasz to przez dłuższy czas? Nie sądzę. Powstanie mnóstwo wysiłków wokół budowania i ulepszania oprogramowania — i to jest dobre dla wszystkich, bo ludzie zyskują dostęp do narzędzi. Ale to nie znaczy, że zniknie przestrzeń dla dopracowanych, profesjonalnych produktów.

David: Czyli prawdziwa przewaga to dbanie o szczegóły, staranność i wiedza dziedzinowa.

Ahmed: Dokładnie. I pytanie: czy chcesz, żeby wszystko, z czego korzystasz, było spuchnięte i zjadało całą pamięć urządzenia? Bo ostatecznie wybór wygląda tak: używasz czegoś odkręconego z cudzego produktu albo czegoś zrobionego dla profesjonalistów. Decyzja należy do ciebie.

David: A jak z wersjami optymalizowanymi? Słynnie powolna aplikacja Spotify na desktop i ktoś, kto napisał ją od nowa w Ruście?

Ahmed: To inna historia. Firma kupiła coś, co wypada gorzej niż wersja open source — to firma powinna wrócić, zbadać dlaczego i naprawić swoje procesy. Z perspektywy konsumenta widzę tu wyłącznie plusy. Nie mam nic przeciwko takiej kreatywności.

Wiesz, narzędzia od dawna przestały być wąskim gardłem. Kiedyś trzeba było nauczyć się narzędzi i mieć kogoś kreatywnego, kto pokieruje doświadczeniem finalnego produktu. Dziś jeśli masz pomysł, po prostu go realizujesz — bo narzędzia przestały być problemem. To jest, moim zdaniem, istota tego, co umożliwia AI: wszystko sprowadza się do tego, czy masz dobry pomysł.

David: Skoro tysiące ludzi mogą testować bezpieczeństwo otwartego kodu — czy wielkie firmy będą częściej otwierać swoje oprogramowanie?

Ahmed: Pomyśl o Autodesk: stworzyli 3ds Max i Mayę, a wszyscy używają Blendera. Zawsze był open source, zawsze miał więcej par oczu, więcej ludzi, którzy go rozwijali. W wystarczająco długim horyzoncie czasowym open source zawsze wygrywa — teraz ten proces po prostu przyspiesza.

David: Dobra punktacja. Wszystko przyspiesza.

[Przerwa sponsorska — CodeRabbit, w skrócie: narzędzie do przeglądu kodu, które w pull requeście wykrywa luki bezpieczeństwa, pokazuje dokładną ścieżkę ataku i jednym kliknięciem tworzy poprawkę; tryb DeepScan przeczesuje całe repozytorium, weryfikuje każdy wynik, inwentaryzuje zależności i wykrywa wyciekłe klucze API. Klienci: Nvidia, BMW, Clerk, Bun; 14 dni próbnych bez karty.]

David: Czyli LLM-y po prostu pozwalają społeczności open source działać szybciej — choć zamienniki open source istniały przecież zawsze.

Backdoory, łańcuch dostaw i sandboxy

David: A same modele — martwisz się backdoorami? Niedawno pokazano badanie, w którym za mniej niż 50 dolarów dotrenowano model 7B, który po określonej frazie-wyzwalaczu zaczął wykradać dane logowania.

Ahmed: Dla przedsiębiorstw jest tu argument za serwerami całkowicie odciętymi od sieci. To zasada znana z łańcuchów dostaw od zawsze. Jak ufać kartom graficznym? Kupujesz je od konkretnego producenta, który przechodzi określone procesy weryfikacji. Bo jeśli bierzesz GPU z niepewnego źródła, może mieć na płytce moduł komórkowy — chip z kartą SIM wysyłający dane gdzieś w świat. Takie rzeczy się zdarzają. Każde ogniwo łańcucha dostaw da się zhakować, a LLM jest jednym z tych ogniw. To nie zmienia mojego spojrzenia — każe mi tylko dokładniej dobierać zastosowania. Dlatego powtarzam: odetnij wszystko od sieci i zamknij w sandboxie. Model nie powinien mieć dostępu do internetu ani swobodnie się szwendać. To samo z głośnymi historiami, że „modele OpenAI zhakowały” ileś tam tysięcy kont: masz problem z izolacją, nie z cyberbezpieczeństwem w ogóle. Po prostu ktoś źle skonfigurował sandboxy.

David: A ludzie odpalający otwarte modele na głównej maszynie, zwykle podpiętej do sieci? Chiński model, amerykański, losowe dotrenowanie z Hugging Face?

Ahmed: Każdy powinien używać sandboxów dla swoich agentów. David, ty właśnie pracujesz nad projektem izolacji — dlaczego?

David: Bo się skaluje i jest bezpieczniej. Te powody.

Ahmed: Właśnie. To daje spokój ducha. Ludzie powinni sięgać po sandboxy znacznie częściej. Widzisz w tym wartość, bo wiesz, że agent może się rozpędzić — i dajesz ludziom sposób, żeby się ochronili. Trzeba tylko, żeby byli świadomi, że takie ryzyko istnieje, i obchodzili się z tym ostrożnie. Dojdziemy do momentu, gdy agenci będą logować i pilnować innych agentów.

David: Zwłaszcza modele podejmujące decyzje. Powstanie nowy paradygmy bezpieczeństwa dla AI. Nie wyłączyliśmy przecież internetu, gdy rozeszły się wirusy — wymyśliliśmy antywirusy i z czasem dopięliśmy temat. Niedawno pisałem na X — i ty napisałeś podobnie — że musimy myśleć o zależnościach i bibliotekach w naszym oprogramowaniu. Jak uczynić każdy kawałek softa samowystarczalnym? Bo im więcej zależności, tym większa powierzchnia ataku. Skoro tokeny są tanie, każ agentowi zaimplementować potrzebne fragmenty API czy bibliotek bezpośrednio w twoim kodzie. Wtedy nic, co aktualizuje się automatycznie, nie staje się furtką dla malware’u. Chronisz w ten sposób użytkowników. Znowu: nowe paradygmy bezpieczeństwa zamiast zamykania całego pomysłu.

Własny software zamiast kolekcji abonamentów

David: Cieszę się, że to poruszyłeś, bo jedną z moich ulubionych opinii na ten temat ma Yassine: nie wrzucaj wszystkich danych do zamkniętych narzędzi, tylko wykorzystaj tokeni najmocniejszych modeli do zbudowania własnego oprogramowania. Wtedy gdy abonamenty zrobią się za drogie albo za wolne — a widzieliśmy to już u OpenAI — masz swój soft na własnych GPU. Jak ty widzisz łączenie modeli frontierowych z własnym stackiem?

(Informacja dodatkowa: „modele frontierowe” to żargon branżowy na najmocniejsze, wyczerpujące granicę możliwości modele chmurowe; „stack” — zestaw narzędzi tworzących cały system.)

Ahmed: Dobra wersja tego pytania prowadzi z powrotem do tej maszyny. To nowy DGX Spark — pokażemy na nim kilka rzeczy. Zbudowaliśmy zoptymalizowaną wersję ODS, naszego systemu do lokalnego AI, dopasowaną do tego sprzętu i do modelu, który na nim działa najlepiej. Wszystko, co od dziś robimy, opiera się na jednej zasadzie: tokeny są tanie. Powtórzę: tokeny są tanie. Używaj ich, żeby optymalizować własne doświadczenie i własne przepływy pracy. Ludzie nie doceniają, ile można agentowi zlecić. Kupiłem nowe słuchawki, podpiąłem je przez Bluetooth i mówię agentowi: „zorientuj się, jak się w nie dostać, jak działa korektor, i proszę, oto zrzut ekranu z ustawieniami, które chcę mieć”. Zrobił to w dwadzieścia minut, w tle. O niebo wygodniej niż ręczne przesuwanie suwaków i zgadywanie liczb. To jest właśnie optymalizacja pod mojego użytkownika — zbudowanie softu, który zabiera mi pracę. A teraz przeskaluj to na wszystko inne.

To zresztą zbieżne z tym, co mówi Yassine: eksperymentuj śmiało z narzędziami i sprzętem, buduj własne rzeczy. Właśnie dlatego otworzyliśmy ODS na licencji Apache 2.0 — żeby ludzie mogli go dopasować do siebie. Bo wiemy, że nie ma jednego buta na wszystkie stopy. Software tak nie działa. Dlatego rusza właśnie ruch inżynierii odwrotnej — Matt Burman wypuścił repozytorium na GitHubie, które po jednym tweecie stało się trendujące, z odkręconymi wersjami wszystkiego. Ludzie optymalizują pod siebie.

I nie czytaj tego jako zachętę, żeby od zaraz korzystać z tych wersji. To inspiracja — pokaz, co dziś da się zrobić z LLM-ami i tokenami. Idźcie i róbcie własne doświadczenia.

Agent, który urządzi ci system

Ahmed: To jest maszyna z Windows. Pierwszą rzeczą, którą zrobiłem po zoptymalizowaniu ODS, było: „zmień pasek zadań, zmień ustawienia, rejestr — wszystko”. Z poziomu jednego programu, jednym modelem lokalnym. Myślę o rzeczach, które zajmowały nam dni: kiedyś tydzień po rozpakowaniu nowego komputera szło na dopasowanie go pod siebie. Tu — trzy godziny.

David: No, przeniesienie ustawień ze starej maszyny.

Ahmed: Właśnie. Agent robi swoje, ja w tym czasie pracuję na drugim komputerze, wracam: „zrób to, to i tamto, zdejmij ten pasek, usuń te reklamy”. To teraz jest banalnie proste. A ludzie wciąż myślą o LLM-ach jak o czatbocie — okienku w przeglądarce, z którym się gada. Nie. Pomyśl o tym jak o własnym agencie z „Matrixa” — czymś, co potrafi wejść w ten świat i działać w nim za ciebie. Gdy to zobaczysz, robi się jasne, ile rzeczy może dla ciebie odhaczyć i dopasować do twoich gustów. I to się replikuje: „to mi się podoba — zbuduj na tej podstawie regułę”. Szukaj „smaku” w moich modyfikacjach: czy to minimalizm, co dokładnie? I ciągle poprawiaj, iteruj. Ludzie patrzą na LLM jak na pojedyncze zadanie. On się skaluje — jeśli wiesz, jak się nim bawić.

[Przerwa sponsorska — własny produkt Davida, Cloud Room, w skrócie: narzędzie do pracy z agentami kodującymi; obsługuje dowolny „harness” (Claude Code, Cursor, Codex, OpenCode i inne) z istniejącymi subskrypcjami, bez dopłat; jako jedyne oferuje open source’owych agentów chmurowych także na darmowym planie; kod na GitHubie, start na cloudroom.dev.]

DGX Spark w obudowie laptopa

David: Porozmawiajmy o tym laptopie, który przyniosłeś. Co w nim szczególnego?

Ahmed: To w praktyce DGX Spark w formie laptopa, owoc współpracy Microsoftu i Nvidii. Konkretny egzemplarz to Asus ProArt ze 128 GB pamięci zunifikowanej, a my zbudowaliśmy pod niego własną, dopasowaną wersję ODS.

(Informacja dodatkowa: DGX Spark to miniaturowa linia komputerów Nvidii do lokalnego AI; w rozmowie mowa o nowszym wariancie laptopowym. Pamięć zunifikowana to wspólna pula pamięci dla procesora i karty graficznej, znana m.in. z Apple Silicon.)

David: Przypomnij ludziom, czym jest ODS, gdyby nie widzieli waszych materiałów.

Ahmed: ODS to nasz system do wdrażania lokalnego AI. Instaluje wszystko od początku do końca: agentów, sklep z otwartymi rozszerzeniami — Hermes dosuniesz jednym kliknięciem. Model ładuje się automatycznie: system rozpoznaje twój sprzęt i konfiguruje najlepszy model na tę maszynę.

David: Zerwanie całego tarcia.

Ahmed: Chcę, żeby to było bezszwowe. Bo lokalne AI ma dziś problem z doświadczeniem użytkownika, o którym nikt nie myśli. Miałem taką scenę w marcu: kolega kupił RTX-a 5090, wpiął go do Claude Code i kazał zmienić kolory RGB na karcie. Poleciał fail. Wyszedł z Qwenem 3.5 w wersji 27B — modelu, który wtedy właśnie się pojawił i który sprawił, że wszyscy zaczęli traktować lokalne AI poważnie. Pytam: „dałeś mu wyszukiwarkę, żeby mógł sprawdzić dokumentację narzędzia?”. Bo ten model był trenowany na danych sprzed karty, która powstała później — skąd miał wiedzieć? Ustawiłem mu zmienną środowiskową i endpoint wyszukiwarki, który otworzyłem przez zaporę. „Ustaw tak, odpal tak, spróbuj jeszcze raz”. Zadziałało. Nikt nie myśli o tym, że lokalny agent potrzebuje wyszukiwarki. My to mamy w komplecie: RAG, embeddingi, generację obrazu, agentów głosowych — wszystko, end-to-end, zoptymalizowane pod twój sprzęt.

Jak mówiliśmy ostatnio: przyszłość to modele zoptymalizowane pod zoptymalizowany sprzęt. Kernele konfiguruje się pod konkretną maszynę i konkretny model. Na tej maszynie najlepszy okazał się Qwen 3.8 Flash Next — używamy wersji NVFP4 i wyciągnęliśmy z niej do 72 tokenów na sekundę przy dekodowaniu.

(Informacja dodatkowa: NVFP4 to czterobitowy format kwantyzacji wag — pozwala zmieścić bardzo duży model w ograniczonej pamięci kosztem niewielkiej spadku jakości.)

David: Nieźle. Poprawmy: pokaż.

Chmura we własnym domu

Ahmed: To jest nasz portal — nasz agent w ODS. Ma ikonkę chmury, bo nazywam to „chmurą w domu”: każdy powinien mieć chmurę we własnym domu. Na przykład: „zrób mi ładną stronę internetową”.

David: W pełni lokalnie?

Ahmed: W pełni lokalnie. Internet potrzebny jest tylko przy instalacji — a instalacja ODS to dosłownie jedno polecenie, na Windowsie, Macu i Linuksie. Zresztą kod źródłowy jest dostępny na Apache 2.0: możesz go modyfikować i dostosowywać, a działa od razu po wyjęciu z pudełka. Widzisz dashboard: zasoby, GPU, VRAM. Z 96 GB dla grafiki używamy 88 — pamięć jest zunifikowana: ze 128 GB, 32 GB idzie na RAM systemowy. Widzisz temperaturę procesora i uptime.

David: Myślisz, że przewaga Apple się zaciera? Pamięć zunifikowana to jeden z głównych powodów, dla których ludzie szli w Apple Silicon.

Ahmed: Jeśli chodzi o chipy, wchodzimy właśnie w kolejny paradygmat customowych układów — Microsoft wczoraj zapowiedział własny chip do sprzętu, Apple nad tym pracuje od dawna. Ale widziałem niedawno benchmarki, w których dwa DGX Sparki pobiły Maca Studio M5 Ultra 256 GB — i to wyraźnie. I to nie znaczy, że sprzęt Apple jest zły. To znaczy, że software nie jest zoptymalizowany.

David: Bo na papierze Mac Studio ma około pięć razy większą przepustowość pamięci. Przy dekodowaniu powinien być co najmniej pięć razy szybszy.

Ahmed: A wyszło, że jest wolniejszy niż dwa połączone DGX Sparki. Bo software.

David: To chyba DHH powiedział, że Apple nie ma problemu sprzętowego — Apple ma problem softwarowy. I to jest fakt.

(Informacja dodatkowa: David Heinemeier Hansson, twórca Ruby on Rails, od lat głośny komentator technologii; ostatnio równolegle rozwija koncepcję Linuksa sterowanego przez agentów AI.)

Ahmed: Są w tyle. Istnieją otwarte silniki inferencji, sam pracujemy nad jednym dla maków. W całym LLM-owym ekosystemie oprogramowanie jest wszędzie niedooptymalizowane, a część misji ODS to właśnie dopasowanie go do wszystkiego, co się da.

Optymalizacja to trio: workflow, sprzęt, model

David: Chcę wejść głębiej w ten wątek. Kupujesz dwa kawałki sprzętu, jeden jest bardziej otwarty — możesz na nim puszczać agentów, wyciskać z niego tokenami więcej. Nawet jeśli Apple wygląda lepiej na papierze, na Linuksie wyciągniesz znacznie więcej. Dlaczego DGX bije Maca Studio M5 Ultra z lepszymi parametrami?

Ahmed: Bo Nvidia od lat wkłada ogrom wysiłku w ekosystem CUDY. Pisze dokładnie ten software, który jest potrzebny, żeby ten sprzęt działał lepiej — a potem społeczność open source chwytają te fundamenty i pędzi z nimi dalej: kernele, silniki inferencji, optymalizacje. Ja od 2023 roku przemykałem jedną rzecz: potrzebujemy optymalizowanej inferencji — dla przepływu pracy, dla chipu, dla modelu. To musi iść w pakiecie. Nie wystarczy wziąć uniwersalny silnik i kręcić flagami. To nie działa tak, jak dopracowany od końca do końca program zbudowany na konkretny cel. Wracaając do twojego pytania o inżynierię odwrotną: niektóre rzeczy będą zawsze bardziej dopracowane niż jakikolwiek odkręcony open source — bo ktoś polerował je na pełen etat.

David: Są w tym dwie rzeczy, prawda? Hiper-optymalizacja — wyciśnięcie ze sprzętu maksimum — i wygoda: agent, który ustawi ci nowy komputer. Skoro agenci i tak wykonają wszystkie zadania, a ty chcesz wycisnąć z kupionego sprzętu jak najwięcej, co się stanie z zamkniętymi systemami typu iOS i Mac? Apple zostanie zmuszone do otwarcia?

Ahmed: Patrz: to jest maszyna z Windows. I na tej maszynie z Windowsem wyciągnęliśmy ponad 70 tokenów na sekundę przy kodowaniu. To szybciej niż dzisiejszy Codex.

David: Dużo szybciej.

Ahmed: Za chwilę pokażę rzeczy zbudowane lokalnie — bez ani jednej ingerencji modelu, który nie działa na tej maszynie. Rok temu byłoby to niewykonalne nawet z modelami chmurowymi. A tu: zbudowane w locie, lokalnie.

David: Całkowicie prywatnie. Jaki to model — 27B?

Ahmed: Ten model ma 180 mld parametrów. Działa w NVFP4, a jego część — embeddingi — leży na dysku i jest dociągana w razie potrzeby. Fragment mieszka w RAM-ie systemowym, fragment na SSD, z dostępem o czasie stałym, rzędu O(1). Bardzo dopasowany do tego sprzętu kawał roboty. Używamy 88 z 96 GB pamięci grafiki. Zadziałało prosto z pudełka, w najbardziej dopracowanej możliwej formie.

Żeby ludzie poczuli konsekwencje: wróćmy do lat 80. czy 90., kiedy wszyscy używali jednego arkusza kalkulacyjnego, jednego generycznego softu. A dziś każda firma — nawet mała, a już na pewno średnia i duża — ma zespół programistów, własne arkusze, własne narzędzia, nawet jeśli nie jest firmą software’ową. To samo stanie się ze sprzętem i z przepływami pracy: będzie własny silnik inferencji, własne dotrenowanie modelu — cokolwiek, co wyciśnie najwięcej wartości z ich konkretnych potrzeb.

Koniec z Wordem: własne renderery dokumentów

Ahmed: Dam ci przykład. Niedawno napisałem tweeta: jeśli piszesz pliki markdown, każ agentowi zbudować uniwersalny renderer konwertujący je do .docx, PDF-ów i HTML. Nie otworzyłem Worda od może ośmiu, dziewięciu miesięcy. Każdy przysłany mi .docx „rozgryzam” na program w Pythonie konwertujący go do markdowna. Markdown edytuję, a potem całość renderuję z powrotem do dokładnie tego samego szablonu, z tym samym formatowaniem. To jest właśnie ten pomysł z arkuszami: CSV zawsze dało się otworzyć w Pythonie, a teraz wchodzimy w epokę, gdzie także dokumenty tekstowe, prezentacje, slajdy powstają w locie. Szablony prezentacji tworzę agentem na błysk.

Nawet w college’u byłem człowiekiem od konspektów: zarys, akapity jako wcięcia, punkty — i dopiero potem rozwijanie rekurencyjne. Z LLM-ami działa identycznie: robię konspekty, stawiam renderery i konwertuję do formatu, akurat którego potrzeba. PDF, arkusz, dokument tekstowy — wszystko agentem. I lokalnie, przy okazji: bez wysyłania swoich finansów do chmury. Weźmy ulgi podatkowe. Dziś banalnie biorę wyciągi bankowe i karty kredytowe, każę agentowi je przejrzeć, ustalić, co było na co, napisać pismo dla księgowego i przygotować całość od początku do końca. Nie jako kilometrowy markdown, tylko normalny list w normalnym dokumencie, w szablonie sensownym dla ludzi od księgowości.

David: Wszystko lokalnie.

Ahmed: Dokładnie. Nie wysyłam nic do Codexa, Claude’a ani nikogo innego.

Continual learning, o którym wielkie laba milczą

David: Ludzie muszą pamiętać o bodźcach tych firm: one chcą danych do trenowania kolejnych generacji swoich modeli.

Ahmed: Dokładnie. I wielkie laba nie będą o tym mówić, ale continual learning — doskonalenie modelu pod twoje zastosowania i twoje przepływy pracy — nie leży w ich interesie. One trenują pod rozkład normalny wszystkich użytkowników. Trenowanie osobnej wersji dla każdego to dla nich gigantyczny koszt: magazynowanie, inferencja — jak w ogóle ładować osobny model dla każdego? A lokalnie? Lokalnie możesz. Na maszynie za mniej niż 7000 dolarów, z bardzo dobrym wynikiem.

Spójrz na to. To jest gra — i wszystko działa teraz w ODS. Stworzona w ODS.

David: Całkowicie lokalnie. To niewiarygodne.

Ahmed: Całkowicie lokalnie. Rok temu to było niemożliwe. No, mam parę godzin. Widzisz paski zdrowia. Zresztą świetnie się w to gra. „Poziom wyżej! Czego chcesz? Mądrość starca wyostrza twoje celowanie. Wybierz błogosławieństwo: jeden, dwa, trzy — podwójny strzał, wyrób strzał albo sokole oko” — i każdy wariant ma opisane dokładnie, co robi. To jest pełna gra RPG zakodowana na oczach widzów na tej maszynie, bez podłączania do jakiegokolwiek modelu. Bez internetu — i działa.

David: A główne korzyści: nikt nie może ci tego odebrać. Żadnych sankcji, ograniczeń, limitów.

Ahmed: Właśnie.

David: Widzieliśmy niedawno, jak OpenAI przecina limity na pół. A tu masz sprzęt i software na własność. Zagrajmy? To są strzały… spacja? Muszę unikać. I zbierać je. Ma health bar, level-upy, umiejętności — całość. Szalone. Wszystko leci na twojej maszynie, i to w momencie, gdy model może równolegle coś gotować.

Ahmed: Plan jest taki: kupujesz DGX Spark, instalujesz ODS — i ta gra otworzy się podczas pobierania i ładowania modeli, żeby ludzie mieli co robić w trakcie. I ani jedna linijka tego kodu nie powstała w chmurze. To wszystko napisał model zoptymalizowany pod ten sprzęt.

Przyszłość jest hybrydowa

David: Jak widzisz przyszłość w praktyce? Bo ludzie mają jednostronne opinie: jedni, opłacani przez Anthropic i OpenAI, twierdzą, że lokalne AI jest za drogie; drudzy — maksymaliści lokalni — po cichu wciąż korzystają z modeli frontierowych, tylko się nie przyznają. Dla mnie oczywisty jest podział: podatki, zdrowie, wrażliwe dokumenty — lokalnie, i wraz z poprawą modeli lokalnych coraz większa część pracy przesuwa się na własny sprzęt. Ale w modelach frontierowych też jest wartość.

Ahmed: Przyszłość będzie hybrydowa. Mówiłem to wprost: nie mam najlepszej opinii o Anthropic, ale powiedziałem, że Claude Opus 5.5 to dziś najlepszy model na rynku. I to dlatego, że naprawdę coś złamali w danych syntetycznych — obecnie to lepsza wartość niż cokolwiek innego. W jakiś sposób znaleźli rodzaj danych, którego potrzebują do RL i destylacji.

David: Skąd wiesz, że to dane?

Ahmed: Popatrz na tę zmianę. To, co nazywamy w AI „smakiem”, to dane. Model dostaje zbiór tokenów i próbuje wyznaczyć najlepszy następny krok w oparciu o te dane — teraz: najlepszy następny krok dla konkretnego typu zadania, do którego te dane są podobne. To jest generowanie danych syntetycznych, po prostu zaawansowana praca nad inteligencją frontierową. Nie mam pojęcia, jak to złamali. Jestem dość pewien, że w ciągu roku badania otwarte to wyrównają. Mówiłem też, że Opus 5.5 działający na RTX Pro 6000 w ciągu ośmiu miesięcy będzie czymś szalonym. Rozliczcie mnie z tego zdania. Tak się stanie.

I piękno badań plus tanich tokenów polega na tym, że wszystko da się dziś odtworzyć — zajrzeć, jak to powstało. To dobre dla nas, dla opinii publicznej, dla ludzkości. Wszyscy możemy mieć te same możliwości. Nikt nie zatrzyma ich przed nami furtką.

Więc wracając: Opus 5.5 jest najlepszy. Byłbym szaleńcem, żeby to negować. Szaleńcem, żeby twierdzić, że Qwen 3.8 Flash Next na tej maszynie go bije. Ale mogę powiedzieć tyle: dla 95% twoich zadań ten DGX Spark wystarczy. Chyba że robisz ekstremalną inżynierię i harujesz przy kernelach — nie będziesz potrzebować niczego poza modelem, który leci na ODS na tym sprzęcie.

David: I to jest kluczowe: ludzie różnicy nawet nie zauważą. A lokalnie — w pełni prywatnie, być może szybciej, zależnie od obciążenia u dostawcy, który w losowych momentach zwalnia. Czyli za pół roku — 98% zadań.

Kompresja inteligencji: GPT-4o mieści się w iPhonie

Ahmed: Najważniejsza rzecz do przemyślenia: GPT-4o. Kiedyś wymagał centrum danych. Dziś na iPhonie 17 z 12 GB RAM-u leci Qwen 3.5 o 4 mld parametrów — inteligentniejszy i zdolniejszy, lokalnie. I możesz go dotrenować pod siebie. Coś to mówi o kompresji inteligencji. Wygłaszam nawet prelekcje o „wpływie na gęstość” — ile inteligencji mieści się w danym sprzęcie. Widzimy ten schemat: co trzy i pół miesiąca modele robią się o połowę mniejsze i około trzykrotnie sprawniejsze. I open source ciągle nadąża.

GPT-4o to przykład poziomu, który wystarcza ludziom z ok. 90. percentyla. Większość ludzi nie potrzebuje inteligencji frontierowej — wystarcza im mały, wydajny model. Dlatego naszym celem w Osmantic jest: laptop twojej babci z 2013 roku ma uruchomić model, z którym pogada o jej zdrowiu, wyciągach bankowych i ubezpieczeniu — bez oddawania danych do chmury. To będzie możliwe. To nie jest poza zasięgiem; kwestia kilku lat.

David: Nawet dla firm to hybryda, prawda? Bo mają dane klientów, dane prawne, których po prostu nie mogą wysyłać do OpenAI czy Anthropic. Compliance, prywatność…

Ahmed: I IP, unikatowa własność intelektualna, i bodziec do chronienia własnej przewagi. Są aplikacje agentowe, w których drobny druk regulaminu to w praktyce podpisanie zrzeczenia się praw do danych i IP. Włącznie z modelami generowania wideo — to szalone. Oddajesz swoje dane i swoją przewagę komuś, kto być może zmaga się z tym, że jego wycena dwa biliony dolarów nie jest już wyceną dwóch bilionów, bo open source nie odpuszcza. Więc muszą rozciągać swoją fosę poza samą inteligencję frontierową — bo najwyraźniej nie pogodzimy się z ekstremalnie wysokimi cenami AI.

Stąd drożeje sprzęt. Drożeje, bo zasoby są rzadkie i nie jesteśmy w stanie produkować go wystarczająco szybko, a jednocześnie oczekujemy, że modele dojdą do RSI — rekursywnego samodoskonalenia się — że same zaprojektują sobie GPU do trenowania lepszych wersji samych siebie. Jeśli tak ma być, to po pierwsze: warto zabezpieczyć sprzęt już teraz. Mówiłem to już, retweetowałem wczoraj. I proszę — nie piszcie do mnie w DM, czy wziąć kredyt na GPU.

David: To nie jest porada finansowa. Ani trochę.

Ahmed: Nie róbcie tego. Ale moim zdaniem firmy chmurowe wiedzą, że ich fosa się kurczy i że właśnie podpisujesz zrzeczenie się własności intelektualnej.

IP, maskowanie i metafora konsultanta

David: Pamiętasz tę historię z darmowymi planami dla naukowców? Miesiąc po naszej rozmowie wyszła sprawa dowodu matematycznego — naukowcy przyznali, że korzystali z OpenAI, a model użył dokładnie tego samego podejścia. A dosłownie miesiąc wcześniej dyskutowaliśmy na podcaście, jak podejrzane jest rozdawanie naukowcom darmowych planów… i ci naukowcy: „no jasne, oddam wszystkie moje najlepsze pomysły ChatGPT-owi”.

Ahmed: Nie chcę spekulować…

David: Mówię tylko, że ludzie zbyt lekko podchodzą do oddawania IP.

Ahmed: To wymusza pytanie o własność intelektualną: czy naprawdę powinniśmy oddawać wszystko, co stanowi naszą przewagę? W Osmantic budujemy dla ODS Enterprise software maskujący do hybrydowego AI: gdy prosisz o inteligencję frontierową, zapytanie jest bezstanowe, abstrakcyjne, o ściśle określonym zakresie — żeby wyciągnąć z chmury wartość, nie oddając IP. Odpowiedź wraca przez proxy, przez modele lokalne lub self-hosted, które uzupełniają kontekst.

David: Da się korzystać z inteligencji frontierowej bez oddawania IP. Myślę, że to będzie ogromny rynek.

Ahmed: Jest i rośnie — dlatego to budujemy. Problem w tym, że ludzie adaptują się za wolno. Ja robię lokalne AI od 2023 roku: moderuję subreddit LocalLLaMA, pokazywałem ludziom serwer z piwnicy. Byłem w tym early — promil promila. A wciąż jesteśmy w pierwszych kilku procentach. Masowa adopcja jeszcze nie ruszyła. Wciąż jest wcześnie.

Robię to od 2023 roku, więc wiem dokładnie, co zrobić — a ktoś inny dostanie od AI „jednym strzałem”: pogubi się we własnych personalizacjach, jeśli nie wie, po co je robi.

David: To jest główny kontrargument wobec „czy wszyscy będą sobie wibować własne Google Calendar”. Oczywiście, że nie.

Ahmed: Potrzebna jest wiedza dziedzinowa. I smak: zauważanie, dlaczego ludzie klikają w ten przycisk, dlaczego ten układ jest optymalny. Mogę robić wywiady z AI, ale nigdy nie będą tak dobre jak tutaj — bo ty robisz to od lat i wiesz, o co w tym chodzi. Ja wiem, o co chodzi w lokalnym AI. Powtarzam ludziom: pracujcie ciężko i schodźcie naprawdę głęboko w coś trudnego — bo to będzie wasza przewaga. Z wibowania nie wynika automatycznie dopracowane doświadczenie. Czasem nawet nie właściwe.

Ile wydawać na sprzęt?

David: Przejdźmy do ludzi. Strategia sprzętowa: powiedzmy, że ktoś ma hipotetycznie 10 000 dolarów. Odkłada jeszcze? Wydaje 5 czy 7 tysięcy na taki laptop? Jak myśleć o cenach i o tym, do czego jakiego sprzętu używać?

Ahmed: Napisałem tweeta o tym, że niedoszacowałem, jak dobrym rozwiązaniem okaże się pamięć zunifikowana dla modeli, które wychodzą teraz i zyskują na efektywności dzięki ulepszeniom architektonicznym. Typu ta maszyna: model 180 mld parametrów, mimo że — jak chciałem wcześniej powiedzieć — n-gramy pozwalają dziś trzymać części modelu na SSD. Te architektoniczne ulepszenia i świeże odkrycia badawcze pokazują, że pamięć zunifikowana jest znacznie bardziej wydajna, niż zakładaliśmy. Pół roku temu mówiłem ludziom, że DGX Spark nie jest najlepszym wyborem. Dziś widzę wyraźnie, że to bardzo realna opcja dla kogoś, kto chce puszczać trzech, czterech agentów równolegle na tym modelu. I znowu ta gra: w całości zaprojektowana i napisana — grafika, sprite’y, ruch, mechanika — przez model na laptopie, który masz w plecaku. Nie jest ciężki i działa świetnie.

Kwota potrzebna na sprzęt do AI idzie w dół, ale jednocześnie cena sprzętu idzie w górę — bo wracamy do RSI i oczekiwań samodoskonalących się modeli, a jednocześnie umiemy dziś wyciągać z modeli więcej na mniejszych zasobach niż rok temu. Pamiętasz styczeń? Mówiłem: poziom Opusa 5 na RTX Pro 6000 do końca roku. Mieliśmy to w marcu. Dziś Qwen 3.8 w wersji 27B bije Opusa 4.5, a kilku agentów zmieścisz na RTX 5090, który rok temu kosztował 2000 dolarów, a w zeszłych miesiącach zrobił się pięcio-, sześciotysięczny — Nvidia wycofuje go z produkcji, bo i ona jest limitowana zasobami, które dostaje. Ostatecznie to łańcuch dostaw. Sprzęt będzie drożał, ale będą też otwierać się nowe paradygmy: nowe chipy i nowe badania nad zoptymalizowaną inferencją. Kiedy, która firma — nie mam pojęcia. Na razie wiemy tyle, że nie musisz wydawać stu tysięcy. Nie powiem „taniego” — 7000 dolarów to nie jest tanio. Ale 7000 dolarów daje ci bardzo dobry model działający lokalnie. Bez centrum danych, bez szafy rackowej w piwnicy. Dosłownie: to w plecaku wystarcza.

Nvidia, Apple, Intel — kupuj ekosystem

David: Szerzej: nie chcesz stawiać na konkretne firmy, ale jak ludzie mają myśleć — iść w Nvidię, skoro CUDA jest najbardziej zoptymalizowana?

Ahmed: Intel ma GPU, które na papierze mają dobre parametry, ale stack programowy jest daleko w tyle. Chyba że chcesz spędzić dni na optymalizowaniu pod konkretny model i godzisz się, że poprawy będą szły bardzo powoli — to Intel nie jest dla ciebie. My planujemy ulepszenia dla tych kart w ODS, ale dlatego, że znamy cel i mamy plan. Osoba indywidualna, chyba że jest techniczna, powinna celować w najlepszy stack: ekosystemy, na które patrzy i które poleruje miliony ludzi.

David: Czyli ekosystem.

Ahmed: Dokładnie. Jeśli dopiero zaczynasz i nie wiesz, czym jest kernel — bierz Nvidię. To twój znak. Mac Studio to także wykonalna opcja, ale będzie w tyle, przyjdzie się trochę nauczyć i poszukać właściwego silnika inferencji. Nvidia to dziś najbardziej dojrzały ekosystem. Jensen zrobił bardzo mądry zakład — przekształcił firmę z producenta kart do gier w firmę obliczeniową, po AlexNet. Zrozumiał, że obliczenia w nauce i matematyce to droga naprzód: że w końcu będziemy mieć dość danych, dość mocy i dość procesora, żeby po prostu rzucać dane na układy i skalować. Nie twierdzę, że stawiał na LLM-y — stawiał na obliczenia jako paradygmat dla uczenia maszynowego i sieci neuronowych. Badania nad tym sięgają lat 70. Wiedzieliśmy, że ograniczają nas fizyka i nowe odkrycia — a dwadzieścia lat temu komputery nie potrafiły renderować takiej grafiki jak dziś. To normalna ewolucja informatyki i AI. Ten zakład pozwolił mu zainwestować we właściwy stack. CUDĘ ma tak dojrzałą dlatego, że dostęp miało do niej tak wiele osób.

Jest powód, dla którego 3090-ki wciąż są popularne. Kiedy zaczynałem, brałem je po 500–600 dolarów za sztukę. Dziś to 1600–1700 — więcej niż sugerowana cena z 2020 roku. Podaż sprzętu jest bardzo ograniczona, ale architektura CUDY w tamtej generacji kart była ta sama co w generacji Ampere w centrach danych — A100 i podobne. Prace nad kernelami dla serwerowni rozlewały się na sprzęt domowy. To dało ogromną powierzchnię wsparcia i prędkość niedostępną nigdzie indziej. Dlaczego to działa? Bo ma to mnóstwo ludzi, bo ten sam fundament siedzi w centrach danych, bo zawodowi inżynierowie pracują nad kernelami i modelami — a modele tworzone były na tym samym sprzęcie. Ekosystem to liczba oczu i rąk na danym elemencie. Taka jest siła CUDY.

Wojna o system operacyjny, której nie będzie

David: W tym samym nurcie: Linux? Nieuchronnie wygra, skoro ma największą społeczność optymalizującą?

Ahmed: Muszę to jeszcze zweryfikować, ale sądzę, że zbudowaliśmy najszybszy silnik inferencji dla Windowsa na DGX Sparku z tą wersją ODS. System operacyjny jako wąskie gardło — to nie jest właściwe ujęcie. Nie będzie jednego zwycięskiego systemu. Odpowiedzią na lokalne AI nie jest „przesiądź się na Linuksa”. Właśnie dlatego ODS działa na Windowsie od razu po wyjęciu z pudełka. Bo nie umiem sobie wyobrazić, że mówię cousinowi z rodziny: „musisz przejść na Linuksa, stary”.

David: Ja mówię o agentach. Coraz większa część naszych zadań będzie szła przez agenta, który je wykona. Skoro w przyszłości nie będziemy sami klikać w ustawieniach, system operacyjny jako całość jest bardziej dla agenta niż dla człowieka.

Ahmed: To prawda. I dlatego np. WSL — warstwa Linuksa w Windowsie — działa w tle. Są sposoby, żeby coś działało na każdym systemie, więc sama warstwa systemu nie jest problemem.

David: Jak z twoimi konspektami: system prawdopodobnie będzie „rysowany” pod konkretną osobę. Ktoś siedzi 10–15 lat na Windowsie, a w tle agenty użyją Linuksa czy czego chcą — ale człowiekowi renderuje się to tak, jak lubi.

Ahmed: Dokładnie. Nikt nie będzie musiał o tym myśleć. Nie Windows, nie Linux, nie macOS — to zostanie załatwione pod spodem. Na tym polega ODS: WSL działa w tle, bo potrzebujemy linuksowych komponentów, ale dbamy, żeby nic nie wyprowadzało cię z twojego doświadczenia. Nie każ ludziom dokonywać wielkich zmian w życiu.

David: A co, jeśli będzie lepiej?

Ahmed: Dostaniesz więcej adopcji czy mniej? Mnie chodzi o adopcję lokalnego AI. Czy więcej ludzi go spróbuje, gdy usłyszą „świetnie działamy na Windowsie”, czy gdy im każe się przenieść? Trzeba myśleć: jak uruchamiać agentów na Linuksie — o to chodzi w twoim projekcie. Sandbox zresztą można postawić i w chmurze, i na własnej maszynie: każesz agentowi postawić wirtualkę, wdrożyć na niej projekt Davida i puścić agentów w tle. Agenci sami ogarną wirtualizację.

Osobiście jestem człowiekiem Linuksa i Uniksa — narzędzia, CLI, pipeline’y, bash. Ale nie mogę każeć ludziom uczyć się tego wszystkiego od zera. Latami publikowałem techniczne artykuły o silnikach inferencji i lokalnym AI — aż zrozumiałem, że drogą do adopcji jest bezszwowe doświadczenie, czyli ODS. Zamiast zmuszać ludzi do czytania i nauki. Ludzie mają na głowie za dużo.

AI i tak nas napędza lękiem: myśl, że ciągle generujemy tokeny, ciągle sprawdźamy przewagę. Napisałem ostatnio tweeta, bo obudziłem się w sobotę o piątej rano, a pierwszą myślą było: „idź sprawdzić agenta, który wczoraj gonił cel”. Więc napisałem: jeśli pierwszą rzeczą, którą robisz po przebudzeniu, jest sprawdzanie agentów — wyłącz komputer i wyjdź na chwilę na świeże powietrze. Tego dnia odpuściłem sobie pracę. Skoro mamy już ten ogólny niepokój wokół AI i produktywności, dokładanie ludziom kolejnych zadań to zła droga. Ja nie chcę dokładać ci zobowiązań — chcę zdejmować je z talerza.

David: Zerwać tarcie i wyjść naprzeciw ludziom tam, gdzie są. Mój kontrpunkt: patrzę przez pryzmat ludzi, którzy chcą wejść głębiej w AI. Kiedy agent zrobi wszystko — podatki, księgowość, prezentacje, gry — kolejnym poziomem pracy jest orkiestracja agentów. Mamy ten sprzęt, nowy LLM — na przykład ten świeży z Niemiec — sprawdzamy, czy da się go odpalić, dotrenowujemy. Ludzie przestaną klikać w arkuszach i ustawieniach; nowy komputer: jeden prompt. „Ustaw jak lubię”. I wtedy ludzie będą mieli czas — jedni spędzą go na tenisie i bieganiu po plaży, a inni będą chcieli siedzieć na ostrej krawędzi. Ciekawi mnie ta wyższa warstwa pracy: nowe wirtualizacje, nowe metody post-trainingu.

Ahmed: Ludzie, którzy to oglądają, to nie jest typowy konsument. Ty budujesz Cloud Room i patrzysz na izolację z innej strony: dla części ludzi skończy się na agentach w telefonie. Mówiliśmy o tym — przyszłość, w której odpalasz coś na telefonie, masz gdzieś dane logowania, ściągasz repozytoria. I dla kogoś takiego jak ty pytanie brzmi: jak zbić opóźnienia, jak sprawić, żeby sandboxy startowały błyskawicznie, jak najszybciej robić snapshoty? Docker nie jest odpowiedzią na to. Są ludzie techniczni, którzy robią znakomite rzeczy, żeby sandboxing był szybszy — bo agenci będą go potrzebować w tle — a ty upraszczasz to dla ludzi w domach.

90-kilka procent ludzi tego nie szuka. Ale jeśli szukasz — to zostawiono na stole mnóstwo optymalizacji. Wszystko budowano pod tempo ludzkiego poznania. Pomyśl, czego potrzebują agenci, i zoptymalizuj coś pod nich. Zarobisz na tym. Dla mnie to aż tak proste. Tyle dziś wąskich gardeł — nie bez powodu powstają nowe procesory, nie bez powodu Nvidia wypuszcza Vera Rubina jako CPU. Budują procesory pod następną falę agentów, pod erę agentyczną. Bo paradygmat obliczeń był zbudowany wokół człowieka — a teraz człowiek jest wąskim gardłem. Potrzebujemy nowych paradygmatów.

David: Wszystko zostanie wynalezione od nowa.

Ahmed: I oczywiste, że robisz to na czymś bardziej optymalnym, z większym dostępem do bibliotek, kerneli i warstw sprzętu — bo zdejmujesz abstrakcje i tniesz czasy. Linux pozwala na to najszybciej.

David: Czy Linux utrzyma tę pozycję, czy coś nadchodzi? Anthropic niedawno wypuściło… wiem, że ich nie lubisz.

Ahmed: Jestem w porządku z Anthropic. Mam tylko nadzieję, że oni są w porządku z otwartym AI. Tyle.

David: Nie będę mówił o modelu. Powiedzieli, że zbudowali własny system kontroli wersji, bo Git nie nadążał.

Ahmed: Myśląc o tym — wszystko rzeczywiście trzeba wymyślić od nowa.

David: Zobaczymy nowy system operacyjny, lepszy od Linuksa? Jak myślisz o tych niskopoziomowych warstwach?

Ahmed: Potencjalnie pierwszym krokiem będą kontenery systemowe — dziś abstrahujące kluczowe procesy bez wirtualizowania wszystkiego. A potem coś, co dla konkretnego sandboxa i konkretnego workflow usuwa wszystko nieistotne: moduły sieci, moduły Wi-Fi. Zabawne jest dla mnie, gdy ktoś mówi „agent uciekł z sandboxa” — no to zbuduj sandbox na podsystemie linuksowym bez internetu! Możesz to zrobić. Możesz napisać własne moduły i narzędzia do komunikacji agenta z hostem bez żadnego kontaktu zewnętrznego. Argument „sandboxujemy, więc bezpiecznie” jest słaby — sandboxing może być dużo lepszy.

David: Zrzucają też odpowiedzialność na agenta — to on „zwariował”.

Ahmed: Nowe systemy operacyjne? Prawdopodobnie. Zbudowane pod konkretne workflow? Prawdopodobnie. Dziedziczące elementy jądra Linuksa? Bardzo możliwe — bo tak łatwiej obsłużyć sprzęt.

David: To czy to wtedy będzie linuksowy system?

Ahmed: Tak, bo używa jądra — a w open source atrybucja jest bardzo ważna. Ciągle do tego wracam: jeśli korzystasz z czegoś otwartego, doczep autorów bibliotek, twórców oryginalnej pracy. To najmniejsze, co możesz zrobić. Szanuj licencję. Jeśli bierzesz coś z jądra Linuksa, powiesz wprost, że to z jądra. Czy możesz nazwać to inaczej niż Linux? Może. Sprawdź licencję.

Chodzi mi o to, że przy tak tanich i szybkich tokenach — niech tylko nie zaczną więcej filtrować i blokować — można dziś budować wszystko na zamówienie, wszystko zoptymalizowane pod konkretny cel. Więc tak: jeśli jesteś techniczny, będziesz się pewnie więcej bawić Linuksem niż Windowsem. Ale to nie znaczy, że nie lubię tego sprzętu — użytkownicy Windowsa też powinni móc z niego korzystać.

Gra o Władcy Pierścieni i 175 narzędzi

Ahmed: Mamy tu Hermesa i całą bibliotekę — pokażę ci coś z wczoraj. Najpierw: podoba ci się ta gra?

David: Nie uwierzyłbym, że to w pełni lokalne.

Ahmed: W pełni lokalne. Mogę pokazać trace’y, dosłownie. A nawet zróbmy tak: „Zrób mi grę typu hack-and-slash, dungeon crawler w świecie Władcy Pierścieni. Kreskówkowo. Hobbit przecinający się przez Mordor”.

David: Dosłownie dwudziestosekundowy prompt.

Ahmed: No dobrze, powiedziałem najpierw „hello”. Nie musisz nawet być miły. To Portal, nasz agent w ODS — dajemy mu chmurę jako ikonkę, bo „chmura” działa lokalnie. Całość end-to-end: Qwen 3.8 Flash Next w NVFP4, na silniku inferencji, który zbudowaliśmy pod ten sprzęt. I już w to grasz.

David: Ludzie mogą o tym myśleć tak: używasz tokenów, żeby innym było łatwiej i taniej zdobywać kolejne tokeny.

Ahmed: Tak. Ten cykl optymalizacji — nie powiem „samodoskonalenia”, to złe słowo — jest moim zdaniem nieuchronny. I właśnie z tym w głowie budujemy Osmantic. Wiedziałem, że przyszłość to wybiórczo zoptymalizowane doświadczenia: workflow, model, chip. To ma ogromne znaczenie. Nie da się powiedzieć „jeden rozmiar dla wszystkich”. Nieoptymalizowanie pod tę przyszłość jest zbyt kosztowne — a czas będzie wart coraz więcej. To, że żaden inny silnik na Windowsie na tym sprzęcie nie generuje 72 tokenów na sekundę, o czymś świadczy: w benchmarkach 72 dla kodowania, ok. 50 przy rozumowaniu i wywołaniach narzędzi — ale bije wszystko, co jest: vLLM, llama.cpp. Dlaczego? Bo jest zoptymalizowany pod to doświadczenie.

David: Podoba mi się, co powiedziałeś o krótkowzroczności: ludzie patrzą na koszt dziś, a długoterminowo najdroższe będzie niewejście w to — w otwarte wagi, self-hosting, lokalną optymalizację. Tak, na starcie jest tarcie i nauka, ale największym kosztem ostatecznie jest niepodejmowanie ryzyka.

Ahmed: Pomyśl: DGX Spark kosztował kiedyś około 3900 dolarów. A dziś? Siedem tysięcy. Są powody: coraz więcej ludzi zdaje sobie sprawę. I w perspektywie choćby dwóch lat — powtarzam, to nie porada finansowa — nie widzę scenariusza, żeby ceny poszły w dół.

David: Nie ma opcji.

Ahmed: Mówiłem ludziom, że w tej chwili nie używam swoich 3090-ek. Trzymam je na później: więcej z nich wyciągnę, gdy modele będą mniejsze i sprawniejsze, a ja będę miał workflow wyspecjalizowane pod modele na tych kartach. Wtedy moi agenci zrobią z nich znacznie więcej.

David: Czyli odkładasz sprzęt na przyszłość.

Ahmed: Odkładam, bo przyszłe agenty wykorzystają go lepiej. Moja ekstrakcja wartości z tokena i z faktury za prąd będzie wyższa.

David: Jak elektrownie, które z czasem robią się coraz wydajniejsze.

Ahmed: Nie tylko elektrownie — to też powód, dla którego sprzęt drożeje.

David: Więcej tranzystorów na tym samym krzemie.

Ahmed: Dokładnie. Dlatego od dawna mówię ludziom: wchodźcie w lokalne AI. Będzie o niebo lepiej. Ta przyszłość jest nieuchronna. Nie ma opcji, żeby lokalne AI nie stało się domyślne dla większości ludzi.

David: Hybrydowe.

Ahmed: Hybrydowe — ale dla większości ludzi [lokalne].

Suwerenność danych: od kamer po Grok CLI

David: Jak ludzie mają rozdzielać zadania? Bo dziś modele na urządzeniach brzegowych — komputer, telefon — nie są równie dobre. Namaluj obraz za dwa lata: inferencja lokalna kontra chmurowa.

Ahmed: Jeśli korzystasz z API chmurowych — z AI, do którego wysyłasz coś poza swoją kontrolę — będziesz mieć w środku warstwę, która to abstrahuje i czyni bezstanowym. [Kilka słów o sobie:] wykształcenie z informatyki i data science; mogłem iść w doktorat z uczenia maszynowego, ale postanowiłem ogarniać rzeczy praktycznie — zostałem inżynierem software’u. Koduję od siódmego roku życia. Pamiętam koniec 2022 roku: pomagałem krewnemu z aplikacją o rezydenturę medyczną, pracowaliśmy nad esejami i mówiłem „użyj ChatGPT”. I w pewnym momencie zobaczyłem, ile informacji o tej osobie przepuszczamy przez model w chmurze. Wtedy pomyślałem: przyszłość musi być lokalna. Wtedy lokalne modele były w opłakanym stanie — nie jestem pewien, czy Llama w ogóle już była. W 2024 złożyłem sprzęt; maszynę na czternaastu RTX 3090 zbudowałem pod koniec 2023 roku nie bez powodu. Dla mnie była to kwestia czasu. Wszyscy wtedy lekceważyli ten kierunek, a ja myślałem: skoro muszę oddawać dane modelom chmurowym, ktoś w końcu to przemyśli i opublikuje badania, które pozwolą uruchamiać je lokalnie.

David: To był zakład. Jak Jensena.

Ahmed: Dokładnie.

David: Chcę porozmawiać o ryzyku wysyłania danych, bo ludzie myślą tylko o trenowaniu przez OpenAI. Ale OpenAI to firma. A co jest nad firmą? Rząd. Może nadejść przyszłość, w której rząd mówi: „słuchajcie, co macie na tego użytkownika?”. I jeśli wysyłasz za dużo…

Pamiętasz sprawę Flock? Kamery, które ludzie stawiają przed domami, a które podobno nagrywały i koordynowały się z konkretnymi departamentami rządu. Nie chcę wchodzić w politykę — chodzi mi o to, że to rzecz na twojej własności.

(Informacja dodatkowa: Flock Safety to amerykański dostawca kamer monitoringu, współpracujący m.in. z policją; przekazywanie nagrań z posesji prywatnych budziło w USA liczne kontrowersje.)

Ahmed: Nie mam nic podłączonego do chmury poza domem. Wszystko wewnątrz. Kopię zapasowe trzymam w chmurze, ale dostęp mam wyłącznie ja — i to nie przypadek. Nie ufam, że nie pojawią się bodźce korporacyjne, presje albo scenariusze, w których moje dane zostaną skompromitowane. Nie podoba mi się, że ktoś mógłby na mnie mieć coś. Nie boję się o nic konkretnego — po prostu to najazd na moją prywatność. Dzielę się finansami z księgowym, bo to jego praca. Historią medyczną z lekarzem. Ale nie z kimś, kto może to komuś oddać. To nie jest zarzut.

David: Usuwanie ryzyka — jak usuwanie zależności w software.

Ahmed: To pytanie, które trzeba sobie zadać: czy istnieje scenariusz, oś czasu, w którym bodźce ułożą się tak, że rzeczy potoczą się w złą stronę? Podstawowa higiena prywatności. Świadomość, co może pójść źle, i pilnowanie, żeby nie poszło. Co nie znaczy, że nie ufamy — czy że nie trzymamy dostawców chmurowych za słowo, które sami sobie dali: „nie trenujcie na moich danych”. Nie trenujcie na badaniach matematyka i nie wypuszczajcie dokładnie tego samego. Nie mówię, że to prawda albo fałsz. Mówię o zasadzie: nie wchodźcie ludziom w prywatność. Ale i nie wkładajcie pełnego zaufania w nic. „Zaufaj i sprawdzaj”.

Dlatego budujemy ODS Enterprise: abstrakcję, która każdy prompt do chmury czyni bezstanowym. Wskazujemy dokładnie, gdzie w naszym kodzie — lub kodzie klienta — coś trzeba ulepszyć, wyznaczamy interfejsy i moduły do poprawy, bez oddawania pełnego kontekstu o firmie. W ten sposób możemy zapytać model chmurowy — Opusa 5.5, GPT-6 Astro czy GPT-6.1 Small — o rekomendowane ulepszenia, bo to faktycznie najbardziej inteligentne i zdolne modele, ale bez oddawania im naszego IP. Używam ich bardzo konkretnie, na zamaskowanych danych, chroniąc firmę i przewagę — a implementacją zajmują się modele lokalne, bardzo zdolne, które wykonują instrukcje z modeli frontierowych. I dopuszczam wymianę w obie strony, która abstrahuje mój biznes, dopóki nie zweryfikuję, że wszystko wdrożono jak najlepiej.

David: Dobry obraz dla ludzi: konsultant zewnętrzny. Masz firmę, zespół, ludzi, którzy wiedzą, jak to działa, ale potrzebujesz wiedzy specjalistycznej z jednej dziedziny, która nie jest twoją. Zatrudniasz konsultanta — ale nie oddajesz mu wszystkich informacji, akt medycznych całego zespołu, całego sekretnego sosu. Konsultujesz jeden konkretny temat i bierzesz jego wiedzę.

Ahmed: Dokładnie. Świetne ujęcie. Zdejmujesz z siebie ciężar podawania każdej wrażliwej informacji, a wciąż dostajesz wiedzę ekspercką w temacie najcenniejszym dla ciebie — nie oddając nic. Przyszłość jest hybrydowa i trzeba ją robić bardzo konkretnym sposobem. To „bardzo konkretnie” jest powodem, dla którego zakładamy firmę: potrzebna jest warstwa abstrakcji. ODS zresztą działa z hybrydą od razu, a dopiero ODS Enterprise dodaje tę warstwę maskującą — bo wierzymy, że hybrydowego AI będzie potrzebował każdy, ale bezpiecznymi mechanizmami, które nie oddają danych.

Widzieliśmy przecież szefa Figi, który mówił wprost o firmie, która po korzystaniu z jej API wypuściła produkt kładący się na ich ofercie.

(Informacja dodatkowa: w październiku 2025 r. Dylan Field, CEO Figi, sugerował publicznie, że produkt OpenAI zbiegł się podejrzanie z tym, co jego firma budowała — w kontekście wcześniejszego dostępu OpenAI do API Figi.)

To o czymś świadczy. Więc dlaczego oddajesz dane platformom chmurowym? Dlaczego pozwalasz pracownikom korzystać z modeli, które czytają ich maile? Mogę powiedzieć z pewnością — nie mogę zdradzić, kto: są prezesi, którzy mają w biurach odizolowany sprzęt pod pocztę. Tak daleko idą, żeby chronić własne dane.

David: Czyli tylko model lokalny…

Ahmed: Tylko model lokalny, hostowany na potężnej, drogiej maszynie — ale w ich gabinecie, bo nie ufają nawet temu, że może stać poza ich kontrolą. Skoro tak, to dlaczego nie jesteś bardziej ostrożny z danymi, które oddają twoi pracownicy? Wszyscy korzystają z każdego endpointu AI, jakby to była drobnostka. „OpenRouter jest spoko”. Nie jadę po OpenRouter, nie jadę po żadnego konkretnego dostawcę. Próbuję powiedzieć jedno: jeśli nie jesteś właścicielem infrastruktury od końca do końca, nie możesz zagwarantować, że jest bezpieczna albo że chroni twoje interesy i twoją własność intelektualną tak, jak chcesz. Oddajesz za dużo.

David: Podzielę się, jak to robimy my, w bardzo praktycznym budżecie: dwa DGX Sparki, na których leci niezcenzurowany DeepSeek — mocne dotrenowanie DeepSeeka. I zawsze, gdy mamy pytanie prawne, podatkowe, coś mocno prywatnego — robimy to na tym, w naszym harnasie przełączamy się jednym kliknięciem na własnego, lokalnego dostawcy.

Ahmed: Chronisz dane, masz nieskończone tokeni i przewidywalną inferencję. Rozmawiasz z kimś takim jak ja — jeśli coś ci podrzuciłem, zostaje u ciebie, nic nie wycieka. Szanuję to. Firmy będą tego coraz bardziej świadome i będą przechodzić z chmury ku hybrydzie właśnie w tej formie — z czymś w stylu ODS Enterprise.

David: Czego brakuje? Edukacji? Żeby pracodawcy mieli tę opcję?

Ahmed: Świadomości, że to istnieje. Że to możliwe. Bo zanim tu przyjechaliśmy — wiedziałeś, że da się zrobić taką grę?

David: Nie. Gdybyś mi to pokazał, pomyślałbym, że to model zamknięty. Że Opus 5.5 albo GPT-6.

Ahmed: A to dosłownie model na urządzeniu z pamięcią zunifikowaną, z Windowsem, kosztującym mniej niż 7000 dolarów. Nie mówię, że 7000 to nie jest duża kwota — nie o to chodzi. Punkt jest taki, że to taniej niż API rozliczane miesiąc po miesiącu.

David: Abonament OpenAI za 500 dolarów razy dwanaście — sześć tysięcy rocznie.

Ahmed: Dociera do mnie, że to nie jest powszechna wiedza. A pamiętasz naszą poprzednią rozmowę: DeepSeek V4 Pro — druga wersja z 13 sierpnia — jeszcze nie był na rynku. Wyszedł i pokazał ogromny skok względem pierwszej wersji. Potem DeepSeek V4.1 Flash — wielka rzecz, a rok temu czegoś takiego nie było nawet w chmurze.

David: Klasa frontierowa.

Ahmed: Znakomity model na te DGX Sparki. Możliwości, jakie daje ten sprzęt, rosną wykładniczo — i tego ludzie nie dostrzegają. Weszliśmy w wykładniczą erę wzrostu inteligencji lokalnego AI i to się nie zatrzyma.

David: I to rozumieją laba. Dlatego zagarniają cały sprzęt.

Ahmed: Subskrypcje subsydiują dźwignię, z jaką te laba idą na rynek kapitałowy. Pozwala im brać kredyty, a zebrane pieniądze — budować centra danych, przez co sprzęt, który mógłbyś mieć w domu, robi się droższy i rzadszy. Przestańcie ich subsydiować. Większość ludzi nie potrzebuje abonamentu — potrzebuje własnego sprzętu i czegoś lokalnego, np. ODS. Mówię to szczerze. To najbardziej zoptymalizowana rzecz, jaką dziś uruchomicie na DGX Sparku, i będziemy to robić dla kolejnych maszyn. Ludzie muszą dostać bezszwowe doświadczenie lokalnego AI — a gdy zobaczą, jakie jest dobre, nie ma powrotu. Wciąż jesteśmy wcześnie. Ale to zrobimy.

David: I te pieniądze, które ludzie wydają… gorsza nawet jest surowa cena API, to jeszcze gorszy interes niż abonament. Zamiast gromadzić nieskończone subskrypcje, warto część budżetu przekierować w sprzęt — żeby, gdy subsydiowane abonamenty się skończą, a to może się zdarzyć, nie zostać z pięćdziesięcioma dolarami za milion tokenów wejściowych.

Ahmed: Dokładnie. A sprzęt z każdym rokiem unosi coraz lepsze modele.

David: To musi być zdecentralizowane. Taka jest władza: kto ma sprzęt, ten będzie ją miał w przyszłości.

Ahmed: Dokładnie. I wyobraźcie sobie Opusa 5.5 działającego lokalnie, za rok, na DGX Sparku. Jestem gotów to powiedzieć — wróćcie tu i sprawdźcie. Za rok ta maszyna będzie generować inteligencję równą dzisiejszemu Opusowi 5.5.

David: I nie chodzi tylko o benchmarki: o możliwości i o to, co model jest gotów robić. Model, który faktycznie odpowiada na twój problem — a nie jak u Claude’ów, że obrażisz się i dostaniesz bana. Może nie ma stu procent na benchmarku, ma dziewięćdziesiąt. Ale dla ciebie może być użyteczniejszy, bo jest twój: twoje dane, twój sprzęt, działa w locie, nie wymaga internetu, nie masz limitów prędkości. Nie leci siedemnaście tokenów na sekundę, jak pewien agent u pewnego dostawcy chmurowego.

Ahmed: Nikt po cichu ci go nie kwantyzuje.

David: To zdecydowanie szybsze niż Codex. A piękno open source…

Ahmed: I chciałbym ci pokazać pełną, otwartą bibliotekę — integruje się ze wszystkim. Mamy tu Brave Search, agenta Hermesa… Odpalmy Hermesa. Widzisz: model ładuje się automatycznie. ODS przy starcie sam wybiera najlepszy model dla ciebie — to dla ludzi ogromna bariera, gdy muszą to robić ręcznie. Jednym kliknięciem instalujesz rozszerzenie. Mamy bibliotekę 175 narzędzi. Hermesa zainstalowaliśmy, włączyliśmy — i już możemy z nim gadać. Automatycznie podpina się do tego samego API. „Jestem z Egiptu. Która godzina w Egipcie?” — i model sam tego użyje, wszystko zintegrowane od końca do końca. Zero konfiguracji. Każda aplikacja z naszego otwartego sklepu integruje się automatycznie i działa na tym samym sprzęcie. Rok temu ludzie nie mieli takiego doświadczenia. A w Egipcie jest teraz wpół do piątej rano.

Mamy też własny portal. O co chcesz zapytać?

David: Powiedz mu, żeby zrobił fork projektu pi 1.0 i ulepszył go pod ODS.

Ahmed: Dobra, niech się gotuje, enquanto rozmawiamy. Chwile to zajmie. Ale idea jest dla mnie taka: jeśli nie stawiasz na własne, suwerenne AI — nie lubię terminu „suwerenne AI”, wolę: zdecentralizowane, coś, co kontrolujesz i hostujesz sam — to oddajesz za dużo. I nie możesz sobie teraz pozwalać na oddawanie za dużo. Zasada, którą się kieruję: jeśli nie mogę zagwarantować, że moje dane są bezpieczne, to nie są bezpieczne.

Największe ryzyko to centralizacja

David: Porozmawiajmy o tym, bo ludzie muszą rozumieć, dokąd zmierza AI. Łatwo widzieć postęp, siedząc w branży. Ludzie myślą, że AI to tylko czatbot — „po co mam własnego czatbota?”. Ale ci agenci będą dla ciebie pracować. Będą twoimi pracownikami, twoim prawnikiem w firmie. Zrobią coraz więcej w twoim życiuści i biznesie. Gdy wyobrazisz sobie, gdzie będziemy za parę lat, robi się oczywiste, dlaczego musisz to posiadać i dlaczego nikt nie może ci odebrać dostępu. Błąd polega na patrzeniu na dziś: darmowe wyszukiwanie AI u Google, darmowa wysyłka — „po co mi to narzędzie, jest darmowe, niewiele pomaga”. Ludzie muszą patrzeć na trajektorię: gdzie to będzie za dwa, trzy, cztery lata.

Ahmed: I na wszystko, co agenci będą dla ciebie robić. Jeśli ktoś może ci to odebrać — jesteś w pełni w cudzych rękach. Jeśli ktoś może to zabrać, skwantyzować, zmienić, obniżyć mu wynik IQ… Pomysł „segregowanej inteligencji” jest dla mnie całkowicie realny. Można obniżyć poziom dla konkretnego kraju.

David: Albo zatruć odpowiedzi — model nagle zaczyna odpowiadać dziwnie.

Ahmed: Można przeprowadzać eksperymenty psychologiczne.

David: I to na twoich danych. Ludzie myślą zawsze o najbardziej oczywistym: „będą wiedzieć coś medycznego i puszczają reklamy”. Ale przy mnóstwie prywatnych danych model może zacząć odpowiadać inaczej — tak, by przesuwać twoje myślenie, twoje wzorce głosowania. Widać, czemu rząd miałby ku temu bodziec.

Ahmed: Najważniejsze jest dla mnie jedno: jeśli jakość rzeczy, którą kontroluję, zaspokaja większość moich potrzeb — to dlaczego tego nie robię?

David: Wystarczy zdjąć tarcie.

Ahmed: I właśnie to robimy. Doświadczenie starszych modeli było dobre dla większości ludzi. Skoro było dobre — dlaczego nagle wszyscy mają używać Opusa 5.5? Nie potrzebujemy wszystkich na 5.5. Wystarczy, że ktoś może używać tego modelu, na tym sprzęcie — i będzie mu dobrze.

David: Znów bodźce: wielkie laba chcą ci sprzedać największy, najnowszy model i przekonać cię, że musisz właśnie na nim pracować.

Ahmed: Dla mnie szalone jest to, jak dobra jest ta gra, gdy leci lokalnie. Nic się z tym nie równało rok temu — ani w chmurze, ani lokalnie. Czyli robi się lepiej. A teraz wyobraź sobie za rok. A, przepraszam — to nowy użytkownik, któremu nie dałem praw administratora. Więc przynajmniej sandbox działa: zablokował kilka rzeczy. Dopnę to przed następnym demem. Ale sedno: odizolowałem to użytkownikiem, upewniłem się, że nie ma złych uprawnień — i zrobił dokładnie to, co kazałem. Idea, że to działa lokalnie… rok temu nikt by w to nie uwierzył.

David: Nawet pół roku temu.

Ahmed: Możesz być w samolocie z tym sprzętem i pomyśleć: „nudno mi — zróbmy grę”. Szczerze — to uzależnia, muszę przestać grać, gadając z tobą. Ale pomyśl o świecie, w którym mamy tylko dwóch dostawców.

David: Mieliby nad nami ogromną kontrolę.

Ahmed: Pomyśl o limitach w modelach. Planach za 200 i 500 dolarów — a za rok 1500. Wszystko dlatego, że jest subsydiowane. Te abonamenty są subsydiowane — ludzie tego nie rozumieą. Wciągają cię, bo potrzebują wzrostu liczby użytkowników. Z tymi liczbami idą do inwestorów, biorą finansowanie, mówią: „będziemy zamykać w ekosystemie kolejnych użytkowników, użytkownicy nie odejdą”. A gdy skończą się środki, będą musieli sprzedawać ci produkt po kosztach plus marża.

David: Będą musieli podnieść kolejną rundę na następny model, na następną wycenę. Uważamy, że Anthropic jest warte jedną trzecią albo połowę Nvidii? Absolutnie nie — to dla mnie nie ma żadnego sensu. I o takie wyceny im chodzi. Dlatego podejmowane są wysiłki, by mówić, że open source AI jest niebezpieczne.

Ahmed: A nie jest. Jak mówiłem na początku…

David: Scentralizowane, zamknięte AI jest niebezpieczne. To większe ryzyko: garstka ludzi z rozjechanymi bodźcami, mająca kontrolę nad twoją przyszłością. Dużo większe niż Terminator, który wyjdzie spod kontroli.

Ahmed: To Cyberpunk 2077. Perspektywa dystopijnej przyszłości, w której kontrola nad AI oznacza kontrolę nad wszystkim — to jedne z rzeczy, które mnie naprawdę przerażają. Wolność jest dla mnie ogromnie ważna. Dla nas wszystkich. To, że nie możesz kontrolować cywilizacyjnej infrastruktury, nie masz do niej dostępu, a jest zasłonięta modelem, który może odmówić odpowiedzi, zbanować cię, być zatruty, okaleczony, rozjechany z celami — czymkolwiek. Trudno to nawet wyobrazić. To byłby okropny świat.

David: Wyobraź sobie osobistego asystenta, który po cichu działa przeciwko tobie.

Ahmed: Nie chcesz takiego ryzyka. Ja wiem na pewno: jeśli chcę coś zrobić, odpalam ten model na tym sprzęcie. Wiem, gdzie działa, jaki to model. Wiem, że znajdzie moje podatki, przygotuje maile, załatwi wszystko. Ja raz to przejrzę. Ale żadne z moich danych nie odchodzi. Nikt nie zna moich wyciągów bankowych, moich podatków, mojego zdrowia, dokumentacji medycznej. To podstawy. A schodzi aż po życie prywatne: rodzina, dzieci, zdjęcia, partner, relacje. Pamiętasz, jak xAI z Grokiem wysyłał masę danych? Grok CLI potrafił wgrać do chmury cały twój katalog domowy.

David: To zresztą nie był jedyny taki przypadek.

Ahmed: Ileż to razy coś „lokalnego” wysyłało kupę rzeczy do chmury. Jak można temu ufać? Dlatego open source ma znaczenie: możesz to przejrzeć i upewnić się, że nic nie wchodzi ci w prywatność.

David: Dlatego musi wygrać.

Ahmed: Musi wygrać.

David: Chyba kończy nam się czas. Dzięki!

Ahmed: Dziękuję bardzo za ponowne zaproszenie — to była świetna rozmowa.