O czym jest ten film
- Rozmowa Davida Ondreja z Ahmedem — praktykiem lokalnego AI, współtwórcą projektu ODS i firmy Osmantic — o tym, dlaczego warto samodzielnie hostować modele.
- Argument główny: model językowy to „infrastruktura cywilizacyjna”, a oddawanie nad nią kontroli kilku zamkniętym firmom jest ryzykiem biznesowym i osobistym.
- Ostrzeżenie o łańcuchu dostaw: sprzęt konsumencki drożeje, bo hiperskalerzy wykupują pamięć i GPU — okno zakupowe się zamyka.
- Konkretne progi budżetowe: ~5 tys. USD, ~10 tys. USD, ~20 tys. USD i powyżej — co ma sens na każdym z nich.
- Trzy kryteria wyboru sprzętu: przepustowość pamięci, pojemność pamięci i wsparcie software’owe — i dlaczego to trzecie kryterium skreśla „tanie okazje”.
- Dlaczego skalowanie od 5 tys. do 20 tys. USD w praktyce nie działa i lepiej od razu wybrać docelową klasę.
- Apple kontra Nvidia: kiedy Mac Studio jest rozsądnym wyborem, a kiedy trzeba iść w RTX Pro 6000.
- Ostra krytyka Anthropic i OpenAI: zarzut lobbingu regulacyjnego pod przykrywką bezpieczeństwa oraz działania w złej wierze.
- Teza o kompresji modeli: DeepSeek V4 Flash i Kimi K3 pokazują, że jakość frontier schodzi na pojedyncze urządzenie szybciej, niż zakładały prognozy.
- Perspektywa biznesowa: ok. 70% oszczędności w pierwszym roku po przejściu organizacji z API na własną infrastrukturę.
Redakcyjne tłumaczenie
(Informacja dodatkowa: transkrypcja automatyczna zniekształciła część nazw własnych. W tłumaczeniu przywrócono najbardziej prawdopodobne brzmienia — DGX Spark, Strix Halo, Kimi K3, Qwen, DeepSeek, GLM, Osmantic. Nazwiska gościa nie podano w materiale poza imieniem Ahmed.)
Wstęp — o co toczy się gra
Ahmed: Trzeba pytać o intencje tych ludzi — skąd przychodzą i w jaką grę grają. Każdy argument, jaki zamknięte laboratoria wytaczały w sprawie bezpieczeństwa, ochrony, „zwolnijmy tempo” — nic z tego nie jest prawdą. Wszyscy już to widzą: „aha, czyli wy po prostu chcecie zakazać konkurencji”. Kierunek, w którym zmierzamy w tej chwili, to kierunek, w którym każdy zatrzymuje tę technologię dla siebie. Zostawiacie pieniądze na stole, korzystając z tych API — o wiele lepiej wyszlibyście na posiadaniu tej infrastruktury od początku do końca. Oddajecie o sobie zbyt wiele. Jeśli sprawy potoczą się źle — a bardzo łatwo mogą — może to zostać użyte przeciwko wam.
Dlaczego AGI powinno być otwarte
David: Jesteś jednym z największych zwolenników otwartego kodu, jakich znam. Dlaczego uważasz, że AGI powinno być open source?
Ahmed: Odłóżmy AGI na bok. Czy do niego dojdziemy, czy nie — to osobna dyskusja, którą wielu ludzi uwielbia prowadzić, a dla mnie jest głównie filozoficzna. Pytanie brzmi raczej: dlaczego ta nowa rzecz, z którą wszyscy mamy do czynienia, powinna być powszechnie dostępna? Bo dla mnie to infrastruktura cywilizacyjna.
Nie chcesz, żeby ktoś zbudował model spod twoich nóg. Nie chcesz, żeby ktoś go kwantyzował bez twojej wiedzy. Może się zdarzyć, że w jednej lokalizacji dostajesz model o 5% niższym „ilorazie inteligencji” niż gdzie indziej — tylko dlatego, że to oni kontrolują model. Jest tyle sposobów, żeby sterować tym, co faktycznie jest serwowane.
(Informacja dodatkowa: kwantyzacja to zmniejszenie precyzji wag modelu — np. z 16 do 4 bitów — które obniża koszt obliczeń, ale może pogorszyć jakość odpowiedzi. Użytkownik API zwykle nie wie, w jakiej precyzji serwowany jest model.)
Dlaczego więc nie miałbyś kontrolować tej infrastruktury? Dlaczego nie miałbyś mieć wag u siebie i uruchomić ich na własnych maszynach — czy to DeepSeek V4 Flash, który bez problemu chodzi na DGX Sparku za 5 tys. dolarów, czy coś z poziomu frontier, jak Kimi K3, który jest blisko Fable 5? To są modele, które dosłownie pobierasz na własną maszynę i konfigurujesz u siebie, a nikt ci ich nie odbierze. Sam decydujesz o kwantyzacji, o tym, jak wygląda poziom inteligencji, jak te modele wchodzą z tobą w interakcję i jak odpowiadają.
To jest kontrola nad rzeczą, która myśli za ciebie. Jak można nie chcieć mieć tego pod ręką? Do tego nikt nie widzi twoich wiadomości, nikt nie widzi twoich interakcji, nikt nie przechwyci twojej własności intelektualnej. A jeśli jesteś organizacją — to ma ogromne znaczenie.
Uzależnienie porównywalne z prądem i internetem
David: Ludzie dzielą się z AI wszelkiego rodzaju sprawami osobistymi — dużo bardziej niż z jakąkolwiek inną technologią. Ale najmocniejszy argument jest chyba taki: gdybyś powiedział komuś „zabieram ci komputer, zabieram ci internet, zabieram prąd”, każdy natychmiast zrozumiałby, jak bardzo byłby okaleczony. Nie mógłby konkurować w biznesie ani na rynku pracy. A ludzie nie zdają sobie sprawy, że za dwa, trzy, pięć lat AI będzie ważniejsze niż te technologie. I jeśli ktoś inny to kontroluje i może po prostu odciąć ci dostęp — tak, jak zrobili z Fable — jesteś całkowicie ugotowany.
Ahmed: Dokładnie. Nie podoba mi się to. Informacja wysyłana do jakiegokolwiek API powinna być bezstanowa. Nie powinna nieść żadnej wiedzy o tobie.
Kilka tygodni temu opublikowałem wpis o tym, że dostałem od ChatGPT e-mail zachęcający, żebym zaczął się w ChatGPT reklamować. I proszę: zbierają wszystkie te dane o tobie ze wszystkich rozmów, które prowadzisz, żeby zdecydować, jakie reklamy ci podać. Wiedzą o tobie więcej niż jakakolwiek inna strona. Kiedyś wszyscy mówili: pomyślisz o czymś albo pogadasz z kimś o czymś i nagle widzisz to na Instagramie czy Facebooku. Teraz to już nie jest kwestia podsłuchu — ty dosłownie rozmawiasz z tą rzeczą i wydaje ci się, że ona na ciebie nie patrzy, że cię nie analizuje. A ty sam mówisz im, co ci sprzedać.
Oddajesz o sobie za dużo. Jeśli sprawy pójdą w złą stronę — a bardzo łatwo mogą — możesz zostać… nie chcę powiedzieć „szantażowany”, ale może to zostać użyte przeciwko tobie. I to systemowo. To może być ubezpieczyciel zdrowotny, który zawrze umowę z jednym z tych dostawców. Tyle rzeczy może pójść nie tak, że lepiej wyjdziesz na kontrolowaniu tego i uruchamianiu na własnej maszynie.
Zwykle podaję taki przykład — mam tu swojego iPhone’a. GPT-4o było kiedyś serwowane w centrach danych. Dziś masz Qwena o czterech miliardach parametrów, który chodzi na tym urządzeniu i działa lepiej. Jest mądrzejszy i bardziej zdolny.
Kierunek, w którym zmierzamy, to taki, w którym każdy zatrzymuje tę rzecz dla siebie. I dlatego sprzęt drożeje. Moim zdaniem ludzie powinni przestać dawać pieniądze zamkniętym dostawcom, bo ci używają tych pieniędzy jako dźwigni do zbierania kapitału od funduszy VC, a potem budują za to centra danych. To z kolei zaciska łańcuch dostaw, co z kolei uniemożliwia ci kupienie sprzętu dla siebie.
Przerwa sponsorska
(Informacja dodatkowa: w tym miejscu w oryginale znajduje się blok reklamowy narzędzia Code Rabbit — agenta do przeglądu kodu, który podłącza się do repozytorium, porządkuje pliki w pull requeście według istotności zamiast alfabetycznie, tłumaczy znalezione problemy, proponuje gotowe poprawki i zapamiętuje feedback udzielony zwykłym językiem. Materiał był przez Code Rabbit sponsorowany.)
Łańcuch dostaw: dlaczego sprzęt drożeje i nie stanieje
David: To bardzo dobra analogia z łańcuchem dostaw. Może wejdźmy w to głębiej, bo wielu ludzi nie zdaje sobie sprawy — a raczej zdaje sobie, bo jest o tym w mediach, ale nie przekłada tego na siebie — że zostaną wypchnięci cenowo. Te firmy mogą wydawać miliardy i dziesiątki miliardów dolarów na centra danych, a producenci przy napiętym łańcuchu dostaw sprzedadzą temu, kto zapłaci najwięcej. Więc GPU konsumenckie i sprzęt konsumencki pójdą pierwsze.
Ahmed: Rok temu mówiłem ludziom i marudziłem o tym, że RTX 5090 kosztuje w Walmarcie 1900 dolarów — bierzcie. Wczoraj Micro Center podniósł cenę 5090 do 4400 dolarów. Popyt jest wyższy niż podaż. Ceny będą dalej rosły.
I rzecz w tym, że pamięć przestała być cykliczna. Kiedy ludzie mówią, że rynek pamięci jest cykliczny — owszem, zawsze był, bo przechodziliśmy z DDR1 na DDR2, potem na DDR3 i wszyscy musieli aktualizować serwery. Dlatego pamięć stała się cykliczna: wszyscy wymieniali sprzęt w tym samym czasie albo w tym samym przedziale lat. A potem nagle wszyscy używają tego samego DDR4 i podaż przewyższa popyt.
Ale teraz nie wchodzimy w nową technologię, której ludzie nie mogą się doczekać. Nie. Popyt jest wyższy, bo wszyscy chcą generować więcej tokenów. Więc argument, który wszyscy mi powtarzają — „zaczekaj, ceny spadną” — jest fałszywy. Apple na konferencji wynikowej kilka dni temu mówiło, że korzystało z własnych rezerw pamięci i dlatego nie podnosiło cen tak szybko jak inni. Ale zapowiadają, że od września będzie im ciężko i iPhone’ów będzie mniej niż zwykle, bo po prostu nie mają wystarczających rezerw i nie potrafią kupić pamięci dość szybko, żeby produkować dość szybko. A zatem ceny naturalnie i nieuchronnie pójdą w górę.
David: To trochę tak, jakby pewien sprzęt stawał się inwestycją. Można dosłownie kupić sprzęt i… to nie jest porada finansowa.
Ahmed: Oczywiście, oczywiście. [śmiech] Upewniam się tylko, bo pamiętam, że rok temu, kiedy o tym pisałem, wszyscy pytali: „ty każesz ludziom w to wchodzić?”. To był żart. Zacząłem mówić wszystkim: sprzedaj obie nerki, jeśli musisz, żeby to kupić. Mówię: dobra, jak to zrobisz, to już nie moja sprawa. [śmiech]
David: Strategia Michaela Saylora.
Od czego zacząć z self-hostingiem — warstwa software’owa
David: Jak ludzie mogą wejść w self-hosting? Zejdźmy na bardzo praktyczny poziom. To onieśmielające dla kogoś, kto po prostu używa gotowego, ładnie skonfigurowanego produktu. Co poleciłbyś komuś, kto nie wie o self-hostingu nic?
Ahmed: Pracuję nad projektem o nazwie ODS — to kompletny system wdrożeniowy, pełny stos, od początku do końca. Ale cofnijmy się o krok.
Kiedy korzystasz z Claude Code albo Codex CLI, nie rozmawiasz po prostu z modelem. Rozmawiasz z infrastrukturą. Rozmawiasz z systemem, który ma poprawnie skonfigurowane wyszukiwarki. Rozmawiasz ze scraperami stron. Rozmawiasz z całą infrastrukturą. Tego właśnie brakuje w przestrzeni otwartego AI, a zwłaszcza lokalnego AI — czegoś, co czyni to doświadczenie bezszwowym.
Pamiętam, jak w marcu kolega kupił RTX 5090, żeby uruchomić Qwena 3.5 o 27 miliardach parametrów, podpiął go pod Claude Code i poprosił, żeby zmienił kolory podświetlenia RGB na jego karcie. Nie dał rady. Zapytałem: dałeś mu wyszukiwarkę? Odpowiedział: „O czym ty w ogóle mówisz?”. A ja: musisz mu dać coś, czym wejdzie do internetu, pobierze potrzebne dane, a potem użyje narzędzia, żeby zmienić kolory. Mam własne endpointy wyszukiwarki, otworzyłem firewall na jednej z moich maszyn i dałem mu dostęp. Powiedziałem: ustaw tę zmienną środowiskową, zanim uruchomisz polecenie, i zobacz, jak pójdzie. Zadziałało.
I to właśnie sprawia, że doświadczenie lokalnego AI jest tak trudne: nie wiesz, które elementy trzeba skonfigurować.
ODS to nasza odpowiedź. Jest na licencji Apache 2.0, w pełni otwarty. Każdy może to wziąć i zrobić z tego coś dla siebie albo nawet skomercjalizować. Mamy ODS oraz ODS Enterprise w Osmantic, gdzie robimy z tym mnóstwo rzeczy — konfigurujemy całe organizacje — a wersję otwartą wypuściliśmy dla osób prywatnych, żeby mogły wejść w lokalne AI.
To mój sposób na powiedzenie: da się to zrobić bezszwowo od początku do końca. Bo tu chodzi o generowanie obrazów, generowanie wideo, interfejs czatu, wszystkich twoich agentów w jednym miejscu, skonfigurowaną od razu wyszukiwarkę, RAG — całą tę infrastrukturę, która sprawia, że doświadczenie ChatGPT jest tak dobre. To trzeba odtworzyć lokalnie i my próbujemy to zrobić. Więc powiedziałbym, że to najprostsza i najbardziej bezszwowa droga. Pracuję nad tym, bo siedzę w tej przestrzeni od 2022 roku i znam wszystkie bolączki.
David: Podlinkuję ODS pod filmem. Jest na GitHubie, można klonować, forkować, robić z tym, co się chce.
Ahmed: To zresztą jedno polecenie. Dosłownie jedno polecenie instaluje wszystko. Nie musisz się w ogóle martwić.
Sprzęt według budżetu
David: To była strona software’owa. Porozmawiajmy o sprzęcie. Może ja będę wymieniał budżety, a ty powiesz, jak byś o nich myślał?
Ahmed: Dobra, lecimy.
David: Zacznijmy od tysiąca dolarów. Czy to w ogóle możliwe?
Ahmed: Do czegoś bardzo prostego… szczerze mówiąc, nie. Powiedziałbym, że minimum to 4–5 tysięcy dolarów.
David: No to weźmy pięć tysięcy.
Ahmed: DGX Spark. Kup sobie DGX Sparka albo Strix Halo. Po prostu uprość sobie całą sprawę — chyba że planujesz tysiąc równoległych agentów. To prawdopodobnie najłatwiejsza ścieżka na start.
Bo jeśli mam do czynienia z kimś, kto naprawdę chce w to wejść, bawić się w tensor parallelism i zrozumieć, jak to działa, to moja standardowa rekomendacja brzmi: kup dwa używane RTX 3090. Kilka lat temu kosztowały po 500 dolarów za sztukę. Wyszły w 2020 roku, a dziś to 1000–1200 dolarów za jedną. Więc jeśli mówimy o 4–5 tysiącach, jedna ze ścieżek to dwa RTX 3090. Pozwolą ci eksperymentować z różnymi silnikami inferencyjnymi, uruchamiać agentów współbieżnie, mieć równolegle działających agentów na Qwenie 3.5 czy 3.6 o 27 miliardach parametrów. Lepiej sprawdzają się przy modelach gęstych — a ten, który wymieniłem, właśnie taki jest.
(Informacja dodatkowa: tensor parallelism to rozłożenie jednego modelu na wiele kart graficznych, tak by liczyły jego warstwy równolegle. Model „gęsty” aktywuje przy każdym tokenie wszystkie swoje parametry, w odróżnieniu od architektur typu mixture-of-experts, które uruchamiają tylko część.)
Nie wiem, czy powinniśmy wchodzić w różnice między architekturami modeli, ale to właśnie tam sprzęt ma znaczenie. Napisałem na ten temat dwa artykuły — konkretnie o przepustowości i pojemności pamięci — pod adresem thelocalaibook.com. Jak to wpiszesz, otworzy się wątek na X z artykułami. To nawet nie jest strona, tylko link do tekstów.
Przepustowość kontra pojemność
Zaczyna się od tego, że musisz odróżnić pojemność pamięci od jej przepustowości.
Przepustowość pamięci to jest to, co sprawia, że tokeny powstają szybko. To ona pozwala na cztery czy pięć agentów działających równolegle, każdy z prędkością rzędu stu tokenów na sekundę. Do tego potrzeba GPU. RTX Pro 6000 ma 1,8 terabajta na sekundę przepustowości, podczas gdy DGX Spark ma 273 gigabajty na sekundę. To różnica około siedemnastokrotna. I to naprawdę widać, kiedy próbujesz uruchomić agenta z kontekstem 200 tysięcy tokenów. Próbowałem tego na czterech Sparkach — agent z kontekstem 200 tysięcy tokenów potrzebował jakichś 23 minut. To był MiniMax 2.5.
Więc przepustowość ma znaczenie, kiedy chcesz być szybki. Pojemność ma znaczenie dla tego, jak duży, jak inteligentny i jak zdolny jest model, który chcesz zmieścić na swoim sprzęcie. Między jednym a drugim są kompromisy i większość ludzi w ogóle o tym nie myśli. Patrzą tylko: to ma 64 GB, a to 128 GB.
Trzecie kryterium: wsparcie software’owe
To coś więcej. Bo możesz pójść i kupić dwa GPU Intela, każdy z 32 GB, a przepustowość, o ile pamiętam, jest tam rzędu 600 GB/s. Problem w tym, że nie mają wsparcia software’owego w silnikach inferencyjnych ani w kernelach, które piszą kontrybutorzy — bo znacznie więcej ludzi ma karty Nvidii, a więc dla nich powstaje znacznie więcej kontrybucji i rozwoju. Przy Intelu utkniesz z mniejszą liczbą obsługiwanych modeli, a wydajność nie będzie optymalna. Na papierze specyfikacja powie ci, że masz 64 GB pamięci na dwóch kartach — ale czy to się faktycznie przełoży na sensowne uruchamianie modeli? Nie. To będzie bardzo bolesne doświadczenie.
I dlatego czasem naciskam przeciwko niektórym producentom sprzętu — nie chcę, żeby ludzie wchodzący w lokalne AI zrazili się, bo modele, które chcieli uruchomić, nie działają na sprzęcie kupionym za ciężko zarobione pieniądze.
Wiem, że Nvidia ma zespoły, które pracują nad ulepszaniem DGX Sparka i piszą dla niego kernele. Wiem, że wsparcie istnieje. Wiem, że AMD też zaczyna w to iść. Inni producenci wciąż są w tyle. Można powiedzieć: Intel ma dobre i szybkie GPU — ale nie ma dla nich oprogramowania. Więc je kupisz i nie będziesz umiał ich użyć.
Podsumowując: za 4–5 tysięcy dolarów zacznij od dwóch RTX 3090 albo DGX Sparka lub Strix Halo.
Progi 10 i 20 tysięcy dolarów
Kolejny skok to RTX 5090, który sam po podatkach kosztuje jakieś 5 tysięcy dolarów. Do tego trzeba dołożyć jakieś 3–4 tysiące na resztę: RAM, SSD, płytę główną, procesor. I to jest budżet dziesięciotysięczny — 5090 plus pełny build w obudowie to około 10 tys.
Potem przychodzi przedział 20 tysięcy: RTX Pro 6000. A jeśli wydajesz więcej niż tyle — proszę, idź przeczytaj moje artykuły na thelocalaibook.com. Poświęć czas, przeczytaj to spokojnie. Nauczysz się mnóstwa o kompromisach i będziesz w stanie podjąć własną decyzję.
Czy da się budować „skalowalnie”?
David: A jak zbudowałbyś to komuś, kto nie ma żadnego sprzętu albo ma tylko jeden główny komputer — tak, żeby dało się to skalować? Żeby nie kupił za 5 tysięcy czegoś, co potem nie pasuje do zestawu za 20 tysięcy.
Ahmed: Wiem, o co ci chodzi, ale rzecz w tym, że jeśli startujesz z pięcioma tysiącami, to nie zeskalujesz tego. Krótka i prosta odpowiedź brzmi: to niemożliwe.
Zaczynając, musisz mieć w głowie: „chcę później dodać więcej GPU”. A wtedy patrzysz na płyty główne klasy workstation i procesory typu Threadripper albo serwerowe Intela czy Epyci — i na pamięć. To wszystko jest bardzo drogie. Te płyty zwykle wolą mieć wszystkie sloty RAM obsadzone, więc na sam RAM wydasz co najmniej 7–8 tysięcy dolarów. To się sumuje.
Więc jeśli mówisz mi „chcę zacząć od 5 tysięcy i skalować później”, odpowiem, że to niewykonalne. Lepiej wyjdziesz na oszczędzaniu. Tyle że jeśli teraz oszczędzasz i czekasz, aż będziesz mógł to kupić — to czy w ogóle będziesz mógł, przy tym, jak to zdrożało?
Kompresja inteligencji — prognozy, które się spełniają szybciej
Na początku tego miesiąca miałem wystąpienie na AI Engineer World’s Fair o „wpływie na parametr”. Mówiłem o tym, jak daleko zaszliśmy od czasów Llamy 2. Moja prognoza była taka, że w ciągu 18 miesięcy będziemy mieli odpowiednik inteligencji GLM 5.2 działający na pojedynczym 5090. I proszę — dziś dostaliśmy DeepSeek V4 Flash, który jest o 70% mniejszy niż GLM 5.2 wypuszczony w zeszłym miesiącu, zmieściłby się na pojedynczym DGX Sparku i jest od niego inteligentniejszy. Szaleństwo.
W grudniu 2025 napisałem prognozę, że do końca 2026 roku będziemy mieli jakość Opusa 4.5 na pojedynczym RTX Pro 6000 — i to nie przyciętego Opusa 4.5, tylko prawdziwego. Stało się to do marca. Nie jest jeszcze nawet koniec roku.
Sposób, w jaki otwarte modele stają się coraz wydajniejsze, kumuluje się wykładniczo. Kiedy raz rozgryziesz sztuczki architektoniczne, które dobrze się składają — tak jak zrobił dziś DeepSeek — i masz dość danych do treningu, i użyjesz odpowiedniej mocy obliczeniowej przez wystarczająco długi czas, będziesz miał coraz wydajniejsze i coraz mniejsze modele.
Dlatego kiedy dziś mówię ludziom, że 5090 da im naprawdę dobrą inteligencję — za rok będą mieli bardzo dobrą. Rok temu nikt by nie kupił DGX Sparka. Nikt, bo co byś na tym uruchomił? Nic użytecznego. A dziś dostajesz dosłownie coś lepszego niż Opus 4.6, działające lokalnie, bez oddawania swoich danych. Twoja własność intelektualna zostaje twoja, a model jest bardzo dobry, wydajny, szybki i inteligentny.
DeepSeek V4 Flash i problem nazewnictwa
David: Pogadajmy o DeepSeeku V4 Flash, bo to ogromny postęp. Moje pierwsze wrażenie jest takie, że DeepSeek potrzebuje lepszego brandingu. Powinni dodawać te 0,1 czy 0,5, bo wielu ludzi patrzy i mówi: chwila, czy V4 nie wyszedł dwa miesiące temu? A to była wersja podglądowa, a teraz jest… No właśnie. Dlaczego ten model jest tak dobry?
Ahmed: Wszyscy wiemy, że mamy problem z nazewnictwem we wszystkich laboratoriach. Gdyby piątka nazywała się po prostu piątką, nikt by się nie przejmował i nie byłoby tego całego 5.6. A teraz mamy Soul, Lunę i Fast. Jak mam to wszystko ogarnąć? [śmiech] Myślę, że to ogólny problem tego, jak badacze i laboratoria nazywają swoje modele.
Sama idea „wersji podglądowej” — musiałem to dziś ludziom tłumaczyć. Mieliście rację, tamto było preview. Teraz to jest pełny przebieg treningowy.
I naprawdę uważam, że pełny DeepSeek V4, kiedy wyjdzie, rozwali ludziom głowy. Kiedy tamten model wyszedł, napisałem, że jest niedotrenowany — mogę ci ten wpis przesłać, jeśli chcesz go pokazać na ekranie. Był skrajnie niedotrenowany jak na swój rozmiar. Nie dali mu wystarczająco dużo danych. Przy coraz lepszych danych nie mogę się doczekać wyników DeepSeeka V4 Pro — tego prawdziwego, o rozmiarze rzędu biliona z czymś parametrów. To mnie na pewno zwali z nóg. Mają wszystkie właściwe sztuczki na miejscu. Po prostu nie był dostatecznie „ugotowany”, zanim dali nam preview. Myślę, że chcieli powiedzieć: jesteśmy, wciąż nad tym pracujemy, czekajcie na nas.
Dziś, przy V4 Flash — nie preview, tylko pierwszej właściwej wersji — widzimy ogromny skok wydajności względem wersji podglądowej. I sądzę, że to samo, a nawet z lepszym efektem kumulacji, zadziała przy większym modelu, jeśli zostanie wytrenowany na dostatecznej ilości danych.
David: Czyli myślisz, że będzie potężniejszy niż Kimi?
Ahmed: O tak.
David: Dlaczego? Bo to mniejszy model?
Ahmed: Nie, nie mówię o Flashu. Mówię o pełnym modelu, o Pro.
David: Ale czy preview Pro to nie było 1,4 biliona? Myślisz, że będzie dużo większy?
Ahmed: Architektura wyglądała tak, jakby mieli każdy element ułożony wzorowo. Chodzi tylko o przeskalowanie tego w sposób, który się kumuluje. Trenowanie modeli — i badania nad nimi — to trochę „vibe research”: próbujesz różnych rzeczy i patrzysz, jak się składają. Każde ich rozwiązanie architektoniczne wyglądało świetnie, po prostu nie było wystarczająco przeskalowane na każdym kroku. Pokażcie mi to porządnie przeskalowane, a myślę, że będzie zabójcze. Zapiszmy to sobie — wypuścimy ten film, a jeśli to się wydarzy i faktycznie okaże się lepszy niż Kimi K3, wrzućcie to na X i podajcie dalej.
Kimi K3 jako punkt zwrotny
David: To pogadajmy o Kimi. Jak wielkim momentem było w twoich oczach wydanie Kimi K3? Bo mam wrażenie, że to było dla wielu ludzi przebudzenie.
Ahmed: Absolutnie przełomowym. Mówiłem ludziom, żeby czekali na okres od sierpnia do października, ze względu na modele, które mieliśmy dostać. Nigdy nie miałem wątpliwości, że otwarte AI dogoni frontier. Pytanie brzmiało raczej: czy niektórzy gracze naciskać będą tak mocno przeciwko otwartemu AI, że zostanie ono zakazane, zanim tam dotrzemy?
Od dłuższego czasu bardzo jasno mówię, co myślę o niektórych laboratoriach. Wiem, że konkretnie Anthropic działa w złej wierze — moim zdaniem — od kilku lat. Mam wpisy sięgające października 2024, w których pisałem, że to nie jest dobre laboratorium, że bezpieczeństwo i alignment są tam przykrywką.
David: No tak. Dopóki nie są na prowadzeniu, prawda? „Nigdy nie chcemy przesuwać granicy możliwości”.
Ahmed: Wyszło Kimi K3 i nagle otwarte modele — czy jak kto woli, otwarte wagi — doganiają frontier, stanowiąc alternatywę dla ich sposobu, czyli kontrolowania tej rzeczy i dawania nam endpointu, który mogą odebrać, kiedy zechcą. I nagle mamy pół laboratorium Anthropic pod tym listem „spowolnijmy rozwój AI, powstrzymajmy to, zanim wymknie się spod kontroli”. Gdzie to było rok temu? Gdzie to było kilka miesięcy temu? Czy chodzi tylko o to, że ktoś inny właśnie was dogania? A potem wchodzisz w ten list i widzisz, że jakieś 50% sygnatariuszy to ludzie z Anthropic.
Zawsze mówili o bezpieczeństwie, o cyberbezpieczeństwie, o tym, jak to oni robią dobro dla ludzi. A potem patrzysz na atak OpenAI na Hugging Face — ten autonomiczny agentowy atak, w którym Hugging Face zostało zhakowane przez modele OpenAI — i na to, jak Hugging Face próbowało użyć modeli OpenAI i Anthropic, żeby zbadać, co poszło nie tak. I te modele, „ze względów bezpieczeństwa”, odmówiły. Więc jak to jest: nie zapewniacie nam bezpieczeństwa, wasze modele mogą być użyte do ataku, wasze zabezpieczenia, które rzekomo chronią wszystkich, da się obejść — to jak ja mam się bronić?
David: Kompletna hipokryzja.
Ahmed: Hugging Face musiało sięgnąć po GLM 5.2 — otwarty model, który mogli hostować we własnej infrastrukturze i który nie miał barierek — żeby móc się bronić, gdy tamci blokowali ich z „fałszywych względów bezpieczeństwa”.
Każdy argument, jaki te zamknięte laboratoria wysuwały o bezpieczeństwie, ochronie i zwalnianiu tempa, to tylko sposób na ochronę własnej fosy i próba regulatory capture.
(Informacja dodatkowa: regulatory capture — sytuacja, w której podmiot regulowany kształtuje regulacje tak, by chroniły jego pozycję rynkową przed konkurencją.)
Czy Anthropic jest dziś wart bilion dolarów? Absolutnie nie, to nie ma sensu. Czy Anthropic jest wart jedną trzecią albo jedną czwartą Nvidii? Absolutnie nie. A teraz, gdy Fable 5 zderzyło się z Kimi K3, ich bilionowa wycena jest zagrożona. Oczywiście będą próbowali to obejść — destylacja, będą wrzeszczeć jak zarzynani, żeby się ratować. I nic z tego nie jest prawdą.
David: Widać to po tych wpisach: „nasz model został zhakowany”, a Anthropic na to: „a nasze modele wyrwały się z zabezpieczeń”. Kto przelicytuje kogo?
Ahmed: „Nie, mój model popełnia zbrodnie wojenne. Serio, mój model jest jeszcze groźniejszy. Proszę, uregulujcie nas.” Skoro wszyscy postanowiliście podpisywać listy — czemu nie stworzycie sobie ciała obywatelskiego, sami się nie ograniczycie, nie uzgodnicie zasad i nie powstrzymacie się przed zbyt szybkim rozwojem? Co z tym? Dlaczego musicie iść do rządu?
To nieetyczne, żeby dalej okłamywać ludzi — zwłaszcza gdy przyłapało się ich raz, drugi i trzeci, a oni wciąż to robią i wciąż działają w złej wierze. W zeszłe Boże Narodzenie wszyscy byli zakochani w Anthropic i Claude. Mówiłem: dajcie spokój, nie dajcie się nabrać. Oni nie są tymi od bezpieczeństwa. Oni nie dbają o was.
Dosłownie kłamali przez wiele miesięcy o pogorszeniu jakości swoich modeli — mówiło się o tym aż do września — a potem wydali dwie analizy powdrożeniowe: „o, znaleźliśmy to i tamto”. Czyli mieliście problemy. To dlaczego zaprzeczaliście, kiedy wszyscy próbowali wam to powiedzieć? To gaslighting jako usługa. [śmiech]
I pamiętasz, jak powiedzieli, że kiedy trenujesz modele frontier — albo cokolwiek związanego z AI — ich model nie tylko odmówi, ale zniszczy twoją bazę kodu? Jak to jest etyczne? Jak to jest bezpieczne? Jakie zasady i wartości pozwalają powiedzieć: to jest właściwa decyzja, narzućmy to ludziom?
David: No i jeszcze historia z niszczeniem książek, gdzie musieli obejść jakieś orzeczenie sądu. Niszczą książki, skanują je — dosłownie wymazują ludzką wiedzę, zachowując ją tylko w swoich modelach.
Ahmed: A potem chcą płakać o destylację. Zdestylowali nas wszystkich — całą ludzkość na przestrzeni dziejów, całą literaturę, cały kod, całą sztukę. A teraz ktoś trenuje mały model na kilku ich wyjściach i nagle problem. A wy skąd wzięliście swoje dane, hm?
Zabawne jest to, że próbowali malować obraz, w którym Kimi K3 był trenowany na Fable 5. Jak długo Fable 5 był w ogóle dostępny przed Kimi K3? To bez znaczenia dla przebiegu treningowego, który wyprodukował tamten model. Trzeba pytać o ich intencje, o to, skąd przychodzą i w jaką grę grają. Nie mam już żadnej wiary w to, że działają w dobrej woli. Po prostu próbują chronić swój biznes i swoją wycenę — moim zdaniem szaloną, głupią wycenę. I na szczęście sądzę, że jest już za późno. Za późno, żeby zakazać otwartego oprogramowania. Za późno, żeby kontrolować ludzi tak, jak chcieli. I każe mi to się zastanawiać: gdyby sprawy poszły nie tak, co ci ludzie zrobiliby nam, dysponując infrastrukturą cywilizacyjną, do której wszyscy potrzebują dostępu?
Dlaczego zakazanie open source już się nie uda
David: Mówisz, że jest za późno na zakazanie open source. Dlaczego tak sądzisz i co możemy zrobić, żeby to się nigdy nie stało?
Ahmed: Nie znam przyszłości. Ale mogę powiedzieć, że w tym momencie każde małe laboratorium, każdy, kto chce coś stworzyć, może wziąć Kimi K3 i użyć go do generowania danych syntetycznych, by wytrenować mniejsze i wyspecjalizowane modele. To mi wystarczy, żeby stwierdzić, że postęp będzie trwał.
Widzieliśmy też inicjatywy Nvidii wokół Nemotrona. Widzieliśmy list o otwartych wagach i amerykańskim przywództwie, przygotowany przez Microsoft — w Osmantic jesteśmy naprawdę dumni, że go podpisaliśmy. Mówi on rządowi: nie możemy zakazać otwartego oprogramowania. Musimy dać tę infrastrukturę cywilizacyjną wszystkim. Każdy musi mieć nad tym kontrolę, nie jeden podmiot ani kilka podmiotów.
Myślę, że za open source stoi teraz rozpęd, bo ludzie zaczynają rozumieć, że ta rzecz jest większa niż kilka firm, które potrafią kłamać ci prosto w twarz i cię sabotować. Świadomość jest bardzo ważna, ale znaczy też, że liderzy branży zaczynają mówić o tym głośno.
Można spokojnie rozmawiać o regulacjach w sensie: czy potrafimy uzgodnić podstawowe wytyczne? I to nawet nie muszą być regulacje rządowe. To może być ciało obywatelskie. To mogą być firmy, które siadają razem i uzgadniają pewne granice testowania przed wypuszczeniem modelu. Ale proszenie rządu i lobbowanie o to — tutaj stawiam granicę i tu mam problem.
Myślę, że wszyscy widzą intencje Anthropic i niektórych innych laboratoriów i na szczęście ludzie już się na to nie nabierają. Wszyscy widzą: aha, czyli wy po prostu chcecie zakazać konkurencji. A w tym świetle, zwłaszcza po ataku OpenAI na Hugging Face i po odmowie ich modeli udzielenia pomocy komuś, kto był atakowany i chciał się bronić — w tym momencie wszyscy już wiedzą, że oddanie tej infrastruktury i pozwolenie tym ludziom, by kontrolowali ją w twoim imieniu, jest niebezpieczne. Musisz sam być za nią odpowiedzialny.
Widzimy też w Osmantic, że wiele organizacji zaczyna sobie uświadamiać, że ich własność intelektualna może im zostać ukradziona i użyta przez te laboratoria do replikowania ich, a potem zastąpienia.
David: To bardzo niebezpieczne. Najlepszy jest wolny rynek z dużą konkurencją. Nie monopole — bo monopol poddaje cię kontroli. Przestajesz być wolny.
Ahmed: Chyba że to ty jesteś tym, kto kontroluje.
David: Dokładnie.
Ahmed: No i oczywiście oni działają w dobrej wierze. [śmiech] W każdym razie, chodzi mi o to, że organizacje odchodzą od chmurowych API do self-hostingu, do dedykowanego lub kolokowanego sprzętu, do czegoś, co albo posiadają, albo wynajmują. Ale najważniejsze jest to, że cała infrastruktura jest pod ich kontrolą.
Co konkretnie daje kontrola nad wagami
Wagi modelu nie mogą zostać po prostu podmienione, zmuszając cię do korzystania z najnowszej wersji. To się często zdarza: masz ewaluacje uruchamiane na przepływach pracy w twojej organizacji i nagle dostawca aktualizuje model, a te ewaluacje przestają być ważne, bo model zachowuje się inaczej. Bo oczywiście nikt nie będzie utrzymywał tysiąca wersji wag. Ale gdy hostujesz model sam, możesz to utrzymać i kontrolować — nic nie aktualizujesz i nic nie zmieniasz, dopóki sam tak nie zdecydujesz.
Poza tym twoje modele nie stają się mniej inteligentne czy mniej zdolne w godzinach szczytu z powodu ograniczeń mocy obliczeniowej, które zmuszają dostawcę do kwantyzacji — czy to wag, czy pamięci podręcznej KV. A wszystko to prowadzi do pogorszonej wydajności. Hostując model u siebie, kontrolujesz jakość wyjścia i wiesz, że utrzymasz ten poziom na zawsze. To bardzo ważne.
I nie oddajesz swoich danych. Nie oddajesz danych swoich klientów. Nie oddajesz swoich pomysłów biznesowych. Nie oddajesz swojej logiki biznesowej. To ogromna rzecz, nad którą musisz mieć pełną kontrolę.
Chcę, żeby ludzie zrozumieli, że kontrolowanie tego przez kilka firm w żadnym wypadku nie jest dla nas dobre. Dotyczy to każdego z nas i nie możemy na to pozwolić. Dlatego już wtedy, gdy lokalne i otwarte AI było niszą, mówiłem: kupuję GPU, robię to, buduję u siebie w piwnicy tę monstrualną konstrukcję — bo wierzę, że będę tego potrzebował, gdy przyjdzie czas, gdy zaczną tak bardzo obniżać jakość, gdy przestaną zaspokajać moje potrzeby, gdy zaczną odrzucać każde moje żądanie i kraść moje dane.
To ważniejsze niż internet, moim zdaniem.
David: Najważniejsze.
Ahmed: To zdecydowanie usługa użyteczności publicznej, której nie wolno ludziom odbierać. Niestety ta usługa wymaga mnóstwa mocy obliczeniowej i energii, przez co trudno ją zdobyć. Ale jeszcze gorzej jest, jeśli dalej płacisz tym firmom, żeby budowały centra danych — twoimi liczbami subskrypcji i wydatkami na API — po to, żeby sprzęt, który mógłbyś kupić dla siebie, znalazł się poza twoim zasięgiem. Dlatego mówiłem o tym dawno temu. Wiedziałem, że dojdziemy do momentu, w którym będziemy mieli bardzo dobre modele do self-hostingu, ale bałem się też tych ogromnych rund finansowania, które pozwalają im budować gigantyczne centra danych i wysysać łańcuch dostaw, z którego my kupujemy sprzęt dla siebie.
Darmowe plany dla naukowców
David: A propos kradzieży danych — widziałeś te darmowe plany dla naukowców? Zawsze mnie zdumiewa, jakie te firmy są hojne wobec naukowców i badaczy. Aż się człowiek zastanawia, dlaczego.
Ahmed: Nie znam tej konkretnej sprawy, ale rozumiem, skąd wątpliwości — cokolwiek ci dziś mówią…
David: Chodzi im o dane wysokiej jakości. Wszyscy wiedzą, że zeskrobali już cały internet, wszystko jest zeskrobane. Jaki jest lepszy sposób niż wziąć dziesięć czy sto tysięcy naukowców i dać im wersję pro? To był w tym przypadku OpenAI — i znów, ja tu tylko spekuluję, nie wysuwam żadnych twierdzeń, na wypadek gdyby prawnicy patrzyli. Ale sto tysięcy zawodowych naukowców to byłyby naprawdę dobre dane, nie sądzisz?
Ahmed: Nie wiem, jakie mają umowy, ale na pewno… Mam stary wpis o tym, że wszystko sprowadza się do danych i mocy obliczeniowej. Wszystko będzie skalowane — jeśli skupiasz się na jednej rzeczy, potrzebujesz danych, a moc masz. Więc zawsze trzeba pytać o intencje. Nie mogę tu stwierdzić, jak jest w tym konkretnym przypadku, ale mogę powiedzieć, że dane są bardzo, bardzo, bardzo ważne i mają skrajnie wysoką wartość, kiedy chcesz trenować małe, wyspecjalizowane modele.
W Osmantic mamy do czynienia z organizacjami, którym mówimy: ustawiamy was tak, żeby za 12–18 miesięcy zbudować wam mniejsze, wydajniejsze modele wyspecjalizowane pod wasze zadania i przepływy pracy. Będziemy dokładnie wiedzieli, co wysłać do modeli frontier na podstawie tego, co zbieramy teraz, a co puścić przez modele wyspecjalizowane. A nawet jeśli używamy API frontier do pewnych zadań, będzie to maskowane i bezstanowe — bo częścią tego, co trenujemy, jest warstwa, która usuwa wszystko, co dotyczy waszego planu biznesowego, i zadaje pytania w formie abstrakcyjnej, tak by model frontier mógł powiedzieć nam coś wartościowego, nie dostając przy tym samej wartości, o którą wam chodzi w waszych przepływach pracy.
To bardzo ważne rzeczy. Dotyczą naukowców, badaczy, szkół, każdej organizacji. Pamiętasz Figmę? Figma współpracowała z Anthropic, a kilka dni później Anthropic wypuściło własne narzędzie do projektowania.
David: To będzie się działo w branży na każdym poziomie. Przeczytajcie drobny druk agentów, których używacie. Wasze dane są przechwytywane. Co się z nimi dzieje — nie wiadomo. To, jakie dane są używane i do czego, jest problemem od dziesięcioleci. Więc co tym razem jest inne niż przy każdym poprzednim razie, gdy wiedzieliśmy, że dane są używane w sposób, w jaki być nie powinny?
Nowa nisza biznesowa: wdrażanie self-hostingu
David: Skoro coraz więcej firm się budzi i będzie chciało wejść w self-hosting i mieć własne modele — rok czy dwa lata temu okazja polegała na wdrażaniu AI na warstwie aplikacji. Myślę, że dużo większa szansa biznesowa leży w głębokim zrozumieniu self-hostingu: jak zbudować ten sprzęt, jak wygląda stos software’owy i wszystko, co za tym idzie. A potem wejść do firmy i powiedzieć: „słuchajcie, pomogę wam to wdrożyć. Wszyscy wasi pracownicy mają plany zespołowe i subskrypcje. Zobaczcie, ile wydajecie rocznie. Dlaczego nie przeznaczyć części tego na własną moc obliczeniową?”.
Ahmed: Widzimy średnio 70% oszczędności w pierwszym roku po wdrożeniu infrastruktury dla organizacji. Mogę powiedzieć, że korzystając z tych API, zostawiacie pieniądze na stole i o wiele lepiej wyszlibyście na posiadaniu tej infrastruktury od początku do końca. I nie chodzi tylko o to, że będzie wydajniej, szybciej i taniej. Chodzi też o to, że na dłuższą metę uchroni was to przed oddaniem własnego biznesu. Robimy to w Osmantic dokładnie tak, jak mówisz — bo to bardzo skomplikowane i wymaga mnóstwa pracy, ale jest lepsze niż dalsze płacenie za te API i tokeny, których cen za rok nikt nie zna.
Kto z big techu jest najbardziej przyjazny open source
David: Mówiliśmy o wątpliwych praktykach. Która z wielkich firm technologicznych jest najbardziej przyjazna otwartemu oprogramowaniu? [śmiech]
Ahmed: Myślę, że Nvidia radzi sobie świetnie — inicjatywa Nemotron i ich nacisk na otwarte modele. W marcu na GTC brałem udział w sesji pytań z Jensenem i pytałem go o zaangażowanie w otwarte AI. Wielokrotnie pokazywał, że jest przywiązany do idei, że inni też powinni mieć do tego dostęp i że nie może to być ograniczone do kilku graczy. Nvidia radzi sobie na tym polu bardzo dobrze.
Ucieszyłem się w zeszłym roku, gdy OpenAI dało nam GPT-OSS, i wiem, że oni też podpisali list. Ale chciałbym też zobaczyć GPT-OSS 2. Skoro mają w nazwie „open” — może dajcie nam coś, choćby wagi GPT-2? To historycznie ogromny element wszystkiego, do czego doszliśmy. Taki gest dobrej woli byłby na miejscu.
Google — bardzo chciałbym zobaczyć to duże. Krążyły plotki o Gemmie 4 w wersji 120-miliardowej, której zdecydowali się nie wypuszczać. Bardzo chciałbym ją zobaczyć. Google wypuściło Gemmę 4 i kilka dobrych modeli, więc uważam, że byli przyjaźni i to pokazali.
Myślę, że Anthropic jest jedyną firmą z wielkiej trójki, która nie wypuściła żadnych otwartych modeli ani otwartych wag. Oni po prostu lubią mówić o destylacji. [śmiech]
Więc to spektrum przyjazności wobec otwartych modeli, ale widzimy trend, w którym wszyscy coraz bardziej zgadzają się co do wolności wyboru: sam decydujesz, czego chcesz używać i jak, kiedy idziesz do zamkniętego laboratorium frontier, a kiedy hostujesz coś u siebie albo używasz płatnego API nawet dla modeli otwartych. Jedynym dużym graczem, który w ogóle nie chce grać, jest Anthropic. Nie da się tam nic zrobić — próbowaliśmy.
Jak maskować dane wysyłane do modeli zamkniętych
David: Wspomniałeś, że gdy firmy jednak decydują się użyć zamkniętych modeli frontier, macie sposób na maskowanie. Jak to robicie?
Ahmed: Nie wiem, ile mogę zdradzić. OpenAI wypuściło nawet model do maskowania, jednomiliardowy — są modele, które to umożliwiają. Ale u nas, w rozwiązaniach dla przedsiębiorstw, sprowadza się to do przepływów pracy. Musimy najpierw zebrać dane i zrozumieć je, zanim zdecydujemy, jak odjąć od nich logikę biznesową danej organizacji. Dlatego to naprawdę są rozwiązania szyte na miarę.
Istnieją modele, które ukryją twoje nazwisko, numer ubezpieczenia, adres — wszystkie te typowe dane osobowe. Ale to, jak robimy to dla danej organizacji czy firmy, wymaga wejścia w głąb: czym dokładnie jest ten biznes? Jak stworzyć wyabstrahowaną warstwę, która ukryje to przed wysłaniem na zewnątrz?
David: Rozumiem. Czyli zależy to od firmy i jest własnością intelektualną tej firmy, żeby wciąż dostawała odpowiedź, której potrzebuje, bez wycieku swojego rdzenia.
Ahmed: Dokładnie.
Apple kontra Nvidia
David: Wróćmy do sprzętu. Jak widzisz Apple kontra Nvidia? Ktoś patrzy: mam Mac Studio, mam DGX Sparka — jak pomóc ludziom zrozumieć, kiedy co kupić?
Ahmed: Zacznijmy od tego, że każdy element oprogramowania, którego używasz do modeli, jest tworzony pod konkretny sprzęt. Sposób, w jaki zaprojektowany jest sprzęt Apple, różni się od Nvidii, a warstwa nad sprzętem, która pozwala przetwarzać dane i uruchamiać modele, też jest inna. Więc budując silnik inferencyjny na jednym i drugim, masz do czynienia z zupełnie różnymi rzeczami. Dlatego to nie jest przenaszalne — nie mogę wziąć czegoś od Nvidii i uruchomić na Apple ani odwrotnie.
Wszystko sprowadza się do kontrybutorów open source, którzy mają Mac Studio i są gotowi poświęcić czas, żeby te modele uruchomić. Stąd MLX i podobne rzeczy. Te silniki inferencyjne dla Apple działają zupełnie inaczej niż vLLM dla Nvidii czy AMD. Same specyfikacje sprzętu i sposób jego zaprojektowania sprawiają, że praca na poziomie kerneli wygląda inaczej. Optymalizujesz zupełnie inne rzeczy. To nie jest przenaszalne — to pierwsza rzecz. To, co działa na Nvidii, niekoniecznie zadziała tak samo na sprzęcie Apple.
Ale jeśli ktoś pyta mnie, czy kupić Maca Mini, odpowiadam: stop. Przepustowość pamięci jest tam tak niska, że to będzie się wlekło jak żółw. Nawet w wersji Max to jakieś 150-kilka gigabajtów na sekundę i zatrzymuje się na 64 GB pojemności. Więc niewiele to daje.
Natomiast jeśli mówimy o w pełni wyposażonym Mac Studio — którego zresztą nie kupisz już nowego od Apple, bo ich nie mają — to jest 512 GB pamięci i jakieś 819 GB/s przepustowości. To już jest coś. Nie uruchomisz na tym dziesięciu agentów równolegle, ale kilka rozmleń naraz owszem, kilku agentów z modelem, który się zmieści — tak.
Jeśli natomiast pytasz, czy wydać 30 tysięcy dolarów na Mac Studio, czy zbudować maszynę z dwoma RTX Pro 6000 — mówię: buduj maszynę z RTX Pro 6000. Bo pojemność nie ma aż takiego znaczenia. Dziś dostaliśmy model o 200 miliardach parametrów, który pokonał model uważany za state of the art, a mający kilka miesięcy temu jakieś 750 miliardów. Modele stają się coraz wydajniejsze i mniejsze w zadaniach, na których wszystkim teraz zależy. A GPU Nvidii będą miały szybsze wsparcie i więcej kontrybutorów po prostu dlatego, że są tak dostępne i tak wiele rzeczy przenosi się z jednego sprzętu na drugi.
Są oczywiście różnice architektoniczne — na przykład między DGX B300 z centrum danych, nazywanym Blackwell, a RTX Pro 6000, też nazywanym Blackwell. Nie dzielą wszystkiego, są między nimi luki. Ale wiele rzeczy wciąż się przenosi, co ułatwia rozwój. Ludzie będą nad tym pracować szybciej niż nad sprzętem Apple, moim zdaniem.
Ostatecznie sprowadza się to do tego, jak bezproblemowego procesu chcesz. Jeśli boisz się grzebania w sprzęcie, Mac Studio wcale nie jest złym wyborem. Mac Studio jest zdecydowanie lepszy niż DGX Spark. Porównując te dwa: Mac Studio ma jakieś trzykrotnie wyższą przepustowość, a w maksymalnej konfiguracji około czterokrotnie większą pojemność pamięci. Pozwoli więc uruchamiać większe modele i szybciej. To czyni go zwycięzcą w tym pojedynku.
Ale mówiąc ogólnie, podtrzymuję swoje zdanie: GPU są nie do pokonania — zwłaszcza Nvidii, a także najnowsza generacja serwerowych GPU AMD, które radzą sobie bardzo dobrze na przykład przy Kimi K3. Są w tej chwili nawet tańsze do uruchamiania K3.
Trzy pytania przed każdym zakupem
Chodzi mi o to, że musisz myśleć o przepustowości, o pojemności i o wsparciu software’owym. To trzy rzeczy, które trzeba przemyśleć od początku do końca, decydując, na co wydać pieniądze na lokalne AI. Między nimi są kompromisy.
Dochodzą wymagania energetyczne. Budując maszynę z dwoma GPU — DGX Spark bierze jakieś 60 watów; ludzie łączyli po osiem sztuk i wciąż mieścili się poniżej 1000 W. Dwa RTX Pro 6000, zależnie od wersji, to od 600 do 1200 W. Więc: zasilanie, odprowadzanie ciepła, przepustowość pamięci, pojemność pamięci, wsparcie software’owe — to wszystko trzeba rozważyć.
A potem pytanie: gdzie chcesz być za kilka lat? Gdybym dziś kupował sprzęt dla siebie, poszedłbym w RTX Pro 6000. Bo owszem, spodziewamy się nowych rzeczy od Apple, ale wciąż nie wiemy, czy nowy Mac Studio będzie miał znacznie wyższą przepustowość i czy będzie dostępny w większych pojemnościach pamięci. A kiedy się pojawi — ilu ludzi będzie miało ten sprzęt, żeby faktycznie rozwijać open source? Bo to nie Apple pisze to oprogramowanie. Ilu deweloperów będzie kontrybuować do tych nowych urządzeń, jeśli między wersjami zajdą zmiany architektoniczne? I jak trudne to będzie dla twojego użytkowania — czy sam będziesz się uczył, jak uruchamiać modele na tym sprzęcie?
To kaskada pytań. I dlatego wciąż odsyłam do moich artykułów. Nie jest mi łatwo mówić o sprzęcie, bo nie próbuję ludziom powiedzieć, co mają kupić. Próbuję wyjaśnić, że to wielowarstwowy proces i że są rzeczy, które trzeba rozważyć w zależności od twojego przypadku użycia i twoich możliwości — czy jesteś gotów wykonać trochę pracy deweloperskiej, czy potrafisz złożyć maszynę. Ja musiałem dołożyć bezpieczniki w domu, kiedy zacząłem składać sprzęt u siebie — potrzebowałem bezpieczników 240 V, 40 A na niektóre węzły. To wszystko się nawarstwia, a moje artykuły to pokrywają.
Dlatego, kiedy spotykam kogoś, kto mówi „po prostu kup to, będzie działać”, myślę: przykro mi, ale nie wiesz, o czym mówisz. Bo nawet przy RTX Pro 6000 nowe modele nie są tak zoptymalizowane jak na DGX B300, który stoi w centrach danych. Tam mają je dopieszczone, bo tam leży zainteresowanie wszystkich.
(Informacja dodatkowa: kernel to niskopoziomowa procedura obliczeniowa wykonywana na GPU. Jej optymalizacja decyduje o tym, ile tokenów na sekundę faktycznie wyciśniesz z danej karty — sam sprzęt bez dopracowanych kerneli nie osiąga swoich parametrów.)
A przy RTX Pro 6000 to wciąż kontrybutorzy open source. Lo Alonso to jedno ze znanych nazwisk w środowisku GPU wśród ludzi zajmujących się inferencją — pracował dla Nvidii, ale też sam rozwija otwarte projekty, pisząc kernele dla RTX 6000. A kernele w kontekście modeli językowych to procedury wykonujące operacje matematyczne lub przenoszące dane z jednego obszaru architektury modelu do następnego. To, jak szybko to robisz, jak szybko przetwarzasz, jak umiesz to robić w partiach i współbieżnie, zależy od optymalizacji zapisanych w tych kernelach. A takie optymalizacje nie przychodzą od razu z pudełkiem dla każdego modelu i każdego GPU.
Weź Kimi: mają centra danych, na których trenują modele, i centra danych, na których je serwują, i pracują nad oprogramowaniem zoptymalizowanym pod sprzęt, który sami posiadają. Potem masz kontrybutorów open source pracujących nad vLLM — wiem, że Red Hat jest teraz właścicielem projektu i ma ludzi pracujących nad tym zawodowo, na pełen etat — ale ci ludzie też skupiają się na najwyższym zwrocie z inwestycji, a najwyższy zwrot to sprzęt klasy centrów danych dla przedsiębiorstw, które im płacą. Więc muszą skupiać się na innym sprzęcie.
W efekcie RTX Pro 6000, mimo że kosztuje dziś jakieś 15 tysięcy dolarów, nie ma wszystkiego zoptymalizowanego od razu. Działa, ale nie w sposób optymalny. A to sprzęt, który wielu członków społeczności już ma i który wciąż da się kupić. Więc zadaj sobie pytanie: czy warto iść w GPU Intela? Jak często znajdziesz kogoś, kto zajmie się faktycznie architekturą oprogramowania Intela i napisze te kernele czy optymalizacje? To robi się bardzo trudne.
Dlaczego domyślną rekomendacją są stare 3090
David: Doceniam szczegółową odpowiedź. Podlinkuję The Local AI Book pod filmem.
Ahmed: Staram się to wyjaśniać najprościej, jak potrafię, ale to naprawdę skomplikowany temat.
David: Ale to właśnie jest odpowiedź. Ludzie chcą prostej odpowiedzi: „dobra, jak to zrobić?”. I tak się właśnie popełnia błąd. Jeśli masz wydać dziesiątki tysięcy dolarów, lepiej najpierw zrób research.
Ahmed: Rozumiem, dlaczego ludzie bardzo techniczni, świetni w tym, co robią inżynierowie, złoszczą się na mnie, gdy domyślnie polecam dwa RTX 3090. Ale 3090 są na rynku od ośmiu lat. Powstało dla nich tyle rzeczy, że możesz nawet przekazać to agentowi i kazać mu napisać zoptymalizowany kernel pod ten sprzęt. Aż tak to się uprościło. A to dlatego, że ten sprzęt krąży w gospodarce i ludzie używają go tak często.
Z innym sprzętem tak nie jest. Nie jest tak z nowym GPU Intela, którego nikt nie ma. Cena jest świetna — 900 czy 1000 dolarów za kartę, dostajesz dużą pojemność i bardzo dobrą przepustowość. Ale czy masz oprogramowanie, które pozwoli faktycznie uruchamiać modele? Czy możesz użyć agentów, żeby uruchomić zoptymalizowane modele? Nie. Więc nie mogę mówić ludziom wchodzącym w lokalne AI, żeby to kupowali, bo skazałbym ich na złe doświadczenie. A nie o to mi chodzi.
I dlatego GPU Nvidii wciąż drożeją. Dlatego nawet DGX Spark drożeje, podczas gdy inny sprzęt nie drożeje tak szybko jak sprzęt Nvidii.
David: Czyli ludzie powinni zrozumieć, że cokolwiek kupią, stanie się to w przyszłości potężniejsze — wartość ekonomiczna, jaką ich sprzęt może wytworzyć, będzie większa, bo będziemy mieli bardziej zoptymalizowane, mniejsze modele.
Ahmed: To nie jest porada finansowa, ale taki trend obserwuję od czterech lat.
Zakończenie
David: Myślę, że to świetna nuta na koniec. Wielkie dzięki, Ahmed, za twój czas. Podlinkuję twojego Twittera i The Local AI Book. Co jeszcze ludzie powinni sprawdzić?
Ahmed: Świetnie mi się z tobą rozmawiało, David. Wiem, że musieliśmy kilka razy przekładać. Mam nadzieję, że następnym razem faktycznie pokażemy działający ODS i zademonstrujemy ludziom, jak wygląda i jak działa lokalne AI.
Na teraz: jeśli jesteś osobą prywatną i wchodzisz w lokalne AI, przeczytaj thelocalaibook.com. Sprawdź ODS. I naprawdę zrozum, co próbujesz zrobić i na co wydajesz pieniądze, zanim je wydasz. Jeśli jesteś organizacją — otwarte modele są tym, w co powinieneś inwestować. Posiadanie własnej infrastruktury od początku do końca jest tym, co powinieneś teraz robić. Bo będzie tylko coraz drożej, jeśli nie zaczniesz działać już teraz.
10 najważniejszych takeaways — z kontekstem zastosowania
1.Minimalny sensowny próg wejścia to 4–5 tys. dolarów
Na czym polega: Poniżej tego progu nie da się zbudować niczego, co realnie zastąpi korzystanie z API. Za 4–5 tys. dolarów masz dwie ścieżki: DGX Spark lub Strix Halo (prostota, gotowe urządzenie) albo dwa używane RTX 3090 (nauka, eksperymenty, tensor parallelism).
Jak stosować: Jeśli chcesz po prostu mieć działający lokalny system i nie interesuje cię grzebanie — bierz gotowe urządzenie. Jeśli chcesz zrozumieć, jak działa inferencja i eksperymentować z silnikami inferencyjnymi oraz wieloma agentami naraz — bierz dwie 3090.
Na co uważać: Ceny używanych 3090 wzrosły z ok. 500 do 1000–1200 dolarów za sztukę, więc kalkulacja z zeszłego roku już nie obowiązuje. Sprawdź aktualne ceny przed planowaniem budżetu.
2.Przepustowość pamięci decyduje o szybkości, pojemność o inteligencji
Na czym polega: To dwa niezależne parametry, których większość kupujących nie rozróżnia. Przepustowość (RTX Pro 6000: 1,8 TB/s vs DGX Spark: 273 GB/s — różnica ok. 17-krotna) decyduje, ile tokenów na sekundę wygenerujesz i ilu agentów uruchomisz równolegle. Pojemność decyduje, jak duży model w ogóle zmieścisz.
Jak stosować: Zanim spojrzysz na cenę, zdefiniuj swój przypadek użycia. Długie konteksty i wielu równoległych agentów → priorytet dla przepustowości. Jeden duży model, praca bez pośpiechu → priorytet dla pojemności.
Na co uważać: Efekt niskiej przepustowości jest brutalny przy długim kontekście — agent ze 200 tys. tokenów na czterech Sparkach potrzebował ok. 23 minut. Marketing sprzętu eksponuje gigabajty, bo to liczba, która dobrze wygląda.
3.Wsparcie software’owe jest trzecim, często decydującym kryterium
Na czym polega: GPU Intela oferują atrakcyjną kombinację ceny, pojemności i przepustowości, ale brakuje im kerneli i wsparcia w silnikach inferencyjnych. Papierowa specyfikacja nie przełoży się na realną wydajność.
Jak stosować: Przed zakupem sprawdź, czy sprzęt jest wspierany przez vLLM (Nvidia/AMD) lub MLX (Apple) i czy modele, których chcesz używać, faktycznie na nim działają. Sprawdź aktywność społeczności wokół danej platformy.
Na co uważać: Nawet w ekosystemie Nvidii wsparcie nie jest równomierne — RTX Pro 6000 za 15 tys. dolarów nie ma wszystkiego zoptymalizowanego od razu, bo kontrybutorzy skupiają się na sprzęcie centrów danych. Stary RTX 3090 bywa pod tym względem bezpieczniejszy niż nowsza, droższa karta.
4.Zacznij od razu w docelowej klasie — skalowanie od 5 tys. nie działa
Na czym polega: Rozbudowa zestawu za 5 tys. dolarów o kolejne GPU wymaga płyty głównej klasy workstation, procesora Threadripper/Epyc/Xeon i pełnego obsadzenia slotów RAM — czyli co najmniej 7–8 tys. dolarów na sam RAM. Tanego zestawu po prostu nie da się rozbudować.
Jak stosować: Zdecyduj z góry, czy budujesz urządzenie jednorazowe (Spark, jedna karta), czy platformę rozbudowywalną — i w tym drugim przypadku od początku kupuj płytę i procesor z odpowiednią liczbą linii PCIe.
Na co uważać: Alternatywa „oszczędzę i kupię za rok” jest ryzykowna, bo ceny rosną szybciej niż typowe tempo odkładania. Odkładanie decyzji ma tu realny koszt.
5.Model, którego nie kontrolujesz, może się zmienić bez twojej wiedzy
Na czym polega: Dostawcy API aktualizują wagi, a w godzinach szczytu mogą kwantyzować wagi lub cache KV, żeby poradzić sobie z obciążeniem. Ewaluacje, które przeszły w zeszłym miesiącu, mogą dziś nie przechodzić bez żadnej zmiany po twojej stronie.
Jak stosować: Jeśli budujesz przepływy pracy z twardymi wymaganiami jakościowymi, zamroź wersję modelu — czyli hostuj wagi u siebie. Alternatywnie: uruchamiaj swoje ewaluacje regularnie, nie tylko przy wdrożeniu, żeby wykryć dryf.
Na co uważać: Dostawca nie ma obowiązku informować o zmianach infrastrukturalnych ani o obniżonej precyzji serwowania. Autor podaje przykład Anthropic, które według niego przez miesiące zaprzeczało pogorszeniu jakości, po czym opublikowało dwie analizy powdrożeniowe potwierdzające problemy.
6.Sam model to za mało — potrzebujesz całej infrastruktury wokół niego
Na czym polega: Doświadczenie Claude Code czy Codex CLI to nie model, tylko system: wyszukiwarka, scrapery, RAG, narzędzia. Lokalny model bez tej warstwy nie poradzi sobie z zadaniami, które w chmurze wyglądają na trywialne.
Jak stosować: Planując self-hosting, zaplanuj też endpoint wyszukiwania, warstwę RAG i narzędzia agentowe. Projekt ODS (Apache 2.0) instaluje ten stos jednym poleceniem — to najszybszy punkt startu.
Na co uważać: Rozczarowanie lokalnym AI najczęściej nie wynika ze słabego modelu, tylko z brakującego elementu infrastruktury, o którym nikt ci nie powiedział. Zanim uznasz model za za słaby, sprawdź, czy w ogóle dałeś mu narzędzia.
7.Zakup sprzętu ma dziś okno czasowe
Na czym polega: Popyt na pamięć przestał być cykliczny — nie wynika już z generacyjnych migracji (DDR3 → DDR4), tylko ze stałego apetytu na generowanie tokenów. Apple sygnalizuje wyczerpywanie rezerw pamięci, RTX 5090 podrożał w jednym z sieciowych sklepów z 1900 do 4400 dolarów.
Jak stosować: Jeśli decyzja o self-hostingu już zapadła, nie odkładaj zakupu w oczekiwaniu na spadek cen. Traktuj sprzęt jako aktywo, którego wartość użytkowa rośnie, bo modele stają się mniejsze i wydajniejsze.
Na co uważać: To nie jest porada inwestycyjna i sam autor to podkreśla. Nie kupuj sprzętu spekulacyjnie, bez konkretnego zastosowania — kupuj wtedy, gdy masz zdefiniowany przypadek użycia.
8.Jakość frontier schodzi na pojedyncze urządzenie szybciej, niż zakładano
Na czym polega: Prognoza autora — jakość Opusa 4.5 na jednym RTX Pro 6000 do końca 2026 — spełniła się do marca. DeepSeek V4 Flash jest o 70% mniejszy od GLM 5.2 z poprzedniego miesiąca, mieści się na jednym DGX Sparku i jest od niego inteligentniejszy.
Jak stosować: Planując zakup, zakładaj, że za rok twój sprzęt uruchomi znacznie lepsze modele niż dziś. To argument za kupieniem sprzętu teraz, nawet jeśli dzisiejsze modele nie zaspokajają jeszcze wszystkich twoich potrzeb.
Na co uważać: To ekstrapolacja trendu, nie gwarancja. Kompresja wynika z odkrywania sztuczek architektonicznych, a te nie pojawiają się w równym tempie. Nie planuj wydatku pod założenie, że konkretny model pojawi się w konkretnym terminie.
9.Maskowanie danych to nie to samo co anonimizacja
Na czym polega: Gotowe modele maskujące ukrywają dane osobowe — nazwiska, adresy, numery identyfikacyjne. Ale ochrona logiki biznesowej wymaga własnej, szytej na miarę warstwy abstrakcji, która zadaje modelowi frontier pytanie tak sformułowane, że odpowiedź jest użyteczna, a sam problem biznesowy nie wycieka.
Jak stosować: Jeśli musisz korzystać z modeli zamkniętych, rozdziel dane osobowe (rozwiązywalne gotowymi narzędziami) od własności intelektualnej (wymaga własnego projektu). Zanim zaprojektujesz warstwę maskującą, zbierz i przeanalizuj rzeczywisty ruch do modelu.
Na co uważać: Prawdziwie bezstanowa komunikacja z API jest trudna — sam dobór pytań i sekwencja zapytań mogą zdradzać strategię firmy nawet przy usuniętych danych wprost identyfikujących.
10.Uzasadnienie biznesowe: ok. 70% oszczędności w pierwszym roku
Na czym polega: Według doświadczeń firmy autora, organizacje przechodzące z chmurowych API na własną infrastrukturę notują średnio 70% oszczędności już w pierwszym roku — do czego dochodzi przewidywalność cen i brak ryzyka utraty własności intelektualnej.
Jak stosować: Przy rozmowie z firmą zestaw roczny koszt subskrypcji zespołowych i wydatków na API z jednorazowym kosztem sprzętu plus energii. To jest też rysująca się nisza usługowa — wdrażanie self-hostingu jako usługa, a nie kolejna nakładka aplikacyjna.
Na co uważać: To liczba od strony zainteresowanej sprzedażą takich wdrożeń i nie została w materiale poparta metodologią. W kalkulacji uwzględnij koszt pracy — autor sam podkreśla, że to skomplikowane i pracochłonne, a on musiał dołożyć w domu bezpieczniki 240 V/40 A. Przykład Figmy i innych sytuacji, w których partner zamienia się w konkurenta, jest w materiale przywołany jako obserwacja, nie jako udowodnione twierdzenie.