O czym jest ten film
- Lokalne AI stało się na tyle mocne, że modele wymagające niedawno chmury da się dziś uruchomić na własnym sprzęcie.
- Prywatność lokalnego modelu nie oznacza automatycznie, że rozumiemy, co jest w nim zaszyte.
- Praca z modelami lokalnymi to ciągły kompromis między trzema czynnikami: inteligencją, szybkością i kosztem.
- Autor pokazuje konkretną konfigurację dwóch maszyn i dobór modeli do każdej z nich.
- Rozsądny cel wydajnościowy to co najmniej 30 tokenów na sekundę, a najlepiej ok. 100.
- Przyszłość jest hybrydowa: lokalny model wykonuje większość pracy, a chmura wchodzi tam, gdzie brakuje mocy.
- „Otwarte wagi” to nie to samo co „otwarte źródło” — brakuje wglądu w dane i sposób treningu.
- Każdy model odzwierciedla wybory i uprzedzenia swoich twórców — firmy, rządu lub środowiska kulturowego.
- Przejrzystości na taką skalę nie zbuduje jednostka — potrzebna jest współwłasność zbiorowa (model DAO).
- Filozofia autora to „augmentatyzm”: AI ma wzmacniać człowieka, a nie go zastępować.
Redakcyjne tłumaczenie
Nie o szybkość tu chodzi, lecz o zaufanie
Lokalne AI staje się niesamowicie potężne. Możemy dziś uruchamiać na własnych maszynach modele, które jeszcze niedawno wymagały chmury. Nie chcę jednak mówić o szybkości, sprzęcie czy pieniądzach. Chcę mówić o zaufaniu.
Model działający na twoim komputerze jest bardziej prywatny, ale to nie znaczy automatycznie, że rozumiesz, co się w nim kryje. Model lokalny wciąż może zawierać decyzje treningowe, założenia, ograniczenia i wartości, których nie jesteś w stanie zbadać. Prawdziwe pytanie nie brzmi więc „czy potrafimy uruchamiać AI lokalnie”. Prawdziwe pytanie brzmi: „czy potrafimy budować AI, które możemy rozumieć, na które możemy wpływać i któremu możemy ufać”.
W tym materiale chcę połączyć cztery rzeczy: inteligencję, szybkość, otwartość i własność.
Praktyczny problem lokalnych modeli: trójkąt kompromisów
Żeby zrozumieć, dlaczego to jest ważne, musimy najpierw spojrzeć na praktyczny problem dzisiejszych modeli lokalnych. Chodzi o kompromisy — przede wszystkim inteligencja kontra szybkość.
Czasem mamy naprawdę szybki model, ale nie jest wtedy zbyt inteligentny. Albo mamy niezwykle mocny model, który działa bardzo wolno. Tym, czego szukamy, jest coś użytecznego — najlepiej powyżej 30 tokenów na sekundę, a osobiście wolę utrzymywać się w okolicach 100 tokenów na sekundę.
W lokalnym AI występują trzy kompromisy: inteligencja, szybkość i koszt. Zarządzanie nimi wszystkimi naraz jest bardzo złożone, a znalezienie właściwej równowagi dla posiadanego sprzętu jest niezwykle ważne. Pułapka bywa taka: „wezmę ten super inteligentny model” — ale okazuje się on za wolny. Albo szukasz maksymalnej optymalizacji pod kątem szybkości i model staje się głupi.
Koszt to kwestia pamięci RAM
Do tego dochodzi problem kosztu. Koszt jest powiązany z ilością pamięci RAM oraz z jej szybkością. W moim scenariuszu mam dwie różne maszyny. Pierwsza to odpowiednik DGX Spark — ASUS GX10 ze 128 GB RAM, ale wolniejszej. Druga to RTX 5090, która ma niezwykle szybką pamięć, ale tylko 32 GB. Muszę więc optymalizować i to jest kompromis, który też trzeba przyjąć.
(Informacja dodatkowa: DGX Spark i pochodne to niewielkie stacje AI Nvidii z dużą, ale wolniejszą pamięcią zunifikowaną; RTX 5090 to topowa karta graficzna z mniejszą, lecz znacznie szybszą pamięcią VRAM.)
W moim przypadku uruchamiam model Qwen 3 (ok. 27 mld parametrów, kwantyzacja 6-bitowa) na 32-gigabajtowej RTX 5090, a na GX10 — Qwen 3 o ok. 35 mld parametrów, ale tylko z 3 mld aktywnych parametrów. Dlaczego? Bo to dla mnie najlepsza równowaga. Na RTX 5090 mam wysoką inteligencję i przyzwoite okno kontekstu przy 100–110 tokenach na sekundę. Na GX10 mam drugiego agenta — mniej potężnego, ale wciąż działającego z prędkością 50–70 tokenów na sekundę. W ten sposób znalazłem właściwy balans.
(Informacja dodatkowa: modele z niewielką liczbą „aktywnych parametrów” to architektury typu Mixture of Experts — mają dużo parametrów łącznie, ale przy każdym zapytaniu uruchamiają tylko ich część, co przyspiesza działanie.)
Na tym sprzęcie można by uruchomić większe modele, ale wtedy pojawia się problem szybkości. Pułapka bywa taka: podoba ci się pomysł uruchomienia bardzo potężnego modelu i żeby zmieścił się na mniejszym sprzęcie, mocno go kwantyzujesz. Staje się przez to mniej inteligentny, a że nadal jest spory — również wolny. Masz wtedy podwójny problem: model nie jest tak mądry, jak chciałeś, i jest za wolny, by z niego korzystać.
Rozwiązanie nie jest „chmura kontra lokalnie” — jest hybrydowe
Dlatego dziś trzeba pogodzić się z tą rzeczywistością. To nie jest wybór „chmura kontra lokalnie”. To najpewniej scenariusz hybrydowy, w którym model lokalny wykonuje większość pracy, a co jakiś czas sięga do chmury po te zadania, które wymagają większej mocy.
Model lokalny — gdy potrzebujesz stuprocentowej prywatności, której chmura nie zapewni. To rzecz obowiązkowa, gdy nie chcesz mieć narzuconych „barierek”, nie chcesz prosić firmy o pozwolenie, chcesz, żeby twoje dane pozostały na twoim sprzęcie, i chcesz zmieniać swój sposób pracy tak, jak to ma sens dla ciebie.
Ale modele chmurowe wciąż bywają przydatne — zwłaszcza tam, gdzie twój sprzęt nie wystarcza. Czasem dlatego, że potrzebujesz znacznie inteligentniejszego modelu. Czasem dlatego, że potrzebujesz całego roju agentów AI. Rozwiązanie hybrydowe daje swobodę dopasowania się do okoliczności, wiele dróg do rozwiązania problemu i możliwość wykorzystania tego, w czym każdy z modeli jest najlepszy.
Lokalne to nie to samo co przejrzyste
Ale tu pytanie staje się większe niż sam sprzęt. Uruchomienie modelu lokalnie rozwiązuje jeden problem, lecz nie rozwiązuje całego problemu zaufania. Lokalne nie oznacza automatycznie przejrzyste — i to jest prawdziwy problem.
Słyszymy o „otwartych wagach”, czasem o „otwartym źródle”, ale to nie jest to samo. Coś naprawdę otwartoźródłowego oznacza, że widzisz dane treningowe i widzisz, jak model był trenowany. To dopiero byłoby otwarte źródło — nie tylko same wagi. Fakt, że dają nam wagi, oznacza tyle, że możemy uruchomić model i że jesteśmy jego właścicielami. Wspaniale. Ale zaufanie to również możliwość zrozumienia, jak te wagi powstały.
Ważne jest, by widzieć, jakie dane podano modelowi, ponieważ model prawdopodobnie odzwierciedla wybory dokonane przez firmę, zespół badawczy, rząd czy konkretne środowisko kulturowe. Nie znaczy to, że model potajemnie tobą manipuluje albo cię szpieguje. Znaczy tylko, że ma uprzedzenie, jest stronniczy.
Każde uprzedzenie ma swoje źródło
Problem w tym, że część tych uprzedzeń niesie ideologie, które nie są zgodne z moimi. Łatwo byłoby powiedzieć „no tak, to ci Chińczycy” — ale nie o to chodzi, bo różne ideologie niosą różne problemy. Jedna ideologia, forsowana przez rząd, tworzy określony problem; inna, forsowana przez korporację, która chce na mnie zarobić, tworzy inny problem.
Jeśli więc ludzie budujący te modele nie dają nam przejrzystości, to znaczy, że nie możemy im w pełni zaufać. Musimy być tego świadomi, bo w chwili, gdy model jest trenowany, ktoś gdzieś podejmuje jakieś decyzje — a my nie wiemy, jakie decyzje zapadły i dlaczego.
Dlatego przejrzystość ma dla mnie znaczenie. Chcę znać uprzedzenia tych modeli. Dlatego powinniśmy zacząć domagać się większej jasności wokół otwartych wag i otwartego źródła. Weźmy Gemmę 4 — jest trochę dziwna: mamy otwarte wagi i pewne elementy, o których można powiedzieć, że są częściowo otwartoźródłowe, ale wciąż nie widzimy wszystkiego.
(Informacja dodatkowa: Gemma to rodzina otwartowagowych modeli Google; autor używa jej jako przykładu połowicznej otwartości.)
Brak wyobraźni w modelach biznesowych
Czasem myślimy, że problem polega na tym, że skoro wszystko jest otwartoźródłowe, to niemożliwe staje się zarabianie. Twórcy myślą: jeśli udostępnimy nasze receptury, każdy będzie mógł je skopiować. Ale to brak wyobraźni w tworzeniu modelu biznesowego, który zarabiałby nawet w takim scenariuszu. I to jest prawdziwy problem — nie widzą modelu biznesowego, który wymagałby stuprocentowej przejrzystości. Ten brak wyobraźni uruchamia całą kaskadę problemów. I tu właśnie musimy zainterweniować.
Postawmy sprawę jasno, jeśli chodzi o cel. Musimy móc badać dane i dyskutować o nich. Otwartość nie oznacza, że AI jest pozbawione uprzedzeń — oznacza tylko, że możemy się im przyjrzeć. Możemy zbadać dane i ewentualnie powiedzieć: chcemy, żeby AI trzymało się takiej postawy, uwzględniało taką historię, patrzyło na problem z określonej perspektywy filozoficznej. Musimy móc kwestionować i w razie potrzeby korygować te uprzedzenia. Celem jest uczynienie tych wyborów na tyle widocznymi, by ludzie mogli zdecydować, czy się z nimi zgadzają, czy nie. Bo o to właśnie prosimy: jeśli chcemy AI, któremu można ufać, musimy móc to wszystko zobaczyć.
Od kontroli indywidualnej do współwłasności
Ale przejrzystość na taką skalę jest praktycznie nieosiągalna dla pojedynczej osoby. Dlatego musimy się zjednoczyć — to jest tu sedno. Musimy wprowadzić inny model biznesowy i pokazać, jak to się robi. Zamiast myśleć o kontroli indywidualnej, musimy zacząć myśleć w kategoriach współwłasności zbiorowej. To jest nowy model biznesowy. Jednostka nie zbuduje każdego elementu tego stosu, więc musimy przejść od kontroli indywidualnej do współwłasności zbiorowej. To jest model biznesowy. To jest to, co powinniśmy budować — i to buduję ze swoją społecznością.
Jest kilka elementów, które musimy zacząć budować. Pierwszym jest system operacyjny dla tego AI — system, który kontrolujemy, w którym oczywiście będziemy zmieniać i testować różne modele. Ale współwłasność architektury to pierwsza warstwa. Następnie musimy zacząć gromadzić naszą wiedzę treningową i utrzymywać ją jako własność wspólnoty. Wtedy zaczynamy decydować, jakich „klocków” chcemy użyć do treningu modelu. Nie znaczy to, że model trzeba trenować na wszystkim — chodzi o to, że mamy zbiór elementów, które możemy dokładać. To jest kierunek, w którym powinniśmy zmierzać.
DAO i filozofia augmentatyzmu
Architektura tej współwłasności jest jasna. Nazywa się DAO — zdecentralizowana organizacja autonomiczna, w której współwłasność obejmuje infrastrukturę i społeczność, powiązana z poziomem zaangażowania i wkładu w tę społeczność.
(Informacja dodatkowa: DAO — decentralized autonomous organization — to forma organizacji, w której współwłasność i decyzje rozkładają się na uczestników; autor przejęzyczył się, mówiąc „centralized”.)
Zapraszam więc do dołączenia do nas na Discordzie. Działamy według prostej i jasnej filozofii, którą nazywamy augmentatyzmem. Chodzi o to, by nie zastępować człowieka, lecz go wzmacniać — i budować AI, któremu możemy zaufać. A zaufanie zaczyna się lokalnie, ale przejrzystość jest obowiązkowa.
Dzięki, że dotrwaliście do końca. Zostaw łapkę, subskrybuj, obejrzyj kolejny film i do zobaczenia na Discordzie. Cześć.
10 najważniejszych takeaways — z kontekstem zastosowania
1.Lokalny model to prywatność, nie przejrzystość
Na czym polega: Uruchomienie modelu na własnym sprzęcie chroni twoje dane, ale nie ujawnia, jakie założenia, ograniczenia i wartości zostały w niego wbudowane na etapie treningu.
Jak stosować: Traktuj lokalność jako warstwę prywatności, a osobno pytaj o pochodzenie modelu — jakie dane, jaki zespół, jaka kwantyzacja.
Na co uważać: Nie utożsamiaj „działa u mnie na komputerze” z „wiem, co robi”. To dwie różne gwarancje.
2.Zarządzaj trójkątem: inteligencja, szybkość, koszt
Na czym polega: W lokalnym AI nie da się mieć jednocześnie maksimum inteligencji, szybkości i niskiego kosztu — zawsze coś poświęcasz.
Jak stosować: Zdefiniuj, co jest dla twojego zadania krytyczne, i świadomie ustaw pozostałe dwa parametry pod ten priorytet.
Na co uważać: Klasyczna pułapka to wybór najmądrzejszego modelu, który okazuje się nie do użycia z powodu prędkości — albo maksymalna optymalizacja prędkości kosztem sensowności odpowiedzi.
3.Celuj w użyteczną prędkość generowania
Na czym polega: Autor za minimum uznaje 30 tokenów na sekundę, a za komfortowy punkt pracy — okolice 100 tokenów na sekundę.
Jak stosować: Zmierz realną prędkość swojego zestawu i odrzucaj konfiguracje spadające poniżej progu użyteczności, nawet jeśli model jest „mądrzejszy”.
Na co uważać: Prędkość zależy od zadania i długości kontekstu — benchmark na krótkim zapytaniu może zawyżać wynik względem realnej pracy.
4.Koszt to przede wszystkim pamięć RAM i jej szybkość
Na czym polega: O możliwościach zestawu decyduje nie tyle sam procesor, ile ilość pamięci oraz jej przepustowość — a te dwie cechy zwykle się wykluczają cenowo.
Jak stosować: Planując zakup, rozdziel dwa scenariusze: dużo wolniejszej pamięci (większe modele) kontra mało bardzo szybkiej (najwyższa prędkość na mniejszym modelu).
Na co uważać: Duża pamięć nie pomoże, jeśli jest wolna — dostaniesz duży model działający zbyt ślamazarnie, by z niego korzystać.
5.Nadmierna kwantyzacja daje podwójną stratę
Na czym polega: Wciskanie zbyt dużego modelu na mały sprzęt przez agresywną kwantyzację obniża jego inteligencję, a że model wciąż jest spory — również spowalnia go.
Jak stosować: Dobieraj rozmiar modelu do sprzętu, a nie odwrotnie; czasem mniejszy, mniej skwantyzowany model wygrywa na obu frontach.
Na co uważać: „Uruchomiłem model 70B na laptopie” bywa sukcesem pozornym — sprawdź jakość odpowiedzi i prędkość, zanim uznasz to za działające.
6.Projektuj architekturę hybrydową, nie „albo–albo”
Na czym polega: Najrozsądniejszy układ to lokalny model wykonujący większość pracy i sięgający do chmury tylko po zadania wymagające większej mocy lub roju agentów.
Jak stosować: Ustal regułę routingu: co domyślnie idzie lokalnie (dane wrażliwe, rutyna), a co eskaluje do chmury (najtrudniejsze, wieloagentowe zadania).
Na co uważać: Każde wyjście do chmury to potencjalny wyciek danych i narzucone „barierki” — świadomie decyduj, co wolno wysłać na zewnątrz.
7.„Otwarte wagi” to nie „otwarte źródło”
Na czym polega: Udostępnienie wag pozwala uruchomić i posiadać model, ale prawdziwa otwartość oznacza wgląd w dane treningowe i sposób trenowania.
Jak stosować: Przy wyborze modelu sprawdzaj, co dokładnie jest udostępnione — same wagi, licencja, dane, przepis treningowy — i nie nazywaj wszystkiego „open source”.
Na co uważać: Marketing chętnie miesza te pojęcia; przykład Gemmy pokazuje, że „częściowo otwarte” wciąż zostawia białe plamy.
8.Każdy model niesie uprzedzenia — pytanie, czyje
Na czym polega: Model odzwierciedla wybory swoich twórców; ideologia rządu tworzy inne ryzyka niż ideologia korporacji nastawionej na zysk.
Jak stosować: Zamiast szukać modelu „bez uprzedzeń”, identyfikuj rodzaj uprzedzeń i oceniaj, czy jest akceptowalny dla twojego zastosowania.
Na co uważać: Uproszczenie „to wina jednego kraju” jest mylące — stronniczość pochodzi z wielu źródeł i przybiera różne formy.
9.Przejrzystości nie zbuduje jednostka — potrzebna współwłasność
Na czym polega: Zbadanie i utrzymanie w pełni otwartego stosu AI przekracza możliwości pojedynczej osoby, więc autor proponuje współwłasność zbiorową w formie DAO.
Jak stosować: Jeśli zależy ci na przejrzystym AI, szukaj lub współtwórz społeczności współwładające architekturą i zbiorem danych treningowych, zamiast działać solo.
Na co uważać: Modele oparte na DAO i wspólnej własności bywają trudne w zarządzaniu i wymagają realnego zaangażowania — deklaracja otwartości to nie to samo co działający model biznesowy.
10.Augmentatyzm: AI ma wzmacniać, nie zastępować
Na czym polega: Filozofia autora zakłada, że celem jest powiększanie ludzkich możliwości, a fundamentem zaufania jest zasada „lokalnie na start, przejrzystość obowiązkowo”.
Jak stosować: Oceniaj narzędzia AI według tego, czy rozszerzają twoją sprawczość i czy pozwalają zajrzeć pod maskę — a nie tylko po benchmarkach.
Na co uważać: Hasła o „wzmacnianiu człowieka” bywają marketingiem; weryfikuj je konkretem — realnym dostępem do danych, wag i możliwości korekty uprzedzeń.