What You Actually Need for a Home AI Lab

O czym jest ten film

1. Domowe laboratorium AI składa się z trzech warstw: sprzętu, modelu i harnessu (oprogramowania sterującego modelem).
2. Sprzęt kupiony kilka miesięcy temu dziś potrafi więcej — modele się poprawiają, a ceny używanego i nowego sprzętu rosną.
3. Trylemat pamięci RAM: szybkość, rozmiar, koszt — można wybrać tylko dwa z trzech.
4. Kluczowe parametry przy zakupie to ilość pamięci i jej przepustowość, a nie sama nazwa karty.
5. Kwantyzacja zmniejsza zużycie pamięci, ale odbiera modelowi część zdolności — to zawsze kompromis.
6. Modele gęste (dense) kontra mixture of experts: te drugie aktywują ułamek parametrów i działają znacznie szybciej.
7. Wysiłek rozumowania („thinking”) potrafi podwoić wynik modelu w benchmarkach — kosztem tokenów i czasu.
8. Autor podaje konkretne prędkości: Qwen 3.8 27B na RTX 5090 przy 110 tokenów/s, na GX10 przy ok. 24 tokenów/s.
9. Koszt prądu bywa decydujący: 45 W dla Maca z M5 kontra 575–600 W dla topowych kart NVIDIA.
10. Autor pracuje w modelu 80% lokalnie, 20% w chmurze — powód zmienił się z „braku zdolności” na „brak wolnych instancji”.

Redakcyjne tłumaczenie

Trzy fakty na start

Jeśli rozważasz zbudowanie własnego domowego laboratorium AI, obejrzyj ten materiał — przyjrzymy się temu, jakiego sprzętu potrzebujesz, co da się na nim zrobić oraz jaki model, harness i system pamięci będą ci potrzebne. Materiału jest sporo, więc zaczynajmy.

Po pierwsze, warto zrozumieć jeden naprawdę istotny fakt: dziś możemy mieć wyjątkowo mocny, niemal frontierowy model językowy działający lokalnie, na własnym sprzęcie. Mam taki model, uruchamiam go i mogę o nim opowiedzieć z pierwszej ręki.

Po drugie, model lokalny da się uruchomić za darmo nawet na telefonie. Istnieje w zasadzie model na każdy rodzaj sprzętu. To, jaki sprzęt powinieneś kupić, wynika z tego, jaką pracę chcesz wykonywać — dlatego jest o czym mówić, bo sprawa nie jest tak prosta, jak się wydaje.

Po trzecie — i to jest prawda, której warto się przyjrzeć — ten sam sprzęt z czasem potrafi coraz więcej. Sprzęt, który kupiłem kilka miesięcy temu, dziś uruchamia lepsze modele i robi to szybciej. To właśnie zmiana, którą obserwujemy: ten sprzęt nie starzeje się, tylko staje się coraz bardziej użyteczny, a przy okazji coraz droższy. GX10, odpowiednik DGX Spark, kosztuje dziś o tysiąc dolarów więcej niż wtedy, gdy go kupowałem.

(Informacja dodatkowa: DGX Spark to kompaktowy komputer NVIDII przeznaczony do lokalnej pracy z modelami AI; GX10 to jego odpowiednik produkowany przez ASUS-a).

Trzy warstwy laboratorium AI

Z tym trendem w tle spójrzmy na elementy, które składają się na laboratorium AI.

Potrzebujesz sprzętu — to na nim działa model.

Potrzebujesz modelu — to jest mózg. Sam nazywam modele silnikami, bo to one napędzają całą maszynę. Jest to silnik probabilistyczny, bo działa w oparciu o sieci probabilistyczne. Większy i nowszy zwykle oznacza lepszy — to trend, który widzimy, choć nie zawsze się sprawdza.

I wreszcie harness — czyli warstwa oprogramowania wokół modelu. To ona pozwala modelowi używać narzędzi, mieć pamięć, wykonywać instrukcje i mieć swój opis stanowiska. Przyjrzyj się tym trzem warstwom, bo każda z nich wymaga osobnego researchu, właściwego zrozumienia i świadomej decyzji.

Trylemat pamięci RAM

Zacznijmy od trylematu RAM-u, bo model do działania potrzebuje pamięci. Sprawa jest prosta: mamy szybkość, rozmiar i koszt — i możesz wybrać tylko dwa z trzech.

Szybkość mówi nam, ile słów zobaczymy na sekundę. Rozmiar określa, jak duży model zmieści się w pamięci. Koszt to oczywiście to, ile trzeba za tę pamięć zapłacić. Zależność jest taka: większa szybkość oznacza wyższą produktywność — istnieje pewne minimum prędkości, poniżej którego praca staje się frustrująca. Z kolei większy rozmiar jest potrzebny, gdy chcesz pracować nad znacznie bardziej złożonymi scenariuszami. A szybciej i większe oznacza drożej.

Skoro szybka pamięć wygrywa, jak na to patrzeć? Owszem, model da się uruchomić w zwykłej pamięci systemowej i GPU nie jest bezwzględnie konieczne — ale jeśli naprawdę chcesz pracować w przyzwoitym tempie, jesteś zmuszony sięgnąć po szybszą pamięć. Obecnie najszybsze rozwiązania oferują GPU. Warto jednak brać pod uwagę także systemy z pamięcią unified, takie jak komputery Apple, RTX Spark i podobne. Ten sprzęt współdzieli pamięć z systemem, dzięki czemu daje przyzwoitą szybkość przy przyzwoitym rozmiarze.

Jak faktycznie zużywa się pamięć

Spójrzmy, jak pamięć się rozchodzi. Na przykład 5090 ma 32 GB RAM-u. Można na nim załadować całkiem użyteczny model i teoretycznie uruchomić więcej niż jedną instancję — bo czym innym są same wagi. W tym przypadku ładujemy Qwena 27B, co zajmuje 25 GB. A potem dochodzi jeszcze miejsce potrzebne na pamięć modelu; każda instancja może mieć własny slot na pamięć.

W praktyce jednak, jeśli chcesz uruchomić model taki jak Qwen 3.8 27B, chcesz mu też dać odpowiednio duże okno kontekstowe. Na 5090 z tym modelem mogę przydzielić tylko 131 tysięcy tokenów z 264 tysięcy, jakie ten model obsługuje. Czyli w rzeczywistości nie jest to nawet wystarczające, by uruchomić go z maksymalnym oknem kontekstowym — ale wystarczające, by realnie z nim pracować na moim konkretnym sprzęcie.

Ten konkretny model — Qwen 3.8 27B — jest moim zdaniem obecnie najlepszym dostępnym modelem. Mogę go uruchomić skwantyzowanego do sześciu bitów i uzyskuję 100–110 tokenów na sekundę. Weź pod uwagę, że jedno słowo to mniej więcej dwa do trzech tokenów. To całkiem przyzwoita prędkość dla tego modelu. Ale znowu — mogę uruchomić tylko jedną instancję.

Kwantyzacja i wiele instancji

Można pójść dalej i skwantyzować model mocniej. Im mocniej kwantyzuję, tym mniej pamięci zużywam, co pozwala mi albo zwiększyć okno kontekstowe, albo uruchomić kilka instancji równolegle.

Dlaczego zależy mi na wielu instancjach? Bo kiedy korzystasz z AI, w większości przypadków masz uruchomioną więcej niż jedną instancję jednocześnie. AI jest całkiem potężne i całkiem szybkie, ale nie tak potężne, jak bym chciał, ani nie tak szybkie, jak potrzebuję. Dlatego mam jedną instancję pracującą i drugą pracującą równolegle. Dwie to minimum, ale w wielu przypadkach chcesz mieć więcej. Chmura oferuje ci praktycznie nieograniczoną liczbę takich instancji — na własnym sprzęcie musimy tym zarządzać.

Jednym ze sposobów jest uruchamianie modeli mocniej skwantyzowanych, bo zużywają mniej pamięci. To pomaga, ale jednocześnie, choć model pozostaje ten sam, zaczynasz tracić jego zdolności. To nie tak, że staje się mniej inteligentny — raczej sprawia wrażenie mniej kompetentnego. W zależności od posiadanego sprzętu przekonasz się, na jaką kwantyzację cię stać.

Modele gęste kontra mixture of experts

Istnieją różne architektury. Qwen 27B to model gęsty (dense): każdy z tych 27 miliardów parametrów jest aktywowany przy każdym tokenie.

Jest też inna technologia — mixture of experts. To odmienna architektura. Na przykład Qwen 3.5 35B ma tylko trzy miliardy parametrów aktywnych; tylko tyle uruchamia się przy każdym tokenie. Dzięki temu działa znacznie szybciej — bo nie 27, a tylko trzy miliardy — a w ramach tych 35 miliardów parametrów mieści się pula wielu różnych ekspertów. Ta architektura pozwala modelowi działać dużo szybciej niż model gęsty.

Wejdziemy w to głębiej przy innej okazji; tutaj chodzi o zrozumienie, że mamy zasadniczo te dwie technologie i różnie radzą sobie z parametrami.

Wysiłek rozumowania

Jest jeszcze jeden element tych modeli: wysiłek rozumowania. Tym parametrem decydujemy, jak długo model będzie myślał — a im dłużej myśli, tym więcej tokenów zużywa i tym więcej czasu potrzebuje. W niektórych modelach myślenie można całkowicie wyłączyć.

Bez myślenia pierwszy token, pierwsze słowo, o którym model pomyśli, staje się częścią kontekstu — po prostu myśli słowo po słowie i od razu ci je podaje. Gdy włączamy myślenie, zachowanie jest inne: AI najpierw zastanawia się, co ci powiedzieć. Zużywa część tokenów w tle na myślenie, analizowanie problemu i szukanie rozwiązań. Możemy przy tym ustawić budżet — jak długo model ma myśleć.

Dotychczasowe obserwacje pokazują, że im dłużej model może myśleć nad problemem, tym bardziej złożony może być ten problem. Widzieliśmy to przy Qwenie 27B: poprzednia wersja, Qwen 3.6 27B, miała tryb z myśleniem i bez, i po włączeniu myślenia nastąpił ogromny skok.

Widać to też na przykładzie Luny, którą biorę, bo różnica jest tam wyjątkowo wyraźna. Luna z wyłączonym rozumowaniem osiąga 27 punktów. Luna z niskim poziomem myślenia — 34. Luna z maksymalnym myśleniem — 52. Poprawa jest niewiarygodna, uzyskana wyłącznie przez zwiększenie myślenia. Dla porównania Qwen 3.6 27B ma 38 punktów, a nowy Qwen 3.8 27B — lepszy model plus dłuższe myślenie — osiąga 52. Wynik 52 oznacza poziom porównywalny z Luną, z GPT 5.6 i z DeepSeekiem v4 Flash, i tylko nieznacznie poniżej GLM 5.2 Max. To imponujący rezultat jak na ten model.

Sprzęt: przepustowość i pojemność pamięci

Jak uruchamiać te modele? Przyjrzyjmy się wymaganiom sprzętowym. Na wykresie widać przepustowość pamięci oraz jej ilość dla poszczególnych kart i systemów.

Na samej górze mamy 5090 i RTX Pro 6000, bo ich przepustowość jest naprawdę z innego poziomu: 1792 GB/s. To sprzęt ekstremalnie szybki. Co robi wrażenie w RTX Pro 6000, to 96 GB pamięci wobec 32 GB w 5090. Wracając do wcześniejszego przykładu: przy tym samym modelu dostajesz olbrzymi zapas dodatkowej pamięci, który pozwala uruchomić pełnowymiarowe okno kontekstowe, a do tego kilka instancji naraz. To ogromna różnica. Na 5090 model owszem zadziała, ale tylko w jednej instancji. Można go oczywiście skwantyzować i zmniejszyć, żeby zmieścić kilka instancji — kosztem zdolności modelu.

Karty RTX są bardzo szybkie, ale wiele modeli zadziała też na mniejszym i wolniejszym sprzęcie. GX10 od ASUS-a, odpowiednik DGX Spark, ma przepustowość 273 GB/s, co pozwala uruchomić Qwena 3.8 27B przy około 24 tokenach na sekundę, podczas gdy mniej skwantyzowana wersja na RTX 5090 chodzi przy 110 tokenach na sekundę. Zrozumienie tego jest naprawdę ważne, bo to zmienia sposób pracy z takim sprzętem. Z kolei Qwena 3.5 35B z trzema miliardami aktywnych parametrów uruchomisz przy około 50–70 tokenach na sekundę, co jest naprawdę wygodne. Nawet 20 tokenów na sekundę da się używać, ale już na granicy frustracji. Zapamiętaj: szybkość zwiększa produktywność, a gdy spada, najpierw irytuje, a potem po prostu uniemożliwia pracę.

Maki i pamięć unified

Wracając do wykresu: DGX Spark, AMD Halo oraz nadchodzący RTX Spark mają podobną przepustowość. RTX Spark powinien mieć nie 273, a raczej 280–290 GB/s — czyli odrobinę szybciej, ale nie na tyle, by robiło to różnicę. Te maszyny mają 128 GB RAM-u, co oznacza, że mogę uruchamiać wiele instancji i znacznie większe modele.

Warto to wyjaśnić, bo wokół pamięci w MacBookach narosło mnóstwo nieporozumień. Procesor M5 daje 153 GB/s — to mało. Modele nadal uruchomisz, ale będą działać wolniej niż na tamtych maszynach. Wersja M5 Pro daje 307 GB/s, czyli poziom zbliżony do tamtego sprzętu. Wersja Max to około 614 GB/s, dwukrotnie więcej. M3 Ultra ma 819 GB/s — a więc nawet Ultra działa wolniej niż 5090.

M5 Ultra ma według oczekiwań osiągnąć okolice 1000 GB/s. To będzie skok w górę, będzie lepiej, ale jak na cenę nie będzie to poziom ekstremalnie szybki. To, co zyskujesz, to możliwość posiadania 512 GB RAM-u albo i więcej, a więc uruchamiania naprawdę dużych modeli lub wielu instancji.

Ile pamięci naprawdę potrzeba i za ile

Zanim pójdziemy dalej, dwie uwagi. Idealnie dla najlepszego modelu, jaki dziś możemy uruchomić — Qwena 3.8 27B — chcielibyśmy mieć 48 GB pamięci. To rozwiązałoby problem, który mam z 5090, gdzie muszę się ograniczyć do mniejszego okna kontekstowego i jednej instancji. Przy 48 GB robi się znacznie komfortowo.

Jak zdobyć te 48 GB w sposób opłacalny, zamiast kupować dwa 5090 albo Pro 6000 — którego cena zresztą zupełnie oszalała, dziś to chyba jakieś 16 tysięcy dolarów, a na premierę kosztował 8 tysięcy? Najskuteczniejsza droga to starsze karty AMD z 24 GB pamięci albo RTX 3090 z 24 GB. Dlaczego akurat te? Są też inne warte rozważenia, więc rozejrzyj się — ale szukasz zawsze dwóch rzeczy: ilości pamięci i przepustowości. Bo jeśli przepustowość spadnie za nisko, model staje się bezużyteczny. W okolicach 1000 GB/s wciąż mamy coś całkiem wygodnego w użyciu.

Jeśli kupisz dwie takie karty AMD, wydasz mniej, niż kosztuje jeden 5090, a dostaniesz 48 GB pamięci — to naprawdę dobry punkt. Jeśli natomiast prowadzisz firmę albo masz większy budżet, po prostu bierz RTX Pro 6000. Dostajesz maksymalną szybkość i ogrom pamięci, możesz kupić kilka sztuk i uruchomić je w serwerze — czyli skalować naprawdę wysoko.

Koszt prądu

Jest jednak coś, co koniecznie trzeba uwzględnić: koszt energii elektrycznej. Przepaść między Mac Mini czy MacBookiem z procesorem M5 a Pro 6000 jest ogromna: 45 watów wobec 600 watów. 5090 też jest energożerny — 575 watów.

Szybkość równa się więc również kosztowi prądu. Procesory M5 i M3 są wolniejsze, ale ponieważ są wyjątkowo energooszczędne, oszczędzamy ponad połowę tego, co wydalibyśmy na tamtych GPU. Inteligencja na wat wypada więc kiepsko na kartach NVIDII, a znacznie lepiej na maszynach Apple. Przy DGX Spark i RTX Spark spodziewamy się około 240 W. AMD Halo, choć odrobinę wolniejszy od DGX Spark, jest wyraźnie efektywniejszy — tylko 180 W. Dlaczego to ma znaczenie? Bo nie chodzi wyłącznie o sam sprzęt: w niektórych scenariuszach różnica w rachunkach za prąd jest tak duża, że robi się naprawdę kosztowna.

Co warto dziś uruchamiać lokalnie

Modeli jest mnóstwo, ale te, którym radzę się przyjrzeć, to:

Gemma 4 12B — wymaga tylko 16 GB RAM-u. Mały model, naprawdę zdolny i niedoceniany.

Qwen 3.5 35B z 3 miliardami aktywnych parametrów — model, o którym dziś mówimy. To mixture of experts, działa świetnie na 24–32 GB pamięci. To właśnie ten model uruchamiam na swoim GX10 przy 50–70 tokenach na sekundę. Miejmy nadzieję, że wkrótce zobaczymy jego wersję 3.8.

Qwen 3.8 27B — model, który uruchamiam na 5090. To obecnie najlepszy dostępny model, a zdumiewające jest to, że jest przy tym mały, więc zadziała na wielu różnych konfiguracjach. Optymalnie szukasz 24–32 GB pamięci jako minimum; więcej pamięci to większe okno kontekstowe i więcej instancji.

DeepSeek v4 Flash — uruchomisz go na dwóch maszynach DGX Spark. Dlaczego go wymieniam? Bo ten model obsługuje okno kontekstowe do miliona tokenów, co jest ogromne. To właśnie oferują modele frontierowe, choć większość ludzi z tego nie korzysta, bo używanie miliona tokenów kontekstu jest bardzo drogie. Przy uruchomieniu lokalnym rachunek wygląda zupełnie inaczej. Milion tokenów kontekstu jest naprawdę użyteczny, gdy chcesz przeanalizować ogromną bazę kodu — możesz podać wszystko naraz i pozwolić modelowi nad tym pracować.

Patrząc jednak na wyniki: DeepSeek v4 Flash ma 52 punkty i Qwen 3.8 27B ma 52 punkty. Na papierze mają więc te same możliwości. W rzeczywistości modele nigdy nie są takie same. To zawsze kompromis — i to kompromis, który musisz rozstrzygnąć sam, w zależności od problemu, jaki chcesz rozwiązać.

Harness — trzecia warstwa

Przejdźmy do harnessu, trzeciego niezbędnego elementu domowego laboratorium AI. Mamy sprzęt, mamy model — teraz potrzebujemy oprogramowania, które faktycznie steruje modelem. Jeśli chcemy dać modelowi dodatkowe możliwości, potrzebujemy harnessu, który zapewni mu narzędzia, pamięć, planowanie i działanie.

W tym materiale nie będę wymieniał wszystkich dostępnych harnessów; kilka najpopularniejszych opiszę w pogłębionym artykule. Tutaj wspominam tylko o tych darmowych, niewymagających subskrypcji i powszechnie używanych.

Spójrzmy na tę zmianę. Jeśli korzystasz z AI, najprawdopodobniej robiłeś to przez czat: zadajesz pytanie, dostajesz odpowiedź i na tym się kończy. Nic więcej się nie dzieje. Obecnie wiele czatów staje się bardziej zaawansowanych — bardziej agentowych. Agent, który wymaga znacznie bardziej rozbudowanego harnessu, potrafi planować, używać narzędzi, pamiętać i doprowadzić zadanie od początku do końca. Przepaść w możliwościach jest więc spora.

Jakie elementy składają się na harness?

• Narzędzia — do wyszukiwania, kodowania, pracy na plikach i łączenia się z systemami zewnętrznymi.
• Pamięć — krótkoterminowa i długoterminowa.
• Planowanie — rozbijanie celów na kroki.
• Zarządzanie oknem kontekstowym — prompt, historia rozmowy i wszystkie elementy potrzebne do rozumowania.
• Zabezpieczenia (guardrails) — mają przede wszystkim chronić system, na przykład przed usunięciem plików systemowych komputera. Bywają niezwykle przydatne i może nimi zarządzać sam harness.
• Pętla agentowa — sekwencja kroków powtarzana aż do wykonania zadania: myśl, działaj, obserwuj, decyduj, i dalej od nowa. Tak właśnie doprowadza się AI do wielogodzinnej pracy nad konkretnym celem.

Harness jest zatem niezwykle ważny. Daje nam kontrolę nad modelami, ale też, dzięki narzędziom, umożliwia im znacznie więcej, niż model potrafiłby sam.

Jak sam korzystam z AI

Chcę pokazać, jak sam używam AI: 80% lokalnie, 20% w chmurze. Mimo całego tego sprzętu i wszystkich tych świetnych maszyn nadal sięgam po chmurę — i chcę wyjaśnić dlaczego.

Do kilku dni temu, zanim pojawił się Qwen 3.8 27B, te 20% chmury brało się stąd, że mój model lokalny — wersja 3.6 tego, co uruchamiam dzisiaj — nie był wystarczająco zdolny, by zrobić wszystko. Musiałem sięgać po model chmurowy w tych momentach, gdy lokalny nie dowoził. Teraz, z nowym modelem, jestem w stanie wykonać większość pracy lokalnie. W ostatnich dniach użyłem modelu frontierowego tylko raz, bo nie mogłem uporać się z pewnym problemem — i nawet model frontierowy go nie rozwiązał.

Skąd więc te 20% dzisiaj? Wcześniej wynikały z braku możliwości, teraz z zupełnie innego problemu: kiedy mój model jest zajęty pracą, potrzebuję drugiej instancji, a więc muszę użyć czegoś innego. Mam kilka subskrypcji, które włączam i wyłączam; testuję obecnie Kimi K3, GLM 5.3 i GPT 5.6, i krążę między nimi.

Tym, co pozwoliłoby mi przejść na 100% lokalnie, byłby kolejny 5090 albo kolejny GX10. Wtedy miałbym DeepSeeka v4 Flash z milionowym oknem kontekstowym na jednej maszynie i Qwena 3.8 27B na 5090.

Czego nauczyło mnie uruchamianie modeli lokalnie

Nauczyłem się tego, że choć sprzęt pozostaje ten sam, to, co potrafi on uruchomić, jest coraz lepsze. Modele, które pojawiły się w ciągu ostatnich czterech tygodni, kompletnie zmieniły perspektywę tego, co da się zrobić na własnym sprzęcie. Mamy dziś niemal moc modeli frontierowych działającą lokalnie. Coś, o czym jeszcze kilka miesięcy temu marzyliśmy, jest już faktem. A dzięki całej tej otwartoźródłowej pracy i publikowanym artykułom naukowym zobaczymy przyspieszenie — nawet mniejsze modele będą coraz zdolniejsze i uruchomią się na coraz słabszym sprzęcie.

Co dalej

Masz teraz pełny obraz. Elementów do rozważenia jest wiele. Pierwszym krokiem jest wybór właściwego modelu do twojej pracy: zrozum, jaki problem chcesz rozwiązać, a potem sprawdź, który model jest dla ciebie odpowiedni.

Chcę też pokazać coś jeszcze, bo posiadanie sprzętu jest niczym, jeśli nie nauczysz się go używać — a żeby się nauczyć, musisz stosować wiedzę w praktyce. W naszej społeczności na Discordzie, która liczy 2700 członków, stworzyliśmy 90-dniowe wyzwanie: wybierasz swój pomysł, budujesz zespół i pracujecie nad tym biznesem. Link do Discorda jest w opisie; udział w wyzwaniu jest bezpłatny, dołączenie do Discorda również. Jest też osobny artykuł poświęcony wyzwaniu, w którym dokładnie tłumaczę, jak to działa — link także w opisie. Jeśli naprawdę chcesz się nauczyć, musisz coś zbudować i pracować z innymi. To twoja okazja.

I jeszcze jedno: społeczność, którą budujemy, nie dotyczy wyłącznie pracy z AI. Chodzi o budowanie alternatywy. Chcemy odejść od monokultury korporacji AI, które chcą budować sztuczną inteligencję zastępującą ludzi, w stronę wielości. Przez wielość rozumiemy mnogość sposobów pracy, różne rodzaje inteligencji, różnorodność w tym, jak te modele działają i co budujemy. To nie jest zwyczajna społeczność — to DAO, zdecentralizowana organizacja autonomiczna. W momencie, w którym dołączasz, możesz stać się jej współwłaścicielem i możesz budować. Budujemy razem, uczymy się razem. To społeczność, którą tworzymy, by zmienić świat.

(Informacja dodatkowa: DAO to forma organizacji, w której zasady działania i prawa własności zapisane są w kodzie i podziale tokenów, a decyzje podejmowane są kolektywnie przez uczestników).

Jeśli wierzysz, że AI cię wzmacnia, nie chcesz zostać zastąpiony i chcesz budować alternatywę — dołącz do tej społeczności. Zostaw łapkę w górę i zasubskrybuj. Pamiętaj o Substacku. Dołącz na Discorda. Dziękuję, że dotrwałeś do końca. Ciao.

10 najważniejszych takeaways — z kontekstem zastosowania

1.Zacznij od problemu, nie od karty graficznej

Na czym polega: Wybór sprzętu jest pochodną tego, jaką pracę chcesz wykonywać. Autor konsekwentnie prowadzi rozumowanie od zadania przez model do sprzętu, a nie odwrotnie.

Jak stosować: Zdefiniuj konkretny przypadek użycia (analiza kodu, pisanie, praca agentowa), wybierz model, który go obsłuży, sprawdź jego zapotrzebowanie na pamięć i dopiero wtedy szukaj sprzętu.

Na co uważać: Łatwo kupić sprzęt „na zapas” pod najbardziej ambitny scenariusz, którego nigdy nie zrealizujesz. Równie łatwo kupić za mało pamięci i utknąć z jedną instancją i przyciętym kontekstem.

2.Patrz na dwie liczby: ilość pamięci i jej przepustowość

Na czym polega: Nazwa układu mówi mniej niż GB pamięci i GB/s przepustowości. To one decydują, jak duży model uruchomisz i jak szybko będzie odpowiadał.

Jak stosować: Przy każdym rozważanym urządzeniu wypisz te dwie wartości obok siebie i porównaj z wymaganiami wybranego modelu. Autor podaje punkty odniesienia: 5090 i RTX Pro 6000 — 1792 GB/s; DGX Spark/GX10 — 273 GB/s; M5 — 153 GB/s; M5 Pro — 307 GB/s; M5 Max — ok. 614 GB/s; M3 Ultra — 819 GB/s.

Na co uważać: Duża pamięć przy niskiej przepustowości pozwoli model załadować, ale praca może być zbyt wolna, by miała sens. Sama szybkość bez pojemności blokuje okno kontekstowe i liczbę instancji.

3.Zaplanuj z góry minimum dwie instancje

Na czym polega: W realnej pracy z AI zwykle jedna instancja pracuje, a druga jest potrzebna równolegle. Chmura daje ich praktycznie bez ograniczeń, lokalnie trzeba to zaplanować.

Jak stosować: Licząc budżet pamięci, mnóż zapotrzebowanie razy liczbę równoległych sesji, jakich realnie potrzebujesz — nie planuj pod jedną. Autor wskazuje, że dopiero 48 GB daje komfort przy modelu klasy 27B.

Na co uważać: Wagi modelu to nie wszystko — każda instancja potrzebuje własnego miejsca na kontekst i pamięć. 25 GB wag przy 32 GB karty zostawia mniej zapasu, niż się wydaje.

4.Kwantyzacja to handel zdolnościami, nie darmowa optymalizacja

Na czym polega: Mocniejsza kwantyzacja zmniejsza zużycie pamięci, dzięki czemu zmieścisz większe okno kontekstowe lub więcej instancji — ale model traci część kompetencji.

Jak stosować: Wybierz najniższy stopień kwantyzacji, na jaki pozwala sprzęt (autor pracuje na sześciu bitach), i schodź niżej dopiero wtedy, gdy potrzebujesz miejsca na kontekst lub instancje.

Na co uważać: Spadek jakości nie objawia się jako „głupota”, tylko jako mniejsza kompetencja przy trudniejszych zadaniach — łatwo go przeoczyć na prostych testach i odkryć dopiero przy realnej pracy.

5.Mixture of experts zmienia rachunek szybkości

Na czym polega: W modelu gęstym każdy parametr aktywuje się przy każdym tokenie. W MoE aktywuje się tylko ułamek — Qwen 3.5 35B używa 3 miliardów aktywnych parametrów z 35 miliardów.

Jak stosować: Jeśli twój sprzęt ma sporo pamięci, ale umiarkowaną przepustowość (np. DGX Spark, Maki bez Ultra), model MoE da ci dużo lepszą prędkość niż porównywalny model gęsty. Autor uzyskuje 50–70 tokenów/s na GX10.

Na co uważać: MoE nadal wymaga pamięci na wszystkie parametry, nie tylko aktywne — oszczędzasz na prędkości, nie na RAM-ie.

6.Włączony tryb rozumowania potrafi podwoić wynik

Na czym polega: Parametr wysiłku rozumowania decyduje, jak długo model myśli przed odpowiedzią. W przykładzie Luny wynik rośnie z 27 przez 34 do 52 punktów wraz z poziomem myślenia.

Jak stosować: Do zadań złożonych ustawiaj wysoki budżet myślenia — to często tańsze niż zmiana sprzętu na mocniejszy. Do prostych, powtarzalnych zapytań myślenie warto wyłączyć.

Na co uważać: Myślenie kosztuje tokeny i czas. Przy modelu lokalnym o niskiej prędkości generowania długie rozumowanie może przesunąć odpowiedź z „wygodnej” w „frustrującą”.

7.Ustal własny próg tokenów na sekundę

Na czym polega: Autor traktuje prędkość jako granicę użyteczności: 110 tokenów/s to komfort, 50–70 to nadal wygodnie, około 20 to praca „po stronie frustracji”, a poniżej — brak sensu.

Jak stosować: Przed zakupem sprzętu sprawdź publikowane prędkości dla konkretnej pary model–sprzęt i porównaj z własnym progiem tolerancji. Pamiętaj, że jedno słowo to mniej więcej dwa do trzech tokenów.

Na co uważać: Podawane prędkości dotyczą konkretnej kwantyzacji i długości kontekstu. Ten sam model na tym samym sprzęcie przy pełnym oknie kontekstowym będzie wolniejszy.

8.Policz prąd, zanim policzysz sprzęt

Na czym polega: Różnice w poborze mocy są ogromne: 45 W dla Maca z M5, 180 W dla AMD Halo, ok. 240 W dla DGX/RTX Spark, 575 W dla 5090, 600 W dla RTX Pro 6000.

Jak stosować: Przy pracy ciągłej (agenty działające godzinami) przelicz roczny koszt energii i dodaj go do ceny sprzętu. Maszyny Apple wypadają wyraźnie lepiej w przeliczeniu na inteligencję na wat.

Na co uważać: Efektywność energetyczna nie zastępuje przepustowości — Mac z M5 zużyje mało prądu, ale przy 153 GB/s pracuje wolno. Optymalizacja tylko pod prąd może dać sprzęt, którego nie chcesz używać.

9.Rozważ dwie tańsze karty po 24 GB zamiast jednej flagowej

Na czym polega: Autor wskazuje, że dwie starsze karty AMD z 24 GB albo RTX 3090 z 24 GB dają w sumie 48 GB pamięci taniej niż jeden 5090 z 32 GB.

Jak stosować: Jeśli twoim wąskim gardłem jest pamięć (przycięte okno kontekstowe, jedna instancja), to najbardziej opłacalna droga do komfortowej pracy z modelem klasy 27B. Autor zachęca, by rozejrzeć się także po innych kartach spełniających kryteria pamięci i przepustowości.

Na co uważać: Zsumowana pamięć z dwóch kart nie zawsze zachowuje się jak jedna pula — zależy to od modelu, harnessu i sposobu podziału. Sprawdź, czy twój stos programowy to obsługuje, zanim kupisz.

10.Harness decyduje o różnicy między czatem a agentem

Na czym polega: Trzecia warstwa laboratorium to oprogramowanie wokół modelu: narzędzia, pamięć krótko- i długoterminowa, planowanie, zarządzanie kontekstem, zabezpieczenia i pętla agentowa (myśl → działaj → obserwuj → decyduj).

Jak stosować: Jeśli chcesz, by AI pracowało samodzielnie przez wiele godzin nad jednym celem, inwestuj czas w dobór i konfigurację harnessu, nie tylko w sprzęt i model. Autor rekomenduje zaczynać od rozwiązań darmowych, bez subskrypcji.

Na co uważać: Zabezpieczenia nie są opcją do pominięcia — agent z dostępem do plików i systemów zewnętrznych może zrobić realną szkodę, na przykład skasować pliki systemowe. Skonfiguruj guardraile, zanim uruchomisz pierwszą długą pętlę.