O czym jest ten film
- Autor pokazuje, jak dostroić (fine-tune) jeden z największych otwartoźródłowych modeli — Kimi K2.7 — bez posiadania własnego sprzętu za setki tysięcy dolarów.
- Wyjaśnia, czym jest fine-tuning i dlaczego pozwala mniejszemu, dostrojonemu modelowi przewyższać większe modele w konkretnej dziedzinie.
- Omawia trzy niezbędne składniki: otwarty model, moc obliczeniową (GPU) oraz dobry zbiór danych.
- Tłumaczy różnicę między uczeniem nadzorowanym (SFT) a uczeniem ze wzmocnieniem oraz przedstawia technikę LoRA jako tani sposób dostrajania.
- Radzi, by dobierać zbiory danych pochodzące z modeli lepszych niż dostrajany — w tym wypadku z modelu Fable.
- Pokazuje praktyczny przepływ pracy oparty na agentach AI (pobieranie danych, konfiguracja, konwersja formatu) w terminalu CMax.
- Demonstruje platformę Fireworks AI do dostrajania i wdrażania modelu z użyciem LoRA — cały fine-tune kosztuje kilkadziesiąt do ok. 130 dolarów.
- Przeprowadza przez tworzenie tokena Hugging Face, konwersję zbioru danych i uruchomienie zadania treningowego.
- Wdraża dostrojony model publicznie i buduje prostą aplikację porównującą odpowiedzi wersji domyślnej i dostrojonej.
- Przekonuje, że otwarte modele (jak Kimi K2.7) są wielokrotnie tańsze od Opusa czy GPT-5.5 i warto je stosować tam, gdzie ma to sens.
Redakcyjne tłumaczenie
Wstęp: przyszłość dostrajania wielkich modeli
Nazywam się David Andre i pokażę wam, jak dostroić model Kimi K2.7 na własnych danych. Przyszłość już nadeszła — możemy teraz dostrajać ogromne modele AI, takie jak Kimi K2.7, który jest jednym z najlepszych modeli na świecie. Znajduje się on na poziomie zbliżonym do Opusa 4.8 czy GPT-5.5, a osiąga poziom Opusa za ułamek jego ceny — jest mniej więcej sześć do ośmiu razy tańszy.
W tym filmie wyjaśnię, czym jest fine-tuning, pokażę, jak dostroić Kimi K2.7, i jak wdrożyć go publicznie na żywo.
Czym jest fine-tuning?
W skrócie: fine-tuning sprawia, że model staje się lepszy w jednej konkretnej rzeczy. Dostrojone modele potrafią przewyższyć inne modele, nawet pięciokrotnie od nich większe pod względem liczby parametrów — właśnie dlatego, że zostały wyspecjalizowane w danej dziedzinie. To także najprostszy sposób, by stworzyć własny, autorski model AI, który ma tylko jedna osoba.
Jest jednak z tym pewien problem. Jeśli chcecie dostrajać potężne modele — takie jak te z bilionem parametrów, jak Kimi K2.7 — potrzebujecie mnóstwa najnowocześniejszych kart graficznych, a taki sprzęt bywa bardzo drogi. Prawdę mówiąc, żeby mieć w domu wystarczającą moc obliczeniową do dostrojenia tak dużego modelu, trzeba by wydać ponad 100 000 dolarów.
Choć gorąco zachęcam, byście inwestowali we własny sprzęt i uczyli się samodzielnego hostowania oraz uruchamiania modeli lokalnie, większości osób nie stać na wydanie 100 000 dolarów tylko po to, by dostroić model z bilionem parametrów. Dlatego pokażę wam, jak dostroić dowolny otwartoźródłowy model — nawet tak wielki jak Kimi K2.7 — taniej, szybciej i łatwiej.
Trzy rzeczy, których potrzebujesz
Czego właściwie potrzebujemy? Po pierwsze — modelu. Żeby cokolwiek dostroić, potrzebny jest model otwartoźródłowy, a nie zamknięty, jak te od OpenAI czy Anthropic. Musi to być model otwarty, który faktycznie możemy dostrajać.
(Informacja dodatkowa: autor mówi „Entropic”, ma na myśli firmę Anthropic — twórcę modeli Claude).
Po drugie — karty graficzne (GPU). To sprzęt, moc obliczeniowa, która posłuży nie tylko do dostrojenia modelu, ale też do jego wdrożenia i hostowania. Po trzecie — zbiór danych. To dane, które posłużą do dostrojenia. Jeśli macie kiepski zbiór danych, otrzymacie kiepski model. Dane są jedną z najważniejszych rzeczy.
Wybór modelu
Najczęściej ludzie dostrajają bardzo małe modele — 8 miliardów parametrów, może 24 miliardy, 30 miliardów — bo takie można trenować na własnym laptopie. Robiłem to wielokrotnie i pokazywałem w poprzednich filmach.
W tym filmie chcę jednak pokazać, jak dostroić jeden z największych otwartoźródłowych modeli na świecie — konkretnie Kimi K2.7 Code, bo to obecnie mój ulubiony model otwarty. To jeden z najlepszych i największych dostępnych modeli tego typu, a przy tym niezwykle opłacalny. Gdy porówna się go z Opusem 4.8 przy porównywalnej jakości kodu, jest średnio siedmiokrotnie tańszy.
Ponieważ Kimi K2.7 daje bardzo wysokiej jakości tokeny za wyjątkowo niską cenę, poprosiłem stojący za nim zespół o sponsorowanie tego filmu — i zgodzili się.
(Informacja dodatkowa: model Kimi tworzy firma Moonshot AI, o czym autor wspomina w dalszej części materiału).
Sprzęt
Druga potrzebna rzecz to sprzęt. Do załadowania i dostrojenia tak dużego modelu potrzebne są potężne karty graficzne, takie jak Nvidia B300 Blackwell. To sprzęt działający w centrach danych — nie są to karty konsumenckie. Teoretycznie można by je włożyć do zwykłego komputera, ale byłoby to skrajnie kosztowne. Każda taka karta kosztuje około 40 000 dolarów i nie da się kupić tylko jednej — trzeba kupić co najmniej osiem, bo sprzedaje się je w szafach serwerowych. Jeśli chcielibyście kupić Blackwelle, musielibyście z góry zainwestować co najmniej 300–350 tysięcy dolarów.
Oczywiście nie zamierzam tego robić tylko dla jednego filmu na YouTube. Dlatego potrzebujemy platformy, która pozwoli nam nie tylko trenować modele, ale też wdrażać ich dostrojone wersje za rozsądną cenę i z szybką inferencją.
Zbiór danych
Wysokiej jakości dane to jeden z najważniejszych czynników przy dostrajaniu i przy tworzeniu modeli AI w ogóle. Nie wszystkie zbiory danych są jednak sobie równe, a wiele z nich nie ma odpowiedniego formatu, by łatwo na nich dostrajać. Dlatego stworzyłem prostą „umiejętność” (skill), którą można po prostu skopiować i wkleić — zajmuje się ona całą tą konwersją.
(Informacja dodatkowa: „skill” to gotowy zestaw instrukcji i skryptów, które agent AV wykonuje krok po kroku; tutaj chodzi o automatyczną konwersję zbioru danych do formatu wymaganego przez platformę).
Dwa rodzaje dostrajania i technika LoRA
Są dwa główne rodzaje dostrajania. Pierwszy to dostrajanie nadzorowane (supervised fine-tuning) — model uczy się na dobrych przykładach. Drugi to uczenie ze wzmocnieniem — dajecie modelowi nagrodę, a on próbuje różnych rozwiązań, żeby sprawdzić, co przynosi najlepszą nagrodę. W tym filmie idziemy w dostrajanie nadzorowane, bo jest nieco prostsze, a pokażę zbiór danych z wieloma dobrymi przykładami.
Kolejne pojęcie, które trzeba zrozumieć, to LoRA — czyli low-rank adaptation (adaptacja niskiego rzędu). To wydajna technika dostrajania, bo zamraża wagi bazowe i trenuje tylko niewielki zestaw nowych wag adaptera. Zamiast trenować wszystkie bilion parametrów Kimi K2.7 — co byłoby długotrwałe i bardzo kosztowne — trenujemy jedynie mały adapter nałożony na duży model.
Wybór i pobranie zbioru danych
Pierwszą rzeczą przed rozpoczęciem dostrajania jest wybór zbioru danych — a jest ich mnóstwo. Na Hugging Face w zakładce ze zbiorami danych znajdziecie niemal milion unikalnych zbiorów. Możecie wpisać np. „front end”, „design” albo „SWE” (inżynieria oprogramowania) i znaleźć świetne pozycje.
(Informacja dodatkowa: Hugging Face to największa platforma z otwartymi modelami i zbiorami danych — coś w rodzaju GitHuba dla świata AI).
Problem polega na tym, że wiele z tych zbiorów pochodzi ze słabszych modeli. Trzeba uważać, bo Kimi K2.7 to model z bilionem parametrów, już naprawdę bardzo dobry. Nie ma więc sensu dostrajać go na danych pochodzących z mniejszego modelu. Jeśli chcecie użyć zbioru wygenerowanego przez jakiś model, sięgnijcie po lepszy. Obecnie najlepszy na świecie jest Fable — na Hugging Face znajduje się 118 różnych zbiorów danych z Fable. Wybieramy Fable, bo to znacznie większy model — według pogłosek około 10–15 bilionów parametrów, czyli istotnie większy niż Kimi K2.7.
Możecie oczywiście użyć dowolnego innego zbioru, przeszukać sieć pod kątem tego, co ma sens, albo stworzyć własny zbiór danych — o czym niedawno nagrałem osobny film. Nie chodzi o to, by dać wam rybę, ale by nauczyć was łowić. Pokazuję kroki, żebyście potrafili dostroić Kimi na własnych danych w sposób, który ma dla was sens.
Gdy wybierzecie zbiór, trzeba go pobrać. Najłatwiej po prostu zlecić to agentowi. Otwieram terminal — używam CMax — kopiuję adres URL i uruchamiam agenta (może to być Pi Agent, Codex, cokolwiek). Każę mu najpierw wykonać pwd, żeby upewnić się, gdzie jesteśmy. Jako model działa u mnie Kimi K2.7 Code — jest bardzo szybki i świetny; w Pi Agencie ustawiłem go jako domyślny. Następnie podaję link i mówię: pobierz ten zbiór danych do tego folderu. Agent sprawdzi, czy mam narzędzie Hugging Face CLI, a jeśli nie — pomoże je zainstalować.
Wiele osób nie wykorzystuje tych agentów do usprawniania swojej konfiguracji. Są one o wiele potężniejsze, niż się wydaje — nie ograniczajcie się do traktowania ich jak zamiennika Google. Zamiast szukać przycisku w interfejsie, po prostu wysyłam URL i każę pobrać dane.
Platforma Fireworks AI
Kiedy dane się pobierają, możemy otworzyć Fireworks AI. To świetna platforma, bo pozwala zarówno na wdrażanie, jak i na dostrajanie modeli. Jeśli nigdy z niej nie korzystaliście — wpiszcie w Google „Fireworks AI”, kliknijcie pierwszy link i załóżcie konto. W panelu najważniejsze są dwie sekcje: „deployments” (wdrożenia) i „fine-tuning” (dostrajanie). Najpierw dostrajamy model, a potem tworzymy wdrożenie, by móc budować na nim oprogramowanie lub uruchamiać inferencję.
W sekcji „models” zobaczycie wszystkie dostępne modele. Wybieramy Kimi K2.7 — mają dla niego ładną wersję LoRA, więc skorzystamy z adaptacji niskiego rzędu, co zaoszczędzi mnóstwo pieniędzy. Nie zwracajcie uwagi na to, że mam 6000 dolarów kredytów — na pewno nie potrzeba tyle. Dzięki działaniu LoRA taki fine-tune można wykonać w mniej niż godzinę. Nawet najpotężniejsze GPU kosztują około 40 dolarów za godzinę, więc mój ostatni fine-tune kosztował jakieś 38 dolarów. Biorąc pod uwagę, że to model z bilionem parametrów, to naprawdę bardzo tanio.
Agent monitorujący agenta i token Hugging Face
Możemy sprawić, by jeden agent sprawdzał drugiego. Uruchamiam kolejnego agenta i mówię: sprawdź tę przestrzeń roboczą CMax i daj znać, czy widzisz drugiego agenta pobierającego dane. Okazuje się, że pobieranie napotkało limit szybkości (rate limit). Rozwiązaniem jest podanie tokena Hugging Face.
Uruchamiam więc jedną ze swoich „umiejętności” konfiguracyjnych, z której korzystam codziennie. Agent czyta instrukcję i podaje mi jasne kroki: najpierw link do tokenów Hugging Face i założenie konta. Hugging Face to w zasadzie odpowiednik GitHuba dla całego świata AI — jeśli zależy wam na otwartym AI, samodzielnym hostowaniu i uruchamianiu modeli lokalnie, koniecznie załóżcie tam konto.
W prawym górnym rogu klikamy na swoje konto, potem „access tokens” na dole i tworzymy nowy token. Nazywam go „Kimi data set download”. Przy uprawnieniach dla tego tokena potrzebujemy jedynie dostępu do odczytu zawartości publicznych i „gated” repozytoriów. Przewijamy w dół i klikamy „create token”.
Gdy nie jesteście czegoś pewni, zróbcie zrzut ekranu i wyślijcie go agentowi — do ChatGPT, Claude’a albo Pi Agenta z Kimi — z prośbą: „jestem na Hugging Face, muszę stworzyć token dostępu, jakich uprawnień mu udzielić? Wytłumacz to jak najprościej i zwięźle”. Tak właśnie należy korzystać z AI, żeby podnosić swoje kompetencje: używajcie jednego agenta, by skonfigurować drugiego.
Wielu z was wciąż nie wykorzystuje AI wystarczająco intensywnie do budowania własnego zrozumienia. Część osób zbytnio na nim polega tam, gdzie nie ma to sensu, i nie uczy się niczego — tylko kopiuje między agentami. Nie o to chodzi. Chcecie używać AI, żeby uczyć się samodzielnie i rozwijać własne umiejętności.
Token kopiuję i każę agentowi utworzyć plik .env, wpisać nazwę zmiennej dla tokena Hugging Face i zapisać wartość. To nie jest najlepsza praktyka — wysyłanie tokena agentowi — ale zdecydowanie najszybsza. Po skonfigurowaniu tokena kolejne pobrania nie będą już napotykać limitów. Nie udostępniajcie jednak tego tokena nikomu; ja swój i tak zaraz unieważnię i usunę, bo trzeba go trzymać w tajemnicy jak hasło.
Konwersja zbioru danych do właściwego formatu
Problem w tym, że pobrany zbiór danych prawdopodobnie nie jest w formacie gotowym do dostrajania. Zamykam więc bieżącego agenta i uruchamiam nowego — tym razem Codex, ustawiony na wysoki poziom rozumowania (GPT-5.5 high jest dobry). Mówię: znajdź w tym folderze zbiór danych — powinien to być „Fable 5 chain of thought merge”. Najpierw potwierdzam, że Codex go widzi.
Następnie zlecam mu research: jaki format zbioru danych jest potrzebny, by dostroić model Kimi K2.7 Code na platformie Fireworks AI przez LoRA — z solidnym przeszukaniem sieci. Kiedy potwierdza, że zbiór jest na miejscu, uruchamiam na nim „umiejętność” do przygotowania danych. Codex napisze skrypt konwersji w Pythonie, przeczyta instrukcję i wykona wszystkie kroki potrzebne, by przekształcić zbiór do formatu, który wgramy do Fireworks.
W tym czasie w Fireworks przechodzę do „fine-tuning”, klikam „fine-tune a model”, wybieram „supervised”, model Kimi K2.7 Code w wersji LoRA, i dochodzę do etapu wgrania danych. Codex analizuje zbiór i ustala, czego mu brakuje. Zadaje pytanie: mam skonwertować to jako proste SFT, czy w sposób dający model najwyższej jakości, nawet jeśli będzie mniej czytelny dla człowieka? Odpowiadam, że chcę najwyższą możliwą jakość. Wystarczy wysłać tę „umiejętność” dowolnemu agentowi — Claude Code, Codex, Cursor, Pi, Hermes — a będzie wiedział, jak przekonwertować dane.
Codex napisał skrypt liczący ponad 200 linii i od razu go uruchamia. Zbiór ma 4600 wierszy. Do skutecznego dostrajania metodą LoRA potrzeba co najmniej 1000 wierszy, by uzyskać dobry rezultat — na Hugging Face liczbę wierszy sprawdzicie po prawej stronie. Ten ma 4600, więc jesteśmy bezpieczni.
Gdy dane są gotowe, mówię agentowi: otwórz mi w Finderze zbiór treningowy. To kolejna wskazówka — zamiast szukać pliku zakopanego głęboko na dysku, po prostu każę agentowi go otworzyć. Właściwy plik to fable5_fireworks_train.jsonl.
Uruchomienie zadania dostrajania
Wracam do Fireworks w przeglądarce i przeciągam plik, żeby go wgrać. To potrwa kilka sekund. Nie potrzebujemy zbioru walidacyjnego, ale Codex nam go przygotował. Ustawienia zostawiamy domyślne. Podaję nazwę wyjściową modelu — „kimi code fable”, bo taka jest nazwa zbioru danych. Zadanie dostrajania zostaje utworzone.
W sekcji „fine-tuning” widzę zadanie „kimi code fable” ze zbiorem „fable 5 star train”. Robię zrzut ekranu i wysyłam agentowi z prośbą o potwierdzenie, że wszystko się zgadza. Warto robić zrzuty ekranu i wysyłać je agentom — jeśli nie dostajecie dobrych wyników z AI, prawdopodobnie nie dajecie mu wystarczającego kontekstu: zarówno tekstowego (słowa), jak i wizualnego (zrzuty).
Klikam w zadanie i widzę postęp — na razie 0%, epoka pierwsza z jednej. W innym zadaniu, które uruchomiłem wcześniej na innym zbiorze, jesteśmy już na 65%, a wartość funkcji straty (loss) maleje w czasie, co oznacza, że trening przebiega prawidłowo. Uruchomiłem więc dwa zadania naraz. Zajmie to kilka godzin, ale w efekcie otrzymam Kimi K2.7 Code dostrojony na danych z modelu Fable.
Koszt i wdrożenie modelu
Fine-tune się zakończył. Sprawdzam koszt — 131 dolarów. To wcale nieźle. Wcześniejsze dostrajania na większych zbiorach kosztowały nawet 800 dolarów, więc ten zbiór Fable okazał się dość oszczędny. Trenowaliśmy tylko przez jedną epokę; można trenować dłużej.
Teraz przechodzę do „deployments” i klikam „create deployment”. Nazywam wdrożenie, w polu modelu bazowego wybieram „custom model” i wskazuję ten, który właśnie stworzyliśmy. Region globalny jest w porządku. Widać różne karty Nvidia — to Nvidia B300 Blackwell z 288 GB pamięci VRAM każda, cztery sztuki. Dlatego wdrożenie tyle kosztuje. Można też ustawić skalowanie: minimum jednej repliki sprawia, że model działa nieprzerwanie (przy zerze wygasza się i wyłącza), a autoskalowanie — do pięciu replik — daje elastyczność przy większym ruchu. Właśnie za tę prostotę lubię Fireworks. Mam już jedno działające wdrożenie, uruchomione od jakichś 30 godzin.
Porównanie: wersja dostrojona kontra domyślna
Ostatnia rzecz to pokazanie różnicy — jak Kimi Code dostrojony na danych Fable wypada w porównaniu ze zwykłym Kimi K2.7. Przełączam się na CMax, uruchamiam Pi Agenta i każę zbudować prostą aplikację webową: po lewej stronie działa domyślny Kimi K2.7 przez API OpenRouter, a po prawej nasza dostrojona wersja z Fireworks AI. Prosze o ładny podział 50/50, pole tekstowe na dole i wysyłanie tego samego promptu do obu modeli. Klucze API i szczegóły podam za chwilę.
Używam Pi Agenta z Kimi K2.7 Code — spójrzcie, jak jest szybki. Zespół Moonshot naprawdę się popisał: model jest bardzo szybki i świetny jak na swoją cenę.
Fireworks daje prosty fragment kodu do skopiowania. Potrzebujemy klucza API — tworzę plik .env, dodaję zmienną „fireworks API key” i ręcznie wklejam wartość (dobra praktyka, żeby nie wysyłać jej agentowi). Klucz jest widoczny tylko raz, więc go zapisuję. Trzymajcie klucze API w tajemnicy.
Przygotowuję też OpenRouter dla Kimi K2.7 Code: w „quick start” tworzę klucz z niewielkim limitem, np. 5 dolarów, i zapisuję go do .env jako „open router API key”. Następnie mówię agentowi, że oba klucze — OpenRouter i Fireworks — są w pliku .env, i podaję mu oficjalną dokumentację obu dostawców, by prawidłowo podłączył backend.
(Informacja dodatkowa: OpenRouter to pośrednik dający jednym API dostęp do wielu modeli różnych dostawców).
Sprawdzam jeszcze stos technologiczny aplikacji — uruchamiam kolejny panel w CMax i pytam agenta. Odpowiada: Vite, React, TypeScript. Wybieram więc SDK w TypeScripcie i wklejam odpowiednie fragmenty dla OpenRoutera i Fireworks. To piękno CMax — można błyskawicznie otworzyć kolejny panel i uruchomić w nim następnego agenta.
Uruchamiam aplikację (cd frontend, pnpm dev) i otwieram w przeglądarce Brave. Interfejs jest prosty i czysty. Liczba tokenów na sekundę jest imponująca, a model wcale nie jest leniwy — poprawia plik README, wszystko dwukrotnie sprawdza, wkłada dużo wysiłku, a wciąż nie wydaliśmy nawet dolara. To właśnie opłacalność otwartych modeli. Wielu z was marnuje pieniądze, uruchamiając wszystko na Opusie czy GPT-5.5, podczas gdy najlepszy model warto zostawić do planowania, a mniejsze, szybsze modele otwarte — jak Kimi K2.7 — wykorzystać do reszty. Sięganie po otwarte modele tam, gdzie ma to sens, może obniżyć wydatki na tokeny i pozwolić używać AV jeszcze więcej.
Testy odpowiedzi
Backend jest podłączony. Wysyłam testowe pytanie „Kim jesteś?” — działa. Widać wyraźną różnicę: po jednej stronie wersja dostrojona na danych Fable, po drugiej podstawowy Kimi.
- „Wyjaśnij podstawy cyberbezpieczeństwa” — wersja Fable jest lepiej sformatowana, podstawowa bardziej rozwlekła.
- „Jaki jest największy trik na produktywność, który może przyjąć każdy człowiek? Zwięźle.” — w wersji Fable widać ślady rozumowania (thinking traces), bo ten zbiór danych zawierał zapisy myślenia. Padają różne odpowiedzi: jedno-zadaniowość z głębokim skupieniem oraz zasada dwóch minut.
- „Jaka jest najważniejsza praktyka zdrowotna, którą każdy mógłby przyjąć? Krótko.” — jedna odpowiedź to regularna aktywność fizyczna, druga to odpowiednia ilość snu; w wersji dostrojonej znów widać rozumowanie.
Główna różnica jest taka, że wersja dostrojona na Fable spędza więcej czasu na myśleniu i jest nieco bliższa możliwościom Fable, bo właśnie na tych danych była trenowana. Na pytanie „Kim jesteś i kto cię stworzył?” oba modele poprawnie odpowiedziały, że są Kimi — zbiór danych nie był na tyle duży, by model zaczął twierdzić, że jest Claude’em.
Podsumowanie
Teraz już wiecie, jak dostroić dowolny model AI — nawet ten z bilionem parametrów — na własnym zbiorze danych albo na zbiorze z Hugging Face.
10 najważniejszych takeaways — z kontekstem zastosowania
1.Fine-tuning to najtańszy sposób na własny, wyspecjalizowany model
Na czym polega: Dostrajanie sprawia, że model staje się lepszy w jednej dziedzinie; wyspecjalizowany model potrafi przewyższyć modele nawet kilkukrotnie od niego większe w danym zadaniu.
Jak stosować: Zacznij od jasno określonej niszy (np. front-end, inżynieria oprogramowania, konkretny styl odpowiedzi) i dobierz do niej zbiór przykładów, zamiast dostrajać „na wszystko naraz”.
Na co uważać: Dostrojony model jest lepszy tylko w swojej wąskiej dziedzinie — nie oczekuj poprawy w zadaniach spoza zbioru treningowego i nie traktuj fine-tuningu jak zamiennika dobrego promptu.
2.Nie potrzebujesz własnych GPU za setki tysięcy dolarów
Na czym polega: Domowy sprzęt do trenowania modeli z bilionem parametrów kosztuje ponad 100 000 dolarów, a nawet 300–350 tys. za zestaw kart Nvidia B300. Platformy chmurowe eliminują ten koszt wejścia.
Jak stosować: Korzystaj z platform typu Fireworks AI, które łączą dostrajanie i wdrażanie — dzięki LoRA pojedynczy fine-tune kosztuje od kilkudziesięciu do ok. 130 dolarów.
Na co uważać: Koszt wdrożenia (utrzymywania modelu online na wielu kartach B300) jest znacznie wyższy niż samego treningu — pilnuj skalowania i wyłączaj wdrożenia, których nie używasz.
3.LoRA drastycznie obniża koszt dostrajania
Na czym polega: LoRA (low-rank adaptation) zamraża wagi bazowe i trenuje tylko mały adapter, więc nie trzeba dotykać wszystkich bilionów parametrów.
Jak stosować: Wybieraj modele z gotową wersją LoRA na platformie; taki fine-tune bywa gotowy w mniej niż godzinę przy koszcie GPU rzędu 40 dolarów za godzinę.
Na co uważać: LoRA to kompromis — dla bardzo głębokich zmian zachowania modelu pełne dostrajanie może dać lepsze efekty, ale jest wielokrotnie droższe.
4.Jakość danych decyduje o jakości modelu
Na czym polega: „Kiepskie dane, kiepski model” — zbiór treningowy jest jednym z najważniejszych czynników sukcesu.
Jak stosować: Dobieraj zbiory z modeli lepszych niż dostrajany (autor używa danych z Fable, rzekomo 10–15 bln parametrów, do dostrojenia Kimi z 1 bln). Do skutecznej LoRA celuj w co najmniej 1000 wierszy — tu było 4600.
Na co uważać: Wiele zbiorów na Hugging Face pochodzi ze słabszych modeli — dostrajanie na nich mocnego modelu może go pogorszyć. Sprawdzaj źródło i liczbę wierszy przed użyciem.
5.Zbiór danych trzeba przekonwertować do formatu platformy
Na czym polega: Surowe zbiory rzadko są w formacie gotowym do dostrajania; platforma wymaga konkretnej struktury (tu format JSONL dla Fireworks).
Jak stosować: Najpierw zleć agentowi research właściwego formatu, a potem uruchom skrypt konwersji (autor używa gotowej „umiejętności” pisanej w Pythonie przez agenta).
Na co uważać: Konwersja „prosto” vs. „pod najwyższą jakość” daje różne wyniki — jeśli zależy ci na jakości, wybierz tryb zachowujący więcej sygnału (np. ślady rozumowania), nawet kosztem czytelności danych.
6.Używaj jednego agenta do konfiguracji drugiego
Na czym polega: Agenci AI potrafią pobierać dane, instalować narzędzia (Hugging Face CLI), monitorować inne procesy, a nawet nadzorować pracę innych agentów.
Jak stosować: Deleguj żmudne kroki: „pobierz ten zbiór do tego folderu”, „sprawdź, czy drugi agent skończył”, „otwórz plik w Finderze”. Gdy utkniesz — zrzut ekranu + „wytłumacz prościej i krócej”.
Na co uważać: Nie popadaj w skrajność bezmyślnego kopiowania między agentami — używaj AI, by faktycznie się uczyć, a nie tylko przeklejać wyniki bez zrozumienia.
7.Kontekst tekstowy i wizualny poprawia wyniki AI
Na czym polega: „Jeśli nie dostajesz dobrych wyników z AI, prawdopodobnie nie dajesz mu dość kontekstu” — zarówno słów, jak i zrzutów ekranu.
Jak stosować: Załączaj zrzuty interfejsu (np. ekranu tworzenia tokena czy zadania w Fireworks) i proś o potwierdzenie kroków, zamiast opisywać wszystko słowami.
Na co uważać: Nie wklejaj na zrzutach ani do promptów sekretów (tokenów, kluczy API) — te wprowadzaj ręcznie.
8.Klucze i tokeny traktuj jak hasła
Na czym polega: Token Hughing Face oraz klucze API (Fireworks, OpenRouter) dają dostęp do twojego konta i środków.
Jak stosować: Twórz tokeny z minimalnymi potrzebnymi uprawnieniami (tu wystarczył odczyt publicznych/gated repozytoriów), przechowuj je w pliku .env, wpisuj ręcznie i unieważniaj po użyciu, gdy nie są już potrzebne.
Na co uważać: Autor sam przyznaje, że wysyłanie tokena agentowi to nie jest najlepsza praktyka, tylko najszybsza — na produkcji unikaj podawania sekretów agentom i nigdy nie udostępniaj kluczy innym.
9.Ustaw sensowne limity i skalowanie wdrożenia
Na czym polega: Wdrożenie dużego modelu wymaga potężnych GPU (cztery Nvidia B300 z 288 GB VRAM), a koszt rośnie, gdy model działa nieprzerwanie.
Jak stosować: Minimum jednej repliki utrzymuje model zawsze gotowym; zero repliki wygasza go przy braku ruchu. Autoskalowanie (np. do pięciu replik) obsłuży skoki ruchu. Na kluczach API OpenRoutera ustaw niski limit wydatków (np. 5 dolarów) do testów.
Na co uważać: Wdrożenie działające „od 30 godzin” cały czas generuje koszt — pamiętaj, by wyłączać nieużywane deploymenty, bo to one, a nie sam trening, drenują budżet.
10.Otwarte modele stosuj tam, gdzie to opłacalne
Na czym polega: Kimi K2.7 osiąga poziom Opusa przy jakości kodu porównywalnej, a jest średnio ok. 7 razy tańszy (6–8× wg autora).
Jak stosować: Rozważ architekturę hybrydową — najmocniejszy model do planowania, szybszy i tańszy model otwarty (np. Kimi K2.7 Code) do realizacji zadań i inferencji. To może obniżyć wydatki na tokeny przy większym wolumenie użycia.
Na co uważać: Materiał jest sponsorowany przez zespół Kimi, a porównania („jeden z najlepszych modeli na świecie”, plotki o 10–15 bln parametrów Fable) traktuj jako opinie autora, nie zweryfikowane fakty. Sam sprawdź jakość otwartego modelu na własnym zadaniu, zanim przeniesiesz na niego produkcję.