Darmowe AI na Twoim Komputerze: Działa Bez Internetu

O czym jest ten film

1. Dlaczego warto uruchamiać AI lokalnie: prywatność, koszty i niezależność od dostawców, którzy mogą zablokować dostęp w Europie.
2. Instalacja i konfiguracja aplikacji Jan — lokalnego narzędzia do rozmowy z modelami AI.
3. Jak czytać oznaczenia modeli: nazwa, wersja, liczba parametrów i kwantyzacja.
4. Dobór modelu do możliwości sprzętu (RAM, karta graficzna) — od 4 mld parametrów po 26 mld.
5. Bielik — polski model językowy wytrenowany na polskich danych.
6. Pojęcie kontekstu w rozmowie z modelem i jak wpływa na zużycie sprzętu.
7. Funkcja projektów i asystentów (dedykowanych instrukcji) w Janie.
8. Generowanie grafik lokalnie za pomocą ComfyUI.
9. Darmowa transkrypcja audio i wideo w aplikacji Vibe.
10. Podłączenie modeli chmurowych (OpenAI, Anthropic, GPT) przez OpenRouter jako uzupełnienie modeli lokalnych.

Redakcyjne tłumaczenie

Po co lokalne AI?

Czy da się mieć własne AI na komputerze — za darmo, bez internetu i w pełni prywatnie? Tak, to możliwe. W tym materiale pokażę krok po kroku, jak zainstalować taki system, rozmawiać po polsku z własnymi dokumentami, generować obrazy i wykonywać transkrypcję.

Są przynajmniej trzy powody, żeby zająć się lokalną sztuczną inteligencją. Pierwszy to prywatność danych — korzystając z lokalnych modeli, wszystkie poufne informacje zostają na Twoim urządzeniu. Drugi to koszty: własne modele zainstalowane na komputerze często są znacznie tańsze niż płatne usługi. Trzeci to dostępność. Wyobraź sobie, że Twoje ulubione narzędzie nagle blokuje dostęp w Europie — taka sytuacja niedawno miała miejsce. Jesteś wtedy odcięty od modeli i musisz szukać alternatywy. Jeśli masz wszystko u siebie, zachowujesz dostęp i możesz dalej pracować.

Wszystkie narzędzia instaluję i uruchamiam na laptopie MSI Prestige 14 AI+.

Instalacja aplikacji Jan

Żeby sztuczna inteligencja mogła działać na Twoim komputerze, potrzebujesz odpowiedniego narzędzia. Wybrałem aplikację Jan, ponieważ bardzo poważnie podchodzi do prywatności — dane zostają lokalnie, trzeba tylko odpowiednio skonfigurować system.

Wejdź na stronę podaną w opisie, pobierz wersję na Windowsa, Linuksa lub Maca i zainstaluj. Po uruchomieniu przywita Cię okno startowe, w którym trzeba wprowadzić kilka podstawowych ustawień. Wejdź w ustawienia i na początek zmień język na polski — cały interfejs będzie wtedy po polsku. W zakładce „prywatność” zostaw ustawienia tak, jak widzisz na ekranie (odznaczone).

Najważniejsza jest zakładka „centrum modeli”. Bez modelu nic nie zadziała. Modele sztucznej inteligencji to po prostu pliki, które instalujesz na komputerze — system używa ich jako „mózgu” całej aplikacji i na ich podstawie generuje odpowiedzi. Modeli jest wiele; pokażę te najpopularniejsze, warte wykorzystania pod konkretne zastosowania.

Na początek zainstaluj model rekomendowany — Gemma 4. Może to chwilę potrwać, bo taki plik waży około 6 GB, więc musisz mieć wolne miejsce na dysku.

Pierwsza rozmowa i praca z dokumentami

Po instalacji przejdź do nowego czatu i wybierz zainstalowany model. Wpisz pierwsze polecenie, na przykład „cześć”. Przy pierwszym poleceniu trzeba poczekać nieco dłużej, bo model się wczytuje — potem praca jest znacznie szybsza. Po około pięciu sekundach dostałem odpowiedź.

Do czatu można też przesłać plik. Wysłałem dwie wcześniej przygotowane faktury i poleciłem: „Zczytaj mi dane z faktur i podsumuj kwotę”. Wszystko dzieje się lokalnie — nic nie wychodzi poza komputer. Po 85 sekundach system rozpisał wszystkie faktury w tabeli i podsumował kwotę.

Jak czytać oznaczenia modeli

W centrum modeli obok nazw pojawiają się różne oznaczenia i warianty. Można się w tym pogubić, ale to prostsze, niż się wydaje. Rozbijmy to na części:

• Nazwa — na przykład Gemma. Modeli jest dużo: Qwen, polski Bielik i wiele innych. Każdy pochodzi od innego producenta i daje nieco inne możliwości.
• Wersja — zwykle większy numer oznacza nowszą wersję.
• Rozmiar — liczony w miliardach parametrów. Im więcej parametrów, tym zazwyczaj model jest lepszy, ale też ma większe wymagania sprzętowe.
• Kwantyzacja — kompresja modelu, dzięki której może działać nawet na laptopach czy komputerach stacjonarnych.

(Informacja dodatkowa: kwantyzacja to obniżenie precyzji zapisu parametrów modelu, np. do wariantu „Q5”, żeby zmniejszyć plik i zapotrzebowanie na pamięć kosztem niewielkiego spadku jakości.)

Dobór modelu do sprzętu

Kluczowe pytanie brzmi: czy dany model uruchomi się na Twoim sprzęcie? Najprostszy (choć nie jedyny) wyznacznik to liczba parametrów.

• Model o wielkości około 4 miliardów parametrów zadziała prawie na każdym laptopie, a nawet na telefonie — ale takie modele są bardzo słabe.
• Dobrym kompromisem są modele o wielkości 12 miliardów parametrów. Dają znacznie większe możliwości, ale potrzebują co najmniej 16 GB RAM.
• W testowanym laptopie jest 32 GB RAM, więc można pokusić się o model do 26 miliardów parametrów — będzie działał wolniej. Jeśli masz 32 GB RAM i mocną kartę graficzną z wyższej półki, taki model jest według mnie optymalny do pracy z tekstem.
• Większe modele wymagają znacznie droższego sprzętu (powyżej mniej więcej 20 tys. zł) i są to już rozwiązania specjalistyczne.

Pomocny jest też sam interfejs Jana. Przy najczęściej pobieranych modelach widać podpowiedzi o wielkości i wydajności — na przykład przy Qwenie pojawia się informacja, że model może działać wolno. Czerwony krzyżyk oznacza, że model może się w ogóle nie załadować. Jeśli pracujesz na laptopie, zacznij od modeli 12-miliardowych, a potem testuj wyższe.

(Informacja dodatkowa: w testach wykorzystano laptop MSI Prestige 14 AI+ — sponsora odcinka — z procesorem Intel Core Ultra X7, zintegrowaną kartą Intel Arc B390 oraz osobnym układem NPU do zadań AI, takich jak odszumianie dźwięku na żywo czy efekty kamerki.)

Bielik — polski model AI

Szczególnie warto wspierać polski model sztucznej inteligencji, rozwijany od dłuższego czasu — Bielik. Jego główną przewagą jest to, że został wytrenowany na polskim języku i polskich danych, dzięki czemu lepiej radzi sobie z naszym językiem i zadaniami z nim związanymi.

Możesz go najpierw przetestować online, ale można też od razu zainstalować go w Janie. Uwaga: w wyszukiwarce centrum modeli go nie znajdziesz — trzeba wpisać dokładną nazwę podaną w opisie lub materiałach dodatkowych. Do wyboru są różne wielkości; polecam wariant Q5, który powinien być optymalny.

Po instalacji przetestowałem go poleceniem stworzenia wpisu na media społecznościowe o sztucznej inteligencji. Model poradził sobie całkiem dobrze — ładne formatowanie, emoji. Zwróć jednak uwagę: w opisie samego siebie Bielik napisał, że zna „aktualne wydarzenia”, co nie jest do końca prawdą, bo do tego system musiałby mieć połączenie z internetem. To ważna lekcja — pewne rzeczy zawsze weryfikuj, bo nie wszystko, co generują lokalne modele, będzie prawdą.

Kontekst rozmowy

Podczas rozmowy z modelem po prawej stronie widać procenty — to kontekst, czyli ilość informacji, którą system może przetworzyć. Gdy kontekst zostanie przekroczony, model traci wątek i zapomina, o czym była rozmowa. Wielkość kontekstu można zmienić w ustawieniach, ale pamiętaj: im większy kontekst i dłuższa rozmowa, tym większe zużycie sprzętu. Niektóre modele mają też własne ograniczenia, których nie da się przekroczyć. Ustawiając na przykład 20 tysięcy, uzyskujesz większy limit.

Projekty i asystenci

Funkcją, która przekonała mnie do Jana, są projekty — podobne do tych z ChatuGPT. Możesz stworzyć projekt, na przykład „umowy”, i przesłać do niego pliki — choćby szablony umów podpisywanych z klientami. Wybierasz model i wpisujesz polecenie, na przykład „stwórz umowę dla nowego klienta”.

Do projektu można przypisać asystenta, czyli dedykowaną instrukcję. W niej określasz na przykład, żeby system pisał formalnie i wyłącznie po polsku, a następnie zapisujesz zmiany.

Niektóre modele mają reasoning, czyli pogłębione myślenie — odpowiedź trwa dłużej, ale przy bardziej zaawansowanych zadaniach warto go włączać. W moim przykładzie system myślał 72 sekundy, wskazał luki logiczne i strategiczne, a potem wygenerował przykładowy projekt umowy na żywo. Nie musisz cały czas patrzeć na generowanie — możesz zmniejszyć okno, otworzyć nowe i wrócić, gdy system skończy. Wszystkie rozmowy w danym wątku są uporządkowane w projekcie, więc panuje porządek.

Generowanie obrazów w ComfyUI

Za darmo można też generować grafiki. Na początek zainstaluj narzędzie ComfyUI — wejdź na stronę i pobierz wersję desktopową. To bezpłatne narzędzie działające lokalnie.

Uruchom aplikację, wejdź w „New Instance”, wpisz nazwę (np. „grafiki”) i wybierz kartę graficzną, z której system ma korzystać. Na komputerze stacjonarnym może pojawić się kilka opcji; ja mam kartę zintegrowaną, więc wybieram jedną. Wskaż folder i kliknij „Continue”. Możesz od razu pobrać kilka modeli do generacji — ważą po kilkanaście gigabajtów, więc trwa to chwilę (można też pominąć i pobrać później).

W panelu ładujesz model, na przykład Dream Shaper. W jednym polu opisujesz, co ma znaleźć się na grafice, a w drugim, czego ma nie być (np. znaków wodnych albo tekstu). Zamiast domyślnego promptu z butelką wpisałem: „Piękna kobieta spaceruje po parku”. Ustawiasz rozdzielczość oraz liczbę kroków — większa wartość oznacza dłuższą, ale bardziej szczegółową generację. Klikam „Run” i po 40 sekundach mam gotowe zdjęcie do pobrania.

W szablonach znajdziesz różne modele do generowania zdjęć, a nawet filmów. Filmy wymagają jednak znacznie mocniejszego sprzętu, więc na laptopie lepiej zostać przy zdjęciach.

Transkrypcja w aplikacji Vibe

Kolejne zadanie, za które kiedyś płaciłem sporo w abonamentach, to transkrypcja. Rozwiązaniem jest Vibe — darmowa, lokalna transkrypcja. Pobierz wersję na Windowsa lub inną platformę i zainstaluj.

Po instalacji najpierw pobierz model obsługujący transkrypcję (to chwilę potrwa), a potem wybierz język — ja wybieram polski. Następnie wskaż plik z nagraniem (kliknięciem lub przeciągnięciem do aplikacji), kliknij „Transcribe” i poczekaj. Czas zależy od sprzętu — u mnie to nagranie zajęło 13 sekund. Wynik można wyeksportować w dowolnym formacie. Program działa zarówno z audio, jak i z wideo, a wszystko dzieje się lokalnie.

Modele chmurowe przez OpenRouter

Pamiętaj, że modele lokalne nie są tak dobre jak najlepsze, płatne modele na świecie. Można jednak korzystać z nich w jednym ekosystemie, bez konieczności wykupywania osobnych abonamentów.

Wróć do Jana i wejdź w ustawienia zdalnych połączeń. Znajdziesz tam OpenAI, Anthropic i innych kluczowych graczy. Pokażę na przykładzie OpenRoutera — to agregator modeli AI, w którym w jednym miejscu wykupisz modele różnych dostawców.

Utwórz konto i doładuj je dowolną kwotą, na przykład 10–20 dolarów. Następnie w sekcji „API Keys” dodaj nowy klucz — to identyfikator służący do łączenia aplikacji. Nadaj mu nazwę (np. „Jan AI”) i ustaw limit wydatków, na przykład 10 dolarów; po jego przekroczeniu klucz przestanie działać. Kliknij „Create”, skopiuj wyświetlony klucz i wklej go do Jana. Pamiętaj, żeby nikomu go nie pokazywać.

(Informacja dodatkowa: klucz API to poufny sekret — kto go ma, może generować koszty na Twoim koncie, dlatego zawsze ustawiaj limit wydatków i nie udostępniaj klucza.)

Możesz jeszcze kliknąć „Test”, żeby sprawdzić połączenie. Po odświeżeniu listy modeli masz do wyboru setki opcji — na przykład Opus od Anthropic czy modele GPT. Nie musisz kupować osobnych abonamentów w ChatGPT czy u Anthropic — jednym narzędziem korzystasz ze wszystkich. W nowym czacie na górze masz modele lokalne, a poniżej te z OpenRoutera.

Pamiętaj tylko: gdy wychodzisz z lokalności i korzystasz z modeli przez OpenRouter, każda wiadomość kosztuje realne pieniądze. Takich modeli używaj tam, gdzie naprawdę są potrzebne, a prostsze zadania spokojnie zrealizujesz na darmowych modelach lokalnych.

Podsumowanie i sprzęt

Laptop MSI Prestige 14 AI+ zrobił na mnie dobre wrażenie: metalowa obudowa jest lekka i solidna, zawiasy precyzyjne, a klawiatura przyjemna w pisaniu. Ekran Full HD ma dobre odwzorowanie kolorów, w zupełności wystarczające do podstawowej pracy. Wydajność stoi na wysokim poziomie dzięki najnowszemu procesorowi Intela i zintegrowanej karcie graficznej, a bateria wytrzymuje kilkanaście godzin przy mniej wymagających zadaniach. Do tego kompaktowa ładowarka mieści się w kieszeni.

Jedyne, do czego mogę się przyczepić, to temperatury pod obciążeniem — przy renderowaniu filmów czy graniu górna część obudowy robi się ciepła, a nawet gorąca. Przy codziennej pracy problemów z temperaturą nie zauważyłem; układ chłodzenia (dwa wentylatory i komora parowa) jest jak na tak małą konstrukcję dość wydajny i praktycznie niesłyszalny.

Niebawem wejdziemy w kolejny etap — lokalnych agentów AI. Na razie agenty najlepiej działają w środowisku chmurowym i o tym opowiem w następnym filmie. Dziękuję za oglądanie. Krzysztof Gonet.

10 najważniejszych takeaways — z kontekstem zastosowania

1.Lokalne AI daje prywatność, oszczędność i niezależność

Na czym polega: Uruchamiając modele na własnym komputerze, przetwarzasz dane bez wysyłania ich do chmury — masz prywatność, niższe koszty i odporność na blokady dostępu (jak niedawna niedostępność niektórych usług w Europie).

Jak stosować: Wykorzystuj lokalne AI do zadań na poufnych danych (faktury, umowy, dokumenty wewnętrzne) oraz do rutynowych czynności, za które nie chcesz płacić abonamentu.

Na co uważać: Modele lokalne są słabsze od czołowych, płatnych modeli — nie oczekuj tej samej jakości przy najtrudniejszych zadaniach.

2.Jan jako punkt startowy do rozmowy z modelami

Na czym polega: Jan to darmowa aplikacja, która pozwala pobierać modele i rozmawiać z nimi lokalnie, z naciskiem na prywatność.

Jak stosować: Po instalacji ustaw język polski, sprawdź ustawienia prywatności i w „centrum modeli” pobierz pierwszy model rekomendowany (np. Gemma 4).

Na co uważać: Modele ważą kilka gigabajtów — zadbaj o wolne miejsce na dysku, a przy pierwszym uruchomieniu modelu zaczekaj chwilę na jego wczytanie.

3.Nauka czytania oznaczeń modeli oszczędza czas

Na czym polega: Nazwa modelu składa się z producenta/rodziny, wersji, liczby parametrów (w miliardach) i typu kwantyzacji.

Jak stosować: Kieruj się liczbą parametrów jako pierwszym sygnałem jakości, a wariantem kwantyzacji (np. Q5) jako kompromisem między jakością a zapotrzebowaniem na pamięć.

Na co uważać: Więcej parametrów to wyższe wymagania sprzętowe — większy nie zawsze znaczy „lepszy dla Ciebie”, jeśli sprzęt nie udźwignie modelu.

4.Dobór modelu do RAM i karty graficznej

Na czym polega: Modele 4-miliardowe działają niemal wszędzie, ale są słabe; 12-miliardowe to dobry kompromis (min. 16 GB RAM); przy 32 GB RAM można sięgnąć po ok. 26 mld parametrów.

Jak stosować: Na laptopie zacznij od modelu 12-miliardowego, a dopiero potem testuj większe. Korzystaj z podpowiedzi Jana o wydajności przy pobieraniu.

Na co uważać: Czerwony krzyżyk oznacza, że model może się nie załadować, a większe modele wymagają kosztownego sprzętu (rzędu 20 tys. zł).

5.Bielik do zadań po polsku

Na czym polega: Bielik to polski model wytrenowany na polskich danych, lepiej radzący sobie z naszym językiem i lokalnym kontekstem.

Jak stosować: Wpisz dokładną nazwę modelu (z opisu/materiałów) w centrum modeli — nie znajdziesz go zwykłą wyszukiwarką — i wybierz wariant Q5. Używaj do tekstów po polsku, np. wpisów, pism, podsumowań.

Na co uważać: Model potrafi „konfabulować” — sam zmyślił, że zna aktualne wydarzenia, choć bez internetu jest to niemożliwe. Zawsze weryfikuj fakty.

6.Kontekst decyduje o pamięci rozmowy

Na czym polega: Kontekst to ilość informacji, którą model utrzymuje w rozmowie; po jego przekroczeniu traci wątek.

Jak stosować: Przy długich dokumentach zwiększ limit kontekstu w ustawieniach (np. do 20 tys.), aby model nie zapominał wcześniejszych treści.

Na co uważać: Większy kontekst i dłuższa rozmowa oznaczają większe zużycie sprzętu, a część modeli ma sztywne limity, których nie przekroczysz.

7.Projekty i asystenci porządkują pracę

Na czym polega: Projekty grupują pliki i rozmowy wokół tematu, a asystent to dedykowana instrukcja narzucająca modelowi styl i zasady.

Jak stosować: Utwórz projekt (np. „umowy”), wgraj szablony i ustaw asystenta, np. „pisz formalnie, wyłącznie po polsku”, żeby otrzymywać spójne odpowiedzi.

Na co uważać: Do trudniejszych zadań włączaj modele z reasoningiem — dają lepsze odpowiedzi, ale generują je zauważalnie wolniej (w przykładzie 72 sekundy myślenia).

8.Darmowe generowanie grafik w ComfyUI

Na czym polega: ComfyUI to bezpłatne, lokalne narzędzie do generowania obrazów na podstawie opisu tekstowego.

Jak stosować: Wybierz kartę graficzną i model (np. Dream Shaper), opisz w polach, co ma i czego nie ma być na obrazie, ustaw rozdzielczość i liczbę kroków, a potem kliknij „Run”.

Na co uważać: Więcej kroków to dłuższa, choć dokładniejsza generacja; filmy wymagają znacznie mocniejszego sprzętu, więc na laptopie zostań przy zdjęciach.

9.Vibe do darmowej transkrypcji audio i wideo

Na czym polega: Vibe wykonuje transkrypcję lokalnie, zastępując płatne abonamenty na tego typu usługi.

Jak stosować: Pobierz model transkrypcyjny, wybierz język polski, przeciągnij plik audio lub wideo i kliknij „Transcribe”, a wynik wyeksportuj w wybranym formacie.

Na co uważać: Czas transkrypcji zależy od sprzętu — na słabszym komputerze potrwa dłużej niż wspomniane kilkanaście sekund.

10.OpenRouter jako most do modeli chmurowych

Na czym polega: Przez OpenRouter podłączysz do Jana płatne modele wielu dostawców (OpenAI, Anthropic, GPT) bez osobnych abonamentów, korzystając z jednego klucza API i wspólnego salda.

Jak stosować: Doładuj konto niewielką kwotą, wygeneruj klucz z limitem wydatków, wklej go do Jana i sięgaj po modele chmurowe tylko do najtrudniejszych zadań.

Na co uważać: Każda wiadomość przez OpenRouter kosztuje realne pieniądze — ustaw limit na kluczu, nigdy nie udostępniaj klucza i prostsze zadania zostaw modelom lokalnym.