O czym jest ten film
- Lokalne modele AI można uruchamiać także na słabszych komputerach, choć ich możliwości i szybkość zależą od sprzętu.
- Hermes Agent potrafi zaproponować model odpowiedni do wykrytej konfiguracji i pobrać go z poziomu aplikacji.
- Po instalacji wybrany model można podłączyć do agenta w Hermesie.
- Autor ceni lokalne AI za swobodę korzystania, kontrolę nad narzędziem i brak opłat naliczanych za każde zapytanie.
- Jako przykład pokazuje agenta, który stale zbiera informacje o spółkach i śledzi ceny akcji.
- Lokalne modele najlepiej sprawdzają mu się przy wielu powtarzalnych zadaniach, niewymagających najbardziej zaawansowanego rozumowania.
- Agent może pomagać między innymi w porządkowaniu plików, pobieraniu programów, sprawdzaniu poczty i przeglądaniu kodu.
- Do budowy złożonych aplikacji oraz wieloetapowej pracy intelektualnej autor nadal wybiera czołowe modele dostępne w chmurze.
- Praca samego modelu może odbywać się bez internetu, ale zadania wymagające aktualnych danych lub kontaktu z usługami internetowymi potrzebują połączenia.
- Autor zachęca do eksperymentowania z lokalnym AI również dla samej nauki i przyjemności, bez oczekiwania natychmiastowego zwrotu z zakupu sprzętu.
10 najważniejszych takeaways — z kontekstem zastosowania
1.Zacznij od komputera, który już masz
Na czym polega: Hermes Agent ma dobrać model do dostępnego sprzętu. Nawet słabszy komputer może wystarczyć do pierwszych prób z lokalnym AI.
Jak stosować: Zainstaluj aplikację na obecnym komputerze i sprawdź jej propozycję, zanim zaczniesz rozważać zakup nowego urządzenia.
Na co uważać: Na starym sprzęcie odpowiedzi mogą powstawać wolno, a dostępny model może radzić sobie gorzej ze złożonymi poleceniami.
2.Dobierz model do rodzaju pamięci i oczekiwanej szybkości
Na czym polega: Autor wskazuje różne zalety poszczególnych komputerów: karty Nvidia zapewniają dużą szybkość, a komputery Mac Studio z dużą ilością pamięci pozwalają uruchamiać większe modele.
Jak stosować: Zastanów się, czy bardziej zależy ci na szybkim wykonywaniu prostych zadań, czy na uruchomieniu większego modelu. Dopiero potem oceniaj sprzęt.
Na co uważać: Szybka karta graficzna nie musi mieć dość pamięci na największy model. Większa dostępna pamięć również nie gwarantuje szybkiego działania.
3.Skorzystaj z podpowiedzi w Hermes Agent
Na czym polega: W ustawieniach aplikacji, w sekcji dostawców modeli, znajduje się opcja „Run Models Locally”. Program sprawdza komputer i proponuje model.
Jak stosować: Otwórz ustawienia, przejdź do „Providers”, wybierz „Run Models Locally”, a następnie użyj przycisku pobierania i uruchomienia zaproponowanego modelu.
Na co uważać: „Jedno kliknięcie” dotyczy pobrania i podłączenia modelu po wcześniejszej instalacji Hermesa. Pobranie plików wymaga też czasu i wolnego miejsca na dysku.
4.Sprawdź, czy agent rzeczywiście używa pobranego modelu
Na czym polega: Po instalacji model powinien pojawić się na liście modeli dostępnych dla agenta.
Jak stosować: Wybierz go z listy w oknie rozmowy. Jeśli układ aplikacji różni się od pokazanego przez autora, przejdź do widoku „Bots”.
Na co uważać: Samo pobranie plików nie oznacza jeszcze, że wybrany agent korzysta właśnie z tego modelu. Sprawdź jego nazwę w interfejsie.
5.Wykorzystaj lokalne AI do powtarzalnego zbierania informacji
Na czym polega: Brak opłat za kolejne zapytania sprzyja zadaniom wykonywanym często. Autor stale zleca agentowi śledzenie wiadomości o spółkach, którymi interesuje się jako inwestor.
Jak stosować: Wybierz temat, który regularnie monitorujesz, i zleć agentowi zbieranie oraz porządkowanie nowych informacji.
Na co uważać: Świeże wiadomości i ceny pochodzą z zewnętrznych źródeł. Taki monitoring wymaga dostępu do internetu, a wyniki trzeba sprawdzać przed podjęciem decyzji.
6.Powierzaj agentowi proste czynności na komputerze
Na czym polega: Lokalny model w Hermesie może obsługiwać agenta, który wykonuje zadania takie jak przenoszenie plików, pobieranie programów czy przygotowywanie materiałów do wysłania.
Jak stosować: Zacznij od krótkich poleceń z jasnym wynikiem, na przykład uporządkowania wskazanego folderu albo znalezienia konkretnego pliku.
Na co uważać: Przy operacjach na plikach i korespondencji sprawdź wynik, zwłaszcza gdy polecenie może zmienić ważne dane lub wysłać je dalej.
7.Używaj lokalnego modelu do wstępnego przeglądu kodu
Na czym polega: Autor proponuje, by model działający na własnym komputerze regularnie szukał problemów w kodzie tworzonym za pomocą innych narzędzi.
Jak stosować: Zleć mu przejrzenie konkretnej zmiany i poproś o wskazanie miejsc, które wymagają uwagi.
Na co uważać: Taka analiza jest pomocą przy sprawdzaniu kodu, nie gwarancją wykrycia wszystkich błędów.
8.Najtrudniejsze zadania kieruj do mocniejszych modeli
Na czym polega: Autor nadal korzysta z modeli chmurowych przy budowie złożonych aplikacji i wieloetapowej pracy wymagającej zaawansowanego rozumowania.
Jak stosować: Lokalne AI przeznacz na rutynowe czynności i wstępne prace, a model chmurowy wybieraj wtedy, gdy jakość rozumowania ma największe znaczenie.
Na co uważać: Granica zależy od konkretnego modelu i zadania. Nie zakładaj, że każdy model lokalny ma te same możliwości.
9.Oddziel działanie bez internetu od pracy z aktualnymi danymi
Na czym polega: Pobrany model może odpowiadać lokalnie bez połączenia z siecią. Agent korzystający z wiadomości, poczty czy cen akcji nadal potrzebuje dostępu do tych usług.
Jak stosować: Zadania oparte na własnych plikach możesz testować bez internetu. Przy monitoringu wiadomości upewnij się, że agent ma dostęp do potrzebnych źródeł.
Na co uważać: „Lokalny model” nie oznacza, że każde zadanie całego agenta odbywa się poza siecią.
10.Traktuj pierwszą instalację jako naukę narzędzia
Na czym polega: Zdaniem autora warto poznać lokalne modele już teraz, nawet jeśli obecny komputer pozwala uruchomić jedynie niewielki wariant.
Jak stosować: Przetestuj kilka prostych zastosowań i sprawdź, gdzie narzędzie oszczędza ci czas. Doświadczenie przyda się przy późniejszej zmianie modelu lub sprzętu.
Na co uważać: Entuzjazm nie jest jeszcze uzasadnieniem kosztownego zakupu. Najpierw ustal, do czego rzeczywiście będziesz używać lokalnego AI.
Redakcyjne tłumaczenie
Dlaczego zainteresowałem się lokalnym AI
Lokalne modele AI działają na twoim komputerze. Możesz z nich korzystać bez opłat za każde kolejne zapytanie, a sposób ich działania zależy w dużej mierze od ciebie. Co ważne, rozpoczęcie pracy z nimi stało się prostsze i tańsze, niż wielu osobom się wydaje. Dziś da się uruchomić model nawet na podstawowym Macu mini, bez ręcznego przechodzenia przez skomplikowaną konfigurację.
Pokażę, dlaczego warto się tym zainteresować niezależnie od posiadanego komputera, jak uruchomić model za pomocą Hermes Agent oraz kiedy lepiej sięgnąć po usługę działającą w chmurze. Na początek przykład: mam lokalnego agenta, który regularnie zbiera dla mnie informacje o spółkach, obserwuje ceny akcji i podsuwa pomysły inwestycyjne. Model działa na moim sprzęcie, a za jego kolejne odpowiedzi nie płacę. Oczywiście, żeby pobierać bieżące ceny i wiadomości, agent musi łączyć się z ich źródłami.
Najważniejsza zmiana, którą chcę pokazać, pojawiła się w Hermes Agent. To bezpłatne narzędzie o otwartym kodzie, które może wykonywać zadania jako agent AI. Jedna z nowszych funkcji pozwala mu rozpoznać możliwości komputera, zaproponować odpowiedni model, pobrać go i podłączyć do agenta. Nie jestem sponsorowany przez twórców Hermesa; po prostu uważam tę funkcję za bardzo przydatną.
Po co uruchamiać model u siebie
W branży AI dużo mówi się o przyszłości modeli lokalnych. Pojawiają się obawy, że dostęp do nich może kiedyś zostać ograniczony. Nie wiem, czy rzeczywiście do tego dojdzie, ale wolę już teraz nauczyć się z nich korzystać. Jeśli mam model zapisany na własnym komputerze, mogę go używać bez polegania przy każdym zapytaniu na dostawcy usługi w chmurze.
Lokalne modele stały się też znacznie lepsze. Niektóre z nich oceniam bardzo wysoko i porównuję z mocnymi modelami komercyjnymi. Dla mnie dużą zaletą jest to, że po pobraniu modelu mogę zadawać mu wiele pytań bez opłaty naliczanej za każde użycie. Są również modele z mniejszą liczbą ograniczeń co do treści odpowiedzi. Można więc wybrać narzędzie odpowiadające własnym potrzebom.
Równie ważne jest poczucie kontroli. Model działa na moim komputerze, stojącym na biurku. Sam decyduję, jak go wykorzystać i jakie zadania mu powierzyć. Sądzę, że w przyszłości wiele osób będzie miało własne modele i agentów, dostosowanych do swojej pracy. Warto poznać je wcześniej.
Jaki komputer wystarczy
Nie potrzebujesz jednego konkretnego urządzenia. Model można dobrać nawet do komputera z 16 GB pamięci, choć sprzęt wyznacza granice jego możliwości. Na tanim, starszym komputerze odpowiedzi będą prawdopodobnie powstawały wolniej, a dostępny model może gorzej radzić sobie z trudnymi zadaniami. Nie oczekuj od dziesięcioletniego laptopa wyników na poziomie najmocniejszych modeli dostępnych przez internet.
Na komputerze przeznaczonym do pracy z AI, takim jak DGX Spark, można liczyć na przyzwoitą szybkość i możliwości. Z takiego urządzenia korzystam przy części pokazów. Mocne karty Nvidia, na przykład z serii RTX 4090 czy 5090, potrafią działać bardzo szybko, ale ilość ich pamięci graficznej ogranicza rozmiar modelu, który można uruchomić. Z kolei Mac Studio może mieć dużo pamięci dostępnej dla większych modeli, choć w moim doświadczeniu pracują one na nim wolniej niż na wspomnianych kartach Nvidia.
Nie zniechęcałbym się jednak słabszym sprzętem. Warto zacząć od tego, co masz. Poznasz sposób instalacji i działania modeli, a z czasem będziesz mógł wypróbować sprawniejsze wersje albo zmienić komputer, wiedząc już, czego potrzebujesz.
Instalacja modelu w Hermes Agent
Po zainstalowaniu Hermes Agent otwórz aplikację komputerową. W jej ustawieniach przejdź do zakładki „Providers”, a następnie wybierz „Run Models Locally”. Hermes sprawdzi sprzęt i zaproponuje model, który uzna za odpowiedni. Dlatego możesz zobaczyć inną propozycję niż ja.
Na moim Macu Studio aplikacja wskazała model z rodziny Qwen. Uważam go za szybki, sprawny i oszczędny w użyciu. Obok propozycji powinien pojawić się przycisk pobrania i uruchomienia. Po jego naciśnięciu Hermes pobiera pliki modelu, uruchamia go na komputerze i podłącza do agenta.
Potem sprawdź listę modeli w oknie rozmowy. Powinna zawierać właśnie pobraną pozycję; możesz wybrać ją jako model obsługujący agenta. Korzystam z widoku „Bots”, więc jeśli twój ekran wygląda inaczej, przełącz się na tę zakładkę. Na tym kończy się zasadnicza konfiguracja lokalnego modelu w aplikacji. W moim katalogu są też osobne materiały o pierwszej instalacji samego Hermesa.
Do czego używam lokalnego agenta
Najchętniej powierzam mu zadania, które trzeba wykonywać często. Skoro kolejne zapytania do modelu działającego na moim komputerze nie są osobno rozliczane, mogę regularnie zlecać mu zbieranie informacji. Interesuję się inwestowaniem w firmy związane z AI, więc proszę agenta, aby śledził wiadomości o spółkach i sprawdzał, co może dawać im trwałą przewagę nad konkurencją. Potem sam oceniam zebrane materiały.
Podobnie można monitorować bieżące wiadomości z wybranej dziedziny. Jeśli tworzysz oprogramowanie z pomocą AI, lokalny model może też regularnie przeglądać kod i wskazywać możliwe problemy. Takie powtarzalne prace są dla mnie szczególnie dobrym zastosowaniem.
Druga grupa to szybkie, proste czynności na komputerze. Hermes potrafi obsługiwać pliki, więc mogę poprosić agenta o ich przeniesienie albo odnalezienie. Gdy jestem poza domem, zdarza mi się wysłać mu wiadomość z prośbą o przygotowanie lub przesłanie konkretnego pliku. Niedawno poprosiłem go również o pobranie wersji beta gry, żebym mógł ją uruchomić po powrocie. Takie polecenia nie wymagają najbardziej zaawansowanego modelu.
Przydatne może być także sprawdzanie poczty i powiadamianie o ważnych wiadomościach. Chodzi o wiele drobnych zadań: sprawdzanie, porządkowanie, pobieranie, instalowanie czy przygotowywanie rzeczy na później. Gdy agent musi przy tym zajrzeć do skrzynki, pobrać program albo sprawdzić nowe informacje, korzysta z internetu, choć sam model działa lokalnie.
Kiedy wybieram model w chmurze
Nadal korzystam z ChatGPT, Claude’a i innych usług chmurowych. Najmocniejsze z tych modeli są dla mnie pierwszym wyborem przy trudniejszych zadaniach. Jeśli buduję złożoną aplikację albo grę i zależy mi na jak najlepszym wsparciu podczas programowania, zwykle wybieram model dostępny w chmurze.
Mógłbym część tej pracy wykonać lokalnie. Niektóre modele uruchamiane na własnym sprzęcie są już naprawdę dobre, więc dla osoby chcącej ograniczyć wydatki może to być rozsądna droga. Ja przy bardziej wymagającym tworzeniu oprogramowania wolę jednak sięgać po najmocniejsze narzędzia, do których mam dostęp.
Podobnie postępuję przy złożonej, wieloetapowej pracy intelektualnej. Do takich zadań nadal częściej wybieram usługi chmurowe. Lokalnemu agentowi powierzam przede wszystkim dużą liczbę prostszych czynności, które może wykonywać regularnie.
Warto po prostu spróbować
Hermes znacznie ułatwił rozpoczęcie pracy: proponuje model odpowiedni do komputera, pobiera go i pozwala uruchomić w agencie. Jeśli masz wolny czas, pobaw się tą funkcją. Sprawdź, jak odpowiada model na twoim sprzęcie i do jakich zadań naprawdę ci się przydaje.
Lubię też samą możliwość pracy z AI uruchomionym na własnym biurku. Pobrany model może działać nawet po odłączeniu internetu, o ile zadanie nie wymaga danych z sieci. Nie każda godzina spędzona na poznawaniu technologii musi przynosić natychmiastowy zwrot finansowy. Czasem warto czegoś spróbować z ciekawości i dla przyjemności.