O czym jest ten film
- Agenci AI potrafią dziś wykonywać dłuższe i bardziej złożone zadania, ale każde takie zadanie może wymagać wielu wywołań modelu.
- Gdy z agentów korzysta więcej osób, a każde uruchomienie zużywa więcej tokenów, rachunek może rosnąć bardzo szybko.
- AI łatwiej przyjmuje się w firmie, gdy pomaga ludziom w narzędziach, których już używają.
- Przed automatyzacją procesu warto sprawdzić, które jego etapy rzeczywiście służą klientowi lub firmie.
- Agenci mogą przyspieszyć przekazywanie pracy między działami, choć część tych przekazań może być już zbędna.
- Przygotowanie oferty dla klienta pokazuje, jak oddzielić konieczne kontrole od czynności administracyjnych odziedziczonych po dawnym sposobie pracy.
- Proste reguły i obliczenia powinno wykonywać zwykłe oprogramowanie; model przydaje się tam, gdzie trzeba zrozumieć język lub wyjaśnić wyjątek.
- Tańsze modele mogą obsługiwać rutynowe sprawy, jeśli mają dostęp do właściwych danych, narzędzi i jasno wyznaczonych zadań.
- Trudne przypadki można kierować do bardziej zaawansowanych modeli, ale taki podział wymaga sprawdzenia w praktyce.
- O wartości wdrożenia świadczą poprawne wyniki i sprawniejsza obsługa, a nie sama liczba zużytych tokenów.
10 najważniejszych takeaways — z kontekstem zastosowania
1.Zacznij od wyniku, którego potrzebuje klient
Na czym polega: Proces warto projektować od końca: najpierw ustalić, jaki wynik ma otrzymać klient i jakie warunki musi on spełniać, a potem wyznaczyć najkrótszą rozsądną drogę do tego wyniku.
Jak stosować: Wybierz jedną sprawę, na przykład przygotowanie oferty. Zapisz, co musi być poprawne, zatwierdzone i odnotowane w systemie. Dopiero na tej podstawie rozpisz potrzebne czynności.
Na co uważać: Skrócenie drogi nie może usuwać wymaganych zgód, kontroli ceny ani zapisu podjętych decyzji.
2.Sprawdź, czy automatyzowane zadanie w ogóle jest potrzebne
Na czym polega: Część pracy powstała dlatego, że dawniej ludzie lub systemy nie mogły łatwo wymieniać informacji. Agent potrafi ją wykonać szybciej, ale to jeszcze nie znaczy, że warto za nią płacić.
Jak stosować: Przy każdym podsumowaniu, przepisaniu danych i przekazaniu sprawy kolejnemu zespołowi zapytaj, kto korzysta z efektu i dlaczego nie może sięgnąć do informacji źródłowej.
Na co uważać: Nie traktuj każdego pośredniego dokumentu jako zbędnego. Niektóre potwierdzają decyzję, zapewniają kontrolę lub pomagają ustalić odpowiedzialność.
3.Mierz koszt całego zadania
Na czym polega: Jedna prośba użytkownika może uruchomić wiele wywołań modelu, odczytów danych i kolejnych prób. Liczba użytkowników i zużycie tokenów na zadanie rosną jednocześnie.
Jak stosować: Sprawdzaj koszt ukończonej sprawy, liczbę wywołań modelu i częstotliwość użycia. Porównuj je z uzyskanym wynikiem, na przykład czasem przygotowania poprawnej oferty.
Na co uważać: Sam wzrost rachunku nie oznacza nieudanego wdrożenia, jeśli firma obsługuje więcej klientów lub zapewnia im lepszą pomoc.
4.Umieść pomoc AI tam, gdzie ludzie pracują
Na czym polega: Łatwiej wypróbować agenta, który jest dostępny w używanym już komunikatorze lub systemie, niż zaczynać pracę od poznawania osobnego produktu.
Jak stosować: Wybierz częste zadanie w istniejącym narzędziu i pozwól agentowi rozwiązać je od początku do końca. Obserwuj, czy pracownicy wracają do tej funkcji po pierwszym użyciu.
Na co uważać: Wygodny dostęp nie zastąpi rzetelnego działania. Zaufanie rośnie wtedy, gdy agent regularnie dotrzymuje nawet niewielkich obietnic.
5.Powierz reguły oprogramowaniu, a interpretację modelowi
Na czym polega: System cenowy może obliczyć cenę według ustalonych zasad, a CRM sprawdzić wymagane pola. Model jest bardziej przydatny do zrozumienia prośby klienta, wskazania braków i sformułowania odpowiedzi.
Jak stosować: Rozdziel kroki procesu na obliczenia i kontrole o znanych regułach oraz zadania wymagające interpretacji. Pierwsze wykonuj przez odpowiednie narzędzia, drugie przydziel modelowi.
Na co uważać: Nie pozwalaj modelowi samodzielnie wymyślać ceny lub zatwierdzenia, jeśli odpowiedź powinna pochodzić z firmowego systemu.
6.Dobieraj model do trudności sprawy
Na czym polega: Rutynowe zadania często nie wymagają najdroższego modelu. Bardziej zaawansowany warto zachować na przypadki niejasne, sprzeczne lub szczególnie ważne.
Jak stosować: Zbierz typowe prośby i rzeczywiste wyjątki. Sprawdź, które z nich tańszy model rozwiązuje poprawnie przy dostępie do właściwych danych i narzędzi.
Na co uważać: Mały model ani model o otwartych wagach nie jest automatycznie tańszy w utrzymaniu czy odpowiedni do każdego zadania.
7.Testuj kierowanie spraw do właściwego modelu
Na czym polega: Klasyfikator rozpoznaje rodzaj prośby i wybiera dla niej odpowiednią ścieżkę. Od jego trafności zależy zarówno koszt, jak i jakość odpowiedzi.
Jak stosować: Zbuduj zestaw przykładów obejmujący zwykłe sprawy oraz trudne wyjątki. Sprawdzaj osobno, ile prostych spraw niepotrzebnie trafia do drogiego modelu i ile trudnych pozostaje na tańszej ścieżce.
Na co uważać: Wysoka ogólna skuteczność może ukrywać błędy właśnie w przypadkach, które najbardziej wymagają uwagi.
8.Dostosuj otoczenie modelu do jego możliwości
Na czym polega: Mniej zaawansowany model zwykle potrzebuje precyzyjniej określonego zadania, dostępu do konkretnych narzędzi i wyraźnych kontroli. Model używany do badania trudnego przypadku może lepiej działać, gdy ma więcej swobody.
Jak stosować: Dla rutynowej sprawy określ wymagane dane, dostępne działania i warunki zakończenia pracy. Przy wyjątku przedstaw modelowi problem, dowody, narzędzia i kryteria dobrego wyniku.
Na co uważać: Zmiana modelu bez ponownego sprawdzenia całego sposobu działania agenta może pogorszyć wynik, nawet jeśli sam model wypada dobrze w testach.
9.Oceniaj wykonane zadanie, a nie przekonujący ton odpowiedzi
Na czym polega: Agent może brzmieć pewnie, mimo że podał złą cenę, pominął zgodę albo nie zapisał zmiany. Ocena powinna dotyczyć rzeczywistego wyniku.
Jak stosować: Przy ofercie sprawdź cenę w systemie, wymagane zatwierdzenie, zapis w CRM oraz to, czy agent poprosił o brakującą informację, gdy nie mógł jeszcze przygotować oferty.
Na co uważać: Część kryteriów wymaga wiedzy osoby znającej daną pracę. Formalnie poprawna odpowiedź nadal może nie rozwiązywać problemu klienta.
10.Oceniaj oszczędność razem z wartością
Na czym polega: Krótszy proces zmniejsza liczbę płatnych czynności, a właściwy dobór modelu obniża koszt tych, które pozostają. Ostatecznym celem jest jednak lepsze wykonanie pracy.
Jak stosować: Porównuj koszt AI z czasem obsługi, liczbą poprawnie rozwiązanych spraw, liczbą poprawek i doświadczeniem klienta.
Na co uważać: Niski rachunek za tokeny nie jest sukcesem, jeśli odpowiedzi są błędne. Wysoki rachunek też nie musi być problemem, jeśli za nim stoi wyraźna korzyść dla firmy i klientów.
Redakcyjne tłumaczenie
Agenci potrafią więcej. Dlaczego więc niepokoi mnie rachunek?
Agenci AI stają się coraz lepsi, ale wraz z ich możliwościami może rosnąć koszt używania. Podczas konferencji Dreamforce zapytałem Marka Benioffa, jak zachęcić więcej osób do korzystania z AI. Później tego samego dnia wziąłem udział w panelu o kosztach wdrażania agentów na większą skalę. Te dwie rozmowy prowadzą do jednego pytania: zanim zaczniemy płacić za pracę kolejnych agentów, czy sprawdziliśmy, które zadania nadal warto wykonywać?
Chciałbym, żeby ludzie mogli powierzać agentom ambitniejsze zadania bez obawy, że każda taka próba przyniesie trudny do przewidzenia rachunek. Ich możliwości są już na tyle duże, że możemy na nowo przemyśleć sposób wykonywania pracy. Od tego, jak to zrobimy, zależy, czy rozwiązania AI będą dostępne również dla firm, które muszą uważnie liczyć wydatki.
Najciekawsze pytanie, jakie wyniosłem z Dreamforce, brzmi: co się dzieje, gdy najpierw określamy wartość, którą firma chce dostarczyć, a dopiero potem projektujemy sposób dojścia do niej? Od tego powinny zależeć zmiany w procesie, wybór modelu i kwota, którą gotowi jesteśmy zapłacić.
AI ma pomagać w miejscu, w którym już pracujemy
W konferencyjnych rozmowach uczestniczyli między innymi Dario Amodei, Sam Altman i Jensen Huang. Mówiono o bezpieczeństwie AI, rozwoju modeli i o tym, jak sprawić, by więcej osób mogło z nich korzystać. Od tej ostatniej sprawy zacząłem pytanie do Marka Benioffa podczas spotkania z mediami.
W dużej firmie znajdziemy zwykle entuzjastów nowych narzędzi, ludzi korzystających z nich od czasu do czasu oraz osoby, które nie widzą powodu do zmiany albo wolałyby AI nie używać. Chciałem wiedzieć, jak dotrzeć poza tę pierwszą grupę.
W odpowiedzi Benioffa szczególnie zainteresowało mnie wskazanie na sposób, w jaki ludzie korzystają z oprogramowania. Jeśli agent pojawia się na przykład w Slacku, trafia do miejsca, w którym pracownicy już prowadzą rozmowy i załatwiają sprawy. W środowisku AI łatwo zakładać, że użytkownik chętnie pozna kolejny produkt. Tymczasem ktoś ma klienta czekającego na odpowiedź, pilne zadanie i mało czasu. Pomoc dostępna dokładnie w takiej chwili usuwa jedną z przeszkód przed wypróbowaniem AI.
To może wyglądać na drobny szczegół produktu, ale ma dalsze skutki. Ktoś prosi agenta o pomoc, dostaje użyteczny wynik i następnym razem zleca mu nieco więcej. Zauważa to współpracownik. Kierownik zaczyna się zastanawiać, czy z narzędzia mógłby korzystać cały zespół. Tak rozwiązanie wychodzi poza małą grupę osób, które i tak sprawdzą każdy nowy model.
Sama obecność agenta w znanym narzędziu niczego jednak nie załatwia. Po pierwszym udanym użyciu pojawiają się trudniejsze pytania. Jak zapewnić niezawodność? Jak połączyć agenta z informacjami firmy? Jak zapłacić za usługę, z której po udanym eksperymencie wszyscy chcą korzystać codziennie?
Jedno polecenie może oznaczać wiele wywołań modelu
Po spotkaniu z mediami uczestniczyłem w panelu prowadzonym przez przedstawiciela Salesforce odpowiedzialnego za Agentforce. Rozmawialiśmy o wdrożeniach AI również z osobami z PwC i Pepsi. Przedstawiłem szerszy kontekst: od początku tego roku możliwości modeli wzrosły na tyle, że wiele zastosowań produktowych i biznesowych stało się praktycznych.
Model można wyposażyć w narzędzia i informacje. Potrafi z nich korzystać, dostrzec brakujący element i kontynuować pracę. Coraz rzadziej trzeba rozbijać zadanie na mnóstwo drobnych pytań i ręcznie przenosić odpowiedzi między systemami. Skoro to działa, ludzie zaczynają używać AI częściej. O taką popularność przecież zabiegaliśmy.
Zmienił się jednak również rozmiar zadania. Dawniej prosiliśmy model o odpowiedź. Teraz możemy zlecić agentowi zbadanie problemu klienta: przejrzenie konta i historii kontaktów, sprawdzenie informacji o produkcie oraz przygotowanie propozycji działania. W ramach jednej prośby agent może wiele razy wywołać model, przeczytać kolejne materiały, użyć narzędzi i sprawdzić, dokąd prowadzą znalezione informacje.
Jeśli uruchomień będzie dziesięć razy więcej, a każde zużyje sto razy więcej tokenów, łączne zużycie wzrośnie tysiąckrotnie. To tylko przykład, ale pokazuje, jak szybko może rosnąć rachunek. Do tego dochodzi wybór modelu: najdroższe dostępne modele mogą pobierać bardzo wysokie opłaty za milion tokenów odpowiedzi, a pozostałe składniki użycia są rozliczane osobno.
Frustruje mnie, gdy winą za taki wzrost obarcza się pracowników, którzy „zużywają za dużo tokenów”. To firma decyduje, jakie modele udostępnia i jak prowadzi przez system zwykłą prośbę. Jeśli każde codzienne zadanie trafia do najdroższego modelu i uruchamia rozbudowaną serię działań, jest to decyzja projektowa. Nie ma sensu zachęcać ludzi do ambitnego używania AI, a potem dziwić się kosztom wynikającym z przyjętej konstrukcji.
Po co automatyzować drogę, która przestała być potrzebna?
Naturalną reakcją na wysoki rachunek jest poszukiwanie tańszego modelu. To może pomóc i dużo o tym rozmawialiśmy. Zanim jednak wybierzemy model, chciałbym zapytać, dlaczego wykonujemy dane zadanie.
Pamiętacie koperty używane kiedyś do przesyłania dokumentów między działami? Pracownik wkładał dokument, wpisywał swoje nazwisko na kopercie i przekazywał ją dalej. Kolejna osoba wykonywała swoją część pracy, skreślała nazwisko i wysyłała dokument do następnego działu. Gdy koperta wracała, jej przód pokazywał przebieg całej sprawy.
W wersji cyfrowej kopertę zastąpił e-mail, a później zgłoszenie w systemie. Ktoś nadal streszcza informacje dla następnego zespołu, przepisuje je do wymaganego formatu i wyjaśnia, czego dotyczą. Niektóre etapy mogą mieć ważne uzasadnienie. Inne istnieją dlatego, że w chwili tworzenia procesu ludzie i systemy nie potrafili przekazywać danych inaczej.
Dziś można umieścić agenta na każdym takim etapie. Jeden odczyta prośbę, drugi zmieni jej format, trzeci przygotuje przekazanie sprawy, czwarty je sprawdzi. W firmie będzie mnóstwo AI, a poszczególne czynności przyspieszą. Nadal jednak możemy przesyłać między działami tę samą kopertę. Nie zadaliśmy sobie pytania, dlaczego musi odwiedzić tyle biurek.
Dlatego na panelu mówiłem o projektowaniu od czystej kartki. Osoba kierująca firmą powinna wrócić do kilku głównych obszarów, w których powstaje wartość: pozyskania klienta, dostarczenia tego, co kupił, utrzymania relacji czy pobrania należności. Sam zwykle myślę o pięciu do ośmiu takich obszarach na poziomie zarządu, choć każda firma może podzielić je inaczej.
Trzeba prześledzić całą drogę prowadzącą do pożądanego wyniku i zapytać, co musi się wydarzyć, żeby klient został naprawdę dobrze obsłużony. Dopiero wtedy warto narysować odpowiedni proces. Może się on znacznie różnić od obecnego.
Jeśli zaczniemy od spisania wszystkich dotychczasowych procedur działowych, każde stare przekazanie sprawy łatwo stanie się „wymaganiem”. Rozmowa skupi się na tym, jak zatrudnić agenta do wykonywania odziedziczonych czynności. Niewiele miejsca zostanie na pytanie, czy te czynności są jeszcze potrzebne.
Przykład: klient prosi o ofertę
Weźmy wyobrażony przykład, podobny do sytuacji, z jakimi wiele osób zetknęło się w pracy. Klient prosi o wycenę. Ktoś streszcza prośbę dla zespołu wspierającego sprzedaż. Ktoś sprawdza konto klienta. Następna osoba ustala konfigurację produktu, a kolejna wprowadza dane do systemu cenowego. Oferta wraca jeszcze do ludzi, którzy muszą ją zobaczyć lub zatwierdzić. Dopiero potem klient dostaje odpowiedź.
Czego naprawdę potrzebujemy na końcu? Klient powinien otrzymać prawidłową cenę, którą firma jest upoważniona zaproponować. W systemie musi pozostać zapis przygotowanej oferty. Jeśli brakuje informacji koniecznej do jej sporządzenia, trzeba o nią zapytać. To są rzeczywiste wymagania.
A co z podsumowaniem tworzonym wyłącznie dlatego, że jeden zespół nie mógł odczytać danych drugiego? Jeśli przyczyna zniknęła, nie musimy już wykonywać tej pracy. Warto zapytać, jak dojść do poprawnej oferty przy możliwie małej liczbie przekazań między ludźmi i systemami. Za usunięty etap nie płacimy żadnych tokenów.
Krótsza droga ma jeszcze jedną zaletę. Agent nie musi czytać podsumowania, którego nikt nie sporządził, pytać innego agenta, co ono znaczy, ani uzgadniać kilku wersji prośby, które zaczęły się różnić podczas przekazywania sprawy. Jest mniej okazji do pomyłki. Możemy wykorzystać zdolność modelu do zrozumienia całego problemu, zamiast kazać mu odtwarzać każdy dawny krok administracyjny.
Właśnie dlatego przy projektowaniu agentów potrzebni są ludzie odpowiedzialni za wynik biznesowy. Inżynier potrafi zbudować dobrego agenta i obniżyć koszt pojedynczego etapu. Może jednak nie mieć uprawnień, by zdecydować, że zespół sprzedaży nie potrzebuje już konkretnego dokumentu. Taką rozmowę trzeba przeprowadzić między działami.
Nie oznacza to zniesienia wszystkich kontroli. Rabat nadal może wymagać zgody, cena musi się zgadzać, a oferta powinna zostać zapisana. Przyjrzenie się całemu procesowi pozwala oddzielić te obowiązki od czynności administracyjnych, które narosły wokół nich przez lata.
Odzyskany czas może posłużyć do lepszej obsługi, większej sprzedaży albo odciążenia zespołu. Zależy to od decyzji firmy; samo uproszczenie procesu nie oznacza automatycznie redukcji zatrudnienia.
Gdy przyspiesza jeden etap, sprawdź następny
Podczas Dreamforce rozmawiałem też z Rohanem Kumarem, odpowiedzialnym w Salesforce za platformę i inżynierię, o wdrażaniu agentów u klientów. Zastanawialiśmy się, co przychodzi po pierwszym, prostym zastosowaniu AI, takim jak szybsze pisanie e-maili.
Kumar podkreślał znaczenie pracy z konkretnymi klientami nad zadaniami, które rzeczywiście muszą wykonać: sprawdzania, co działa, i ustalania, jak rozszerzyć zastosowanie agenta. Rozmawialiśmy również o usuwaniu przeszkód w pracy nad produktami i oprogramowaniem.
Jeśli AI pomaga zespołowi szybciej pisać kod, ten kod nadal trzeba połączyć z resztą programu, sprawdzić i wdrożyć tak, by mogli z niego korzystać klienci. Przyspieszenie jednej czynności nie sprawia, że cała organizacja natychmiast pracuje w tym samym tempie. Trzeba prześledzić dalszą drogę zadania i zobaczyć, gdzie pojawia się kolejne opóźnienie.
Podobnie jest z agentami w innych działach. Ich wartość nie kończy się na szybszym wykonaniu istniejącej czynności. Jeśli dzięki nim system potrafi zrozumieć więcej i samodzielnie przeprowadzić część pracy, mamy powód, by ponownie ocenić pozostałe etapy. To trudniejsza rozmowa niż zakup dostępu do lepszego modelu, ale może przynieść więcej.
Tę samą sprawę mogą rozwiązywać różne narzędzia
Po usunięciu zbędnych kroków łatwiej wybrać model do pracy, która pozostała. Nie wszystkie zadania są równie trudne. Jedno wymaga obliczenia według znanej reguły. W innym trzeba zrozumieć, o co prosi klient. Jeszcze inne jest nietypowym przypadkiem: informacje sobie przeczą i ktoś musi ustalić, co zaszło.
Nie ma powodu powierzać tych trzech zadań temu samemu modelowi. Gdy ludzie odkrywają możliwości AI, często chcą przekazać modelowi wszystko. Model może jednak popełnić błąd, jeśli nie korzysta z właściwych danych. Wiele rutynowych czynności wykona taniej i bardziej przewidywalnie, gdy będzie współpracował ze zwykłym oprogramowaniem.
W przykładzie oferty zasady wyceny powinien stosować system cenowy. Model nie musi samodzielnie obliczać ceny. Może za to zrozumieć wiadomość klienta, rozpoznać produkt, wskazać brakujące dane i wyjaśnić wynik uzyskany z firmowego narzędzia. CRM może sprawdzić, czy wymagane pola zostały uzupełnione, a oprogramowanie może wymusić potrzebną zgodę.
Cieszą mnie postępy najpotężniejszych modeli i ich możliwe zastosowania w nauce. Nie potrzebuję jednak takiego poziomu możliwości przy każdej zwykłej prośbie biznesowej. Dlatego interesują mnie tańsze modele dostępne jako usługa oraz modele o otwartych wagach, które można uruchamiać we własnym środowisku. W wielu zadaniach odpowiednio przygotowany, tańszy model wystarczy.
Nie jest to gwarancja oszczędności. Utrzymanie modelu o otwartych wagach też kosztuje, a mniejszy model nie zawsze będzie właściwym wyborem. Trzeba znać wymagania zadania i sprawdzić, jakie rozwiązanie spełnia je niezawodnie.
Zwykłe sprawy tańszą drogą, wyjątki do silniejszego modelu
W panelowej dyskusji pojawił się temat klasyfikatorów i ocen działania agentów. Klasyfikator to część systemu, która rozpoznaje rodzaj nadchodzącej prośby i kieruje ją do odpowiedniego rozwiązania. Dzięki niemu typowe zapytanie można wysłać do tańszego modelu, a sprawę, w której dane nie pasują do siebie lub konsekwencje błędu są poważniejsze, do modelu bardziej zaawansowanego.
Chciałbym, żeby najdroższe modele zajmowały się przede wszystkim najtrudniejszymi problemami. Żeby to działało, musimy umieć wiarygodnie rozpoznawać zwykłe sprawy i wyjątki. Być może do samego rozstrzygania, którą drogę wybrać, przyda się silniejszy model. To również trzeba przetestować.
Łatwo powiedzieć, że większość pracy w firmie jest rutynowa. Trudniej zidentyfikować ją bez pomijania przypadków, które wyglądają zwyczajnie, lecz wymagają szczególnej uwagi. Jeśli nauczymy się to robić, wiele osób będzie mogło korzystać z użytecznej AI po znacznie niższym koszcie. Drogi model nadal pozostanie dostępny wtedy, gdy będzie potrzebny.
Zmiana modelu wymaga zmiany sposobu pracy agenta
Na panelu rozmawialiśmy o „harnessie”, czyli całym otoczeniu, w którym działa model: instrukcjach, narzędziach, dostępnych informacjach, kontrolach i sposobie prowadzenia zadania. Nie należy zakładać, że to samo otoczenie będzie równie dobre po zmianie modelu.
Model o mniejszych możliwościach często potrzebuje więcej jasno określonych kroków. Przy przygotowaniu oferty można powierzyć mu konkretne zadanie: rozpoznaj produkt i liczbę sztuk, wskaż brakujące informacje. Następnie zwykłe oprogramowanie sprawdzi dane w CRM, pobierze cenę z odpowiedniego narzędzia i zastosuje zasady zatwierdzania. Model wykonuje pożyteczną część pracy, ale droga do danych i dalszych działań jest ściśle określona. Nie musi to oznaczać bardzo długiej instrukcji; chodzi o dobrze zaprojektowaną strukturę.
Przy trudnym wyjątku wolę dać bardziej zaawansowanemu modelowi większą swobodę. Można przedstawić mu problem klienta, dostępne dowody, kilka uniwersalnych narzędzi oraz warunki, które musi spełniać dobry wynik, a następnie pozwolić zbadać sprawę. Jeśli narzucimy mu każdy drobny krok przygotowany dla słabszego modelu, ograniczymy możliwości, za które płacimy.
Otoczenie agenta trzeba więc dostosować zarówno do wybranego modelu, jak i do pracy, którą ma wykonać. Tak samo proces biznesowy powinien zmieniać się wraz z możliwościami całego systemu.
Skąd wiedzieć, że agent wykonał pracę dobrze?
W materiale towarzyszącym nagraniu zebrałem piętnaście zmian, które mogą ograniczać codzienne marnowanie tokenów, na przykład przenoszenie do kolejnego etapu zaakceptowanego już wyniku i wybieranie tylko informacji potrzebnych modelowi. Rozmowy na Dreamforce skłoniły mnie jednak do spojrzenia szerzej: ile pracy przenosimy z dawnych procesów wyłącznie dlatego, że kiedyś była potrzebna?
Tu niezbędna staje się ocena wyników agenta, często nazywana evalem. Nie możemy uznać, że przeprojektowany proces działa, bo agent brzmi na zadowolonego z odpowiedzi. Czasem nie wystarczy nawet to, że człowiek jest z niej zadowolony. Tańszy model nie staje się opłacalny tylko dlatego, że przygotował coś, co wygląda mniej więcej poprawnie. Musimy wiedzieć, czy zadanie zostało wykonane dobrze.
W dyskusji padło porównanie do oceny pracownika. Skoro powierzamy agentowi rzeczywiste obowiązki, dlaczego mielibyśmy nigdy nie sprawdzać jakości jego pracy? Agent wykonujący tysiące zadań potrzebuje informacji zwrotnej znacznie częściej niż raz w roku.
Dla naszej przykładowej oferty oznacza to sprawdzenie ceny w systemie, potwierdzenie wymaganej zgody i ustalenie, czy w CRM pojawił się właściwy zapis. Trzeba też rozpoznać sytuację, w której prawidłowym działaniem było zadanie klientowi pytania, bo bez dodatkowych danych oferty nie dało się jeszcze sporządzić.
Niektóre kryteria wymagają ludzkiej oceny. Czy wyjaśnienie odpowiada na rzeczywistą obawę klienta? Czy dokument, choć formalnie poprawny, zawiera właściwą odpowiedź? Osoby znające tę pracę muszą pomóc określić, jak to sprawdzać. Umiejętność tworzenia takich ocen staje się ważna nie tylko dla specjalistów od AI.
Dobre sprawdzanie wyników pomaga agentowi ustalić, kiedy brakuje informacji, kiedy trzeba poprawić błąd i kiedy zadanie jest zakończone. Bez tego możemy płacić za długą serię działań, nie wiedząc nawet, czy przyniosła wartość.
Patrzmy na wartość, nie tylko na tokeny
Po pierwszym dniu Dreamforce zobaczyłem, jak rozmowa o kosztach łączy się z większą zmianą. Modele stały się na tyle użyteczne, że korzysta z nich więcej osób. Są też na tyle zdolne, że wykonują dłuższe zadania. Jednocześnie dają nam możliwość usuwania niepotrzebnej pracy i wytyczania prostszej drogi do wyniku.
Zużycie rośnie więc z dwóch powodów: agentów używa więcej ludzi, a pojedyncze zadanie może pochłaniać więcej tokenów. Oszczędzać również można na dwa sposoby. Krótszy proces oznacza mniej czynności, za które trzeba zapłacić. Dobranie odpowiedniego modelu obniża koszt pracy, która nadal jest potrzebna.
Nie podam jednej liczby określającej możliwe oszczędności. Każda firma musi to sprawdzić u siebie. Warto przy tym patrzeć dalej niż na rachunek za model. Jeśli zespół obsługuje więcej klientów, szybciej daje im poprawne odpowiedzi i rzadziej naprawia błędy powstałe przy przekazywaniu spraw między działami, większy rachunek za AI może być uzasadniony. Inaczej wygląda sytuacja, w której kilka agentów produkuje raporty, których nikt nie czyta. Na wykresie zużycia tokenów oba przypadki mogą wyglądać podobnie.
Wracam więc do pytania o powszechne korzystanie z AI. Chcę, żeby zwykły pracownik miał do niej łatwy dostęp i nie musiał się zastanawiać, czy każda prośba jest kosztowną pomyłką. Kiedy jednak ułatwimy ludziom używanie agentów, projektanci tych systemów muszą zapewnić firmie rozsądny koszt ich działania. Dajmy pracownikom narzędzia, dzięki którym skończą zadanie, i przygotujmy przystępną cenowo drogę dla codziennych spraw. Największe możliwości modelu wykorzystujmy tam, gdzie naprawdę potrzebne jest głębsze rozumienie problemu.
Jeśli masz przed sobą proces, prześledź go aż do osoby czekającej na wynik. Przy każdym etapie zapytaj, dlaczego musi się wydarzyć, żeby ta osoba dostała to, czego potrzebuje. Być może odkryjesz sprawę wymagającą mocniejszego modelu. Możliwe też, że tańszy model wyposażony we właściwe narzędzia poradzi sobie dobrze, a część czynności, które dotąd wydawały się konieczne, można po prostu zakończyć.