O czym jest ten film
- Model AI może rozwiązywać trudne zadania matematyczne, a mimo to podać błędną sumę w raporcie.
- Gdy tworzy długi dokument, może po prostu dopisać prawdopodobnie brzmiącą liczbę zamiast wykonać obliczenie.
- Liczby w gotowym materiale pochodzą z dwóch miejsc: są przepisywane ze źródeł albo wyliczane.
- Davis proponuje, by kontrola liczb była osobnym etapem pracy nad dokumentem.
- Przy jednorazowym zadaniu wystarczy polecenie, które każe wskazać pochodzenie każdej liczby i przeliczyć wyniki kodem.
- Przy zadaniach powtarzalnych tę samą procedurę można zapisać w instrukcji projektu lub umiejętności AI.
- Gdy nie da się potwierdzić wartości, model powinien wyraźnie oznaczyć ją jako niezweryfikowaną lub nieodnalezioną.
- Przy długich i ważnych zadaniach autor proponuje kontrolę przez osobnego agenta AI, który dostaje projekt dokumentu oraz materiały źródłowe.
10 najważniejszych takeaways — z kontekstem zastosowania
1.Wydziel kontrolę liczb jako osobny etap
Na czym polega: Model zajęty pisaniem raportu może potraktować rachunki jako drobny element większej pracy i podać wynik bez sprawdzenia.
Jak stosować: Przed oddaniem dokumentu poleć mu osobno przejrzeć wszystkie liczby, ustalić ich pochodzenie i ponownie wykonać obliczenia.
Na co uważać: Ogólna prośba „sprawdź raport” może nie skierować uwagi na każdą wartość liczbową.
2.Odróżniaj dane przepisane od wyliczonych
Na czym polega: Wartość skopiowaną z arkusza sprawdza się inaczej niż sumę obliczoną na podstawie kilku wierszy.
Jak stosować: Przy każdej liczbie wymagaj oznaczenia: „ze źródła” albo „obliczona”.
Na co uważać: Sam poprawny rachunek nie potwierdza, że dane użyte do obliczenia zostały właściwie odczytane.
3.Przy liczbie przepisanej żądaj wskazania źródła
Na czym polega: Aby sprawdzić wartość przeniesioną z dokumentu, trzeba wiedzieć, skąd dokładnie pochodzi.
Jak stosować: Poproś o nazwę pliku i miejsce występowania liczby, a przy powtarzalnej procedurze także o odpowiedni cytat ze źródła.
Na co uważać: Oznaczenie „skopiowano” bez konkretnego miejsca nie ułatwia kontroli.
4.Wyniki obliczeń każ przeliczyć kodem
Na czym polega: Davis zaleca, by model użył narzędzia do wykonania rachunku, zamiast wpisywać wynik podczas tworzenia tekstu.
Jak stosować: Dodaj polecenie: „Każdą liczbę wyliczoną w dokumencie przelicz za pomocą kodu i podaj wzór zwykłymi słowami”.
Na co uważać: Wynik trzeba odnieść do właściwych danych wejściowych; kod przeliczy również liczby zaczerpnięte z niewłaściwego miejsca.
5.Proś o krótką tabelę kontroli
Na czym polega: Autor proponuje tabelę, w której obok każdej liczby z projektu widać jej źródło lub sposób obliczenia oraz wynik sprawdzenia.
Jak stosować: Odbieraj dwa materiały: gotowy dokument i osobną tabelę z kolumnami „Liczba w dokumencie”, „Źródło lub sposób obliczenia” oraz „Wynik kontroli”.
Na co uważać: Tabela jest użyteczna tylko wtedy, gdy obejmuje wszystkie istotne liczby, także te ukryte w opisach i podsumowaniach.
6.Pozwól modelowi przyznać, że nie znalazł wartości
Na czym polega: Davis woli brak liczby od wartości podanej bez potwierdzenia. Proponuje wprost zapisać to w instrukcji.
Jak stosować: Dodaj: „Jeśli nie możesz odnaleźć liczby w źródłach, wpisz «nie znaleziono»”.
Na co uważać: Nie traktuj pustego pola jako gotowego wyniku. To sygnał, że człowiek musi wrócić do materiałów.
7.Oznaczaj wartości niezweryfikowane
Na czym polega: Pozycja „niezweryfikowana” pozwala szybko dostrzec liczbę, której pochodzenia lub poprawności nie udało się ustalić.
Jak stosować: Wymagaj jednoznacznego wyniku kontroli przy każdej pozycji: potwierdzona, błędna albo niezweryfikowana.
Na co uważać: Brak oznaczenia nie może być domyślnie uznawany za potwierdzenie.
8.Przy powtarzalnych zadaniach zapisz regułę na stałe
Na czym polega: Jeśli AI regularnie tworzy podobne raporty lub oferty, każdorazowe dopisywanie tej samej prośby jest zbędne.
Jak stosować: Umieść procedurę sprawdzania liczb w instrukcji projektu albo umiejętności, z której korzystasz przy tych zadaniach.
Na co uważać: Sprawdź, czy instrukcja obejmuje oba rodzaje liczb: przepisane oraz wyliczone.
9.Przy ważnych dokumentach powierz kontrolę osobnemu agentowi
Na czym polega: Davis proponuje, by projekt sprawdził agent AI pracujący w nowym kontekście, którego jedynym zadaniem jest kontrola liczb.
Jak stosować: Przekaż mu projekt dokumentu oraz pliki źródłowe i poproś o tabelę ustaleń przed zatwierdzeniem końcowej wersji.
Na co uważać: Taka kontrola zużywa więcej czasu i zasobów. Autor zaleca ją zwłaszcza przy długich pracach oraz dokumentach o skutkach finansowych, prawnych lub wizerunkowych.
10.Oddzielaj kontrolę rachunków od oceny porad
Na czym polega: Poprawne liczby nie oznaczają jeszcze, że rekomendacja AI jest trafna. Autor zaznacza to pod koniec materiału.
Jak stosować: Po sprawdzeniu danych i obliczeń osobno oceń wnioski oraz zalecane decyzje.
Na co uważać: Tabela poprawnych sum nie jest potwierdzeniem jakości całego raportu.
Redakcyjne tłumaczenie
Skąd biorą się błędne sumy
AI może zdobyć złoty medal w matematyce, a potem podać błędną sumę w twoim raporcie. Brzmi to jak sprzeczność, ale właśnie z tym spotykam się w firmach, którym doradzam. Problem często nie polega na tym, że model nie umie liczyć. Liczby są rozsiane po ofertach, arkuszach i podsumowaniach, a podczas przygotowywania dokumentu model nie przechodzi do etapu, na którym rzeczywiście wykonuje rachunek.
Nazywam się Dylan Davis i prowadzę firmę doradczą zajmującą się AI. Chcę pokazać dwie drogi, którymi model może dojść do liczby: może ją obliczyć albo podać wynik, który wydaje mu się prawdopodobny. Pokażę też krótką procedurę, dzięki której ważne liczby częściej trafiają na tę pierwszą drogę. Jej przygotowanie zajmuje kilka minut, a zapisana w instrukcji może służyć przy kolejnych raportach, ofertach i podsumowaniach.
Dlaczego tak zaawansowany model popełnia prosty błąd? Zwykle rachunek jest tylko częścią większego zadania. AI przygotowuje ofertę, analizę rynku czy streszczenie i przy okazji umieszcza w tekście wiele wartości liczbowych. Jednocześnie musi zadbać o treść, układ i język. W tym natłoku łatwo przeoczyć samą matematykę.
Gdy model pisze, przewiduje kolejne fragmenty odpowiedzi. Może więc dopisać liczbę, która pasuje do dotychczasowego tekstu, choć nie została obliczona. Czasem będzie poprawna, a czasem nie. Chcemy, by w odpowiednim momencie przerwał pisanie, przygotował kod i użył go do wykonania rachunku. Wtedy jego zadaniem staje się ułożenie sposobu obliczenia, a wynik pochodzi z jego wykonania.
Stąd najważniejsza zasada: jeśli w pracy z AI liczby mają znaczenie, sprawdzanie ich powinno być osobnym krokiem. Nie wystarczy liczyć na to, że model dopilnuje ich przy okazji tworzenia całego dokumentu.
Dwa rodzaje liczb wymagają dwóch rodzajów kontroli
Warto najpierw ustalić, skąd wzięła się każda wartość. Niektóre liczby model po prostu przenosi z innych materiałów: prezentacji, arkuszy Excela czy dokumentów. W takim przypadku trzeba sprawdzić, czy odczytał właściwą wartość i przepisał ją bez błędu.
Pozostałe liczby są wynikiem obliczeń lub analizy wykonanej po drodze. Tu trzeba ustalić, z jakich danych model skorzystał, jaki zastosował wzór i czy otrzymany wynik jest poprawny. Procedura kontroli powinna obejmować oba przypadki.
Mam trzy sposoby jej zastosowania. Pierwszy dotyczy pojedynczego zadania, drugi — pracy, którą wykonujesz regularnie, a trzeci — zadań długich lub szczególnie ważnych.
Jednorazowe zadanie: dopisz polecenie kontroli
Przy pojedynczej ofercie, prezentacji czy raporcie możesz dodać krótką instrukcję na początku albo na końcu swojego polecenia. Poproś model, by przed oddaniem gotowej wersji wypisał wszystkie liczby ze stworzonego materiału. Każdą wartość uzyskaną przez obliczenie ma ponownie przeliczyć za pomocą kodu.
Wskazanie kodu jest tu celowe. Chodzi o to, by model nie kontynuował pisania i nie wpisywał wyniku na podstawie przewidywania, co powinno znaleźć się w następnym zdaniu. Ma zatrzymać się i wykonać rachunek jako oddzielne zadanie.
Następnie poproś o tabelę z trzema kolumnami. W pierwszej powinna znaleźć się liczba z projektu dokumentu. W drugiej — informacja o jej pochodzeniu: konkretne źródło albo sposób obliczenia opisany zwykłymi słowami. Nie musisz oglądać kodu; wystarczy na przykład informacja, że wynik jest sumą wartości z trzech miesięcy. Trzecia kolumna powinna pokazywać, czy liczba w projekcie przeszła kontrolę. Jeśli nie, model ma poprawić ją w dokumencie.
Na końcu otrzymujesz więc dwa materiały: zamówiony raport, ofertę lub prezentację oraz osobną tabelę kontroli.
Wyobraź sobie trzy pozycje w takiej tabeli. Pierwsza zawiera kwotę 12 000 przepisaną z dokumentu źródłowego wraz ze wskazaniem miejsca, z którego została pobrana. Druga pokazuje sumę trzech miesięcy, wyliczoną ponownie i oznaczoną jako poprawna. Przy trzeciej widnieje „niezweryfikowana”, bo nie udało się ustalić źródła ani potwierdzić sposobu obliczenia. To właśnie ten ostatni wiersz wymaga twojej uwagi. Niepewność ma być widoczna, zamiast znikać pod pozorem gotowej odpowiedzi.
Powtarzalna praca: zapisz procedurę w instrukcji
Wielu z was korzysta już z projektów lub umiejętności AI, w których zapisuje stałe instrukcje do powtarzalnych zadań. Jeśli często przygotowujesz materiały zawierające ważne liczby, umieść tam regułę kontroli. Dzięki temu nie trzeba jej dopisywać za każdym razem.
Instrukcja powinna wymagać tabeli obejmującej wszystkie liczby z projektu. Model ma oznaczyć, które wartości skopiował, a które obliczył. Przy przepisanych danych powinien wskazać dokładne miejsce w źródle i przytoczyć odpowiedni fragment. Jeśli nie może znaleźć danej wartości, ma napisać „nie znaleziono”.
Ta ostatnia reguła jest szczególnie ważna. Model jest skłonny dawać odpowiedź nawet wtedy, gdy nie ma wystarczających podstaw. W instrukcji warto więc wyraźnie powiedzieć, że brak potwierdzonej liczby jest lepszy niż błędna liczba. Można to ująć mocno: „Błędna wartość jest trzy razy gorsza niż puste miejsce”. Nie chodzi o ścisły przelicznik, lecz o jasną wskazówkę, jak ma postąpić w razie niepewności. Taki zapis ułatwia też późniejszy przegląd dokumentu: od razu widać, czego trzeba poszukać samodzielnie.
Liczby wyliczone model powinien ponownie obliczyć kodem. Na koniec ma pokazać tabelę kontroli, a każdą niewiadomą lub pozycję, której nie zdołał zweryfikować, wyraźnie oznaczyć. Tak przygotowana instrukcja może towarzyszyć każdemu kolejnemu raportowi czy ofercie tworzonym w tym projekcie.
Długie lub ważne zadanie: oddaj liczby do osobnej kontroli
Trzecie rozwiązanie przeznaczone jest dla dwóch sytuacji. Pierwsza to rozległa praca, w której AI przez godzinę albo kilka godzin korzysta z setek plików. Druga to dokument mogący mieć skutki finansowe, prawne lub wizerunkowe dla firmy.
W takim przypadku proponuję dodatkową kontrolę przez osobnego agenta AI. Agent pomocniczy dostaje nowy kontekst i jedno wąskie zadanie: sprawdzić liczby. Dzięki temu ocena nie zależy wyłącznie od modelu, który przed chwilą przygotował cały materiał.
Gdy projekt jest gotowy, model tworzący dokument nie powinien od razu kończyć pracy. Ma przekazać agentowi kontrolującemu projekt raportu lub oferty oraz pliki źródłowe wykorzystane przy jego tworzeniu. Ten agent sprawdza wartości przepisane z materiałów i ponownie oblicza wyniki za pomocą kodu. Następnie przygotowuje tabelę podobną do tej z poprzednich przykładów. Tabela powinna trafić również do ciebie.
Takie rozwiązanie wymaga więcej czasu i zużywa więcej zasobów, więc może też kosztować więcej. Przy długiej pracy lub dokumencie o poważnych konsekwencjach ten dodatkowy wysiłek bywa jednak uzasadniony.
Jeżeli prowadzisz wiele zadań opartych na liczbach, możesz pójść o krok dalej: stworzyć osobną umiejętność służącą wyłącznie do ich sprawdzania. Wtedy agent kontrolujący korzysta z tej samej procedury przy różnych raportach, ofertach i analizach. Część umiejętności AI pomaga wykonać pracę, inne służą do oceny jej wyniku. Tutaj potrzebujemy właśnie tej drugiej: ma porównać gotowy materiał ze źródłami i sprawdzić rachunki.
Co warto zapamiętać
Nie ma sprzeczności między świetnymi wynikami AI w trudnej matematyce a pomyłką w zwykłym raporcie. Gdy model skupia się na zadaniu matematycznym i wykonuje obliczenia, pracuje inaczej niż wtedy, gdy dopisuje liczby podczas tworzenia długiego tekstu.
Dlatego przy ważnych wartościach zatrzymaj pracę nad dokumentem i przeprowadź osobną kontrolę. Ustal, czy każda liczba pochodzi ze źródła, czy z obliczenia. W pierwszym przypadku sprawdź wskazane miejsce w materiale; w drugim — zleć ponowny rachunek kodem. Przy zadaniach długich lub ważnych powierz ten przegląd osobnemu agentowi, ewentualnie korzystającemu ze stałej umiejętności do kontroli liczb.
Pod filmem znajdziesz też moją bezpłatną, trzydziestodniową serię wiadomości o zastosowaniu AI w pracy oraz informacje o możliwościach współpracy.
Na koniec jeszcze jedna rzecz. Jeśli pytasz AI, czy twój pomysł jest dobry, możesz dostać odpowiedź twierdzącą dlatego, że model próbuje cię zadowolić. Kontrola rachunków tego nie rozwiąże. Porady i rekomendacje wymagają osobnego sprawdzenia — temu poświęcam kolejny materiał.