O czym jest ten film
- Autor pracował w Goldman Sachs jako analityk business intelligence i opisuje zasady pracy z danymi oraz automatyzacją, które przeniósł do własnych projektów AI.
- Zasady zebrał we własny akronim VAULT: Verify, Augment, Understand the why, Loop humans in, Transparency.
- Weryfikacja: model potrafi dostarczyć odpowiedź, która wygląda na skończoną, ale nie jest poprawna — sprawdzać trzeba zarówno dane wejściowe, jak i kluczowe liczby na wyjściu.
- Jakość danych firmowych to przewaga konkurencyjna, ale dane zaśmiecone czy zdublowane po podpięciu do AI dają tylko szybciej złą odpowiedź.
- Wspieranie zamiast zastępowania: zadania o jasnych regułach lepiej obsługuje zwykła, deterministyczna automatyzacja, a AI wchodzi tam, gdzie potrzebna jest ocena i interpretacja.
- Najlepsze systemy łączą oba podejścia — automatyzacja liczy i sprawdza fakty, model opisuje je zrozumiałym językiem.
- Zrozumienie „dlaczego”: trzeba zacząć od problemu, a nie od narzędzia; jeśli nie da się zapisać jednym zdaniem, co się rozwiązuje, nie ma sensu zaczynać.
- Człowiek w pętli: poziom nadzoru powinien odpowiadać konsekwencjom działania; autor opisuje własną wpadkę z agentem, który wysłał kod rabatowy do prawie 200 tysięcy osób.
- Praktyczna technika bezpieczeństwa: ustawiać automatyzacje na tryb roboczy (draft), a nie na wysyłkę, i wymagać pokazania planu przed nieodwracalnymi działaniami.
- Przejrzystość: każdy przebieg systemu ma być logowany wraz ze źródłami, założeniami i kontrolami, żeby dało się go naprawić i przekazać komuś innemu.
Redakcyjne tłumaczenie
Dlaczego zasady z instytucji finansowej mają znaczenie
Chcę przekazać wszystko, czego nauczyłem się podczas pracy w Goldman Sachs, jednej z największych firm finansowych na świecie. To zasady, którymi kieruję się do dziś we wszystkim, co robię z AI.
Firma tego kalibru nie ma komfortu popełniania błędów. Jeden źle wprowadzony rekord albo jedna halucynacja modelu mogą kosztować miliony dolarów, a w gorszym wypadku — reputację. Skoro jedna z największych i najbardziej zaufanych instytucji finansowych świata stosuje te zasady, to dlatego, że one działają. I nawet jeśli nie pracujesz w wielkiej firmie, całkowicie zmienią sposób, w jaki korzystasz z AI, oraz efekty, które z niej wyciągasz.
Podzielę się pięcioma zasadami, które ułożyłem w akronim VAULT, i pokażę, jak zastosować je we własnych projektach.
(Informacja dodatkowa: „vault” to po angielsku skarbiec — nazwa nawiązuje do finansowego kontekstu, a jednocześnie składa się z pierwszych liter pięciu zasad.)
V — Verify: weryfikuj wynik
Zaznaczam od razu: to moja własna rama pojęciowa, zbudowana na zasadach, których nauczyłem się w tej pracy. I sprawdza się niezależnie od tego, czy używasz Claude Code, Codeksa, czy dowolnego narzędzia, które pojawi się w przyszłym miesiącu.
Wielu z nas — mnie samego nie wyłączając — robi się przy AI zbyt komfortowo. Dostajesz coś, co wygląda na skończone, podane z ogromną pewnością siebie, idealnie sformatowane, i zajęło to jakieś trzydzieści sekund. Ale to, co wygląda na skończone, i to, co jest faktycznie poprawne, to dwie zupełnie różne rzeczy.
Marco Argenti, dyrektor ds. informatyki w Goldman Sachs, rozróżnia rozumowanie modelu i jego końcowy wynik. Sposób, w jaki model rozkłada problem na czynniki i go analizuje, potrafi być wartościowy nawet wtedy, gdy ostateczna odpowiedź jest błędna. Możesz więc czerpać wartość z tego rozbioru, ale wynik i tak musisz zweryfikować.
(Informacja dodatkowa: Marco Argenti to Chief Information Officer Goldman Sachs, wcześniej wiceprezes w Amazon Web Services; w transkrypcji jego nazwisko pojawia się w zniekształconej formie „Agenti”.)
A weryfikacja zaczyna się jeszcze zanim AI cokolwiek wygeneruje. Pracowałem w business intelligence i każdy analityk na moim stanowisku musiał przejść coś, co nazywało się „data school”. Musieliśmy rozumieć, jak dane są pobierane, jak są czyszczone, jak są aktualizowane i jak z tego wszystkiego zrobić coś, na podstawie czego ludzie faktycznie podejmą decyzję. Bo każdy raport, każdy dashboard, każda automatyzacja — a teraz również każdy system AI — jest wart dokładnie tyle, ile dane, które go zasilają.
Dane twojej firmy to prawdopodobnie jedna z jej największych przewag, bo nikt inny nie ma dokładnie tych informacji. Nie ma twoich klientów, twojej historii sprzedaży, twoich wewnętrznych procesów, twoich zgłoszeń serwisowych. To złoto. Ale jeśli te dane są nieaktualne, zduplikowane, bałaganiarskie albo po prostu błędne, podpięcie ich do AI nie naprawi ich magicznie. Da ci tylko szybciej złą odpowiedź.
Dlatego, korzystając z narzędzi AI, wbudowuję weryfikację bezpośrednio w proces. Możesz dać modelowi polecenie w rodzaju: „Zanim podasz mi ostateczną odpowiedź, sprawdź ponownie każdą liczbę i każde twierdzenie faktograficzne. Podaj źródło do każdego z nich i oznacz wszystko, czego nie jesteś w stu procentach pewien”.
Nie musisz ręcznie weryfikować każdego słowa. Jeśli tworzysz raport, być może tylko dwie czy trzy liczby realnie wpływają na decyzję — niech model wskaże do nich źródła, a ty sprawdzisz je wyrywkowo. Przy projektach o wyższej stawce możesz zbudować osobnego recenzenta AI, albo nawet cały zespół agentów, których jedynym zadaniem jest recenzja. Sprawdzą pierwszy wynik, zanim cokolwiek zobaczysz, a cały system może przejść kolejną iterację, zanim materiał do ciebie trafi. To dodatkowa warstwa kontroli. Ale ważne twierdzenia nadal wymagają oryginalnych źródeł, testów deterministycznych albo weryfikacji człowieka.
Weryfikuj więc dane na wejściu, weryfikuj istotne wyniki na wyjściu i wbuduj recenzję w sam proces.
A — Augment: wspieraj, nie zastępuj
Kiedy już możesz ufać wejściom i wyjściom, wciąż pozostaje decyzja, czy AI w ogóle powinna znaleźć się w tym procesie.
Moja etatowa praca w Goldman polegała w gruncie rzeczy na budowaniu automatyzacji, raportów, dashboardów i systemów, które zwiększały efektywność zespołów. W każdym zespole, z którym pracowałem, ktoś robił jakąś wersję tej pracy. Nic z tego nie było żadną nową inicjatywą „AI” — Goldman budował zautomatyzowane systemy danych i ryzyka od dekad, a zespoły w całej firmie zajmowały się tym na długo przed obecną falą agentów AI.
To oznacza, że istniała ogromna liczba problemów wartych rozwiązania jeszcze zanim ktokolwiek zaczął mówić o agentach. Ręcznie budowane raporty, które zajmowały godziny. Dane, które trzeba było przenosić między systemami. Zespoły czekające na informacje od innych ludzi. Ktoś wpisywał coś błędnie, ktoś pomijał krok, albo dwie osoby realizowały ten sam proces na dwa nieco różne sposoby.
Bo ostatecznie ludzie są niekonsekwentni. Męczymy się. Pomijamy kroki. Komunikacja się psuje i każdy popełnia błędy. Natomiast porządnie przetestowana, deterministyczna automatyzacja przeprowadzi ten sam proces dokładnie tak samo za każdym razem.
To nie znaczy, że automatyzacja jest z automatu poprawna — jeśli źle zbudujesz logikę, będzie perfekcyjnie powtarzać ten sam błąd w nieskończoność. Ale ponieważ jest deterministyczna, czyli przewidywalna, znacznie łatwiej ją przetestować, zaudytować i naprawić.
Jeśli więc zadanie ma jasny zestaw reguł, prawdopodobnie nie potrzebujesz agenta AI. Sięgaj po AI wtedy, gdy potrzebna jest ocena sytuacji, interpretacja, elastyczność albo umiejętność przebicia się przez chaotyczne informacje. Używaj zwykłej automatyzacji, gdy kroki i poprawna odpowiedź są już znane.
To naprawdę ważne, bo w tej fali zachwytu nad AI wszyscy myślą: „mamy problem, użyjmy AI”. Umiejętność powiedzenia: „wiecie co, gdybyśmy nie użyli AI, wyszłoby taniej, szybciej i pewnie lepiej” — to bardzo cenna perspektywa.
Szczerze mówiąc, wiele najlepszych systemów łączy jedno z drugim. Załóżmy, że tworzysz tygodniowy raport biznesowy. Zwykła automatyzacja pobierze liczby z bazy danych, oczyści je, wykona obliczenia i sprawdzi, czy nic się nie rozjeżdża. Potem model AI może spojrzeć na te zweryfikowane liczby i wytłumaczyć zwykłym językiem, co się zmieniło. System deterministyczny odpowiada za fakty, a AI pomaga zbudować z nich narrację.
Tak właśnie wygląda wspieranie istniejącego procesu: bierzesz coś, co już działa, rozkładasz to na kroki i ulepszasz te konkretne kroki, w których AI faktycznie może pomóc. Jeszcze raz — nie używaj AI do rozwiązania problemu, który rozwiązuje już prosta automatyzacja.
U — Understand the why: zrozum, po co to robisz
Wybór właściwego podejścia staje się dużo łatwiejszy, gdy rozumiesz, po co w ogóle budujesz dany system.
Jedna z zasad inżynieryjnych Goldmana nazywa się „build with purpose” — buduj celowo. Marco Argenti tłumaczy to tak: inżynierowie nie mogą skupiać się wyłącznie na „jak”, muszą priorytetowo traktować „dlaczego”.
A ja bez przerwy widzę, że przy AI ludzie robią dokładnie odwrotnie. Otwierają narzędzie z myślą: „chcę zbudować agenta”, „chcę zrobić workflow”, „chcę użyć tego nowego narzędzia, o którym wszyscy mówią”. Ale jaki problem właściwie rozwiązujesz? Możesz zbudować naprawdę imponujący przepływ pracy, którego nikt nie potrzebuje. Możesz spędzić cały tydzień na dopracowaniu agenta i jeśli ten agent nie oszczędza czasu, nie zarabia pieniędzy, nie ogranicza błędów ani nie poprawia jakiegoś realnego wyniku — to po co to wszystko?
Zaczynaj od problemu, a dopiero potem wybieraj narzędzie. Zanim otworzysz narzędzie AI, zapisz jedno zdanie: „Problem, który próbuję rozwiązać, to …, a dobry rezultat wyglądałby tak: …”. Jeśli nie potrafisz tego zdania napisać, prawdopodobnie nie jesteś jeszcze gotowy, żeby cokolwiek promptować. Skoro sam nie wiesz, czego chcesz, to skąd ma to wiedzieć model?
Jeśli wciąż to sobie układasz — w porządku. Możesz użyć AI jako partnera do burzy mózgów: daj kontekst, opisz wąskie gardło i poproś o pomoc w znalezieniu najprostszego sposobu rozwiązania.
To szczególnie ważne, jeśli chcesz na AI zarabiać. W moich społecznościach widziałem ludzi, którzy zbudowali każdy możliwy workflow i wciąż mieli problem ze zdobyciem klientów, bo zaczynali od technologii. Widziałem też zupełnie nowe osoby, które skupiły się na jednym bolesnym problemie, zbudowały jeden użyteczny system i w ciągu kilku miesięcy zastąpiły nim dochód z etatu. Różnicą był problem, który wybrali do rozwiązania.
(Informacja dodatkowa: w tym miejscu autor umieszcza zaproszenie do swojej bezpłatnej społeczności z kursami i materiałami do frameworka VAULT oraz odsyła do linków w opisie filmu.)
L — Loop humans in: zostaw człowieka w pętli
Myśl o AI jak o megafonie. Wszystko, co jej dasz, może zostać wzmocnione w całym procesie — łącznie z błędami.
Lekko niejasna instrukcja w oknie czatu da ci jedną lekko błędną odpowiedź. Ale gdy podepniesz tę samą instrukcję do autonomicznego agenta, może on wysłać niewłaściwy e-mail, zaktualizować niewłaściwy rekord, opublikować coś publicznie albo napisać do całej listy klientów, zanim ty cokolwiek zobaczysz.
Mieliśmy autonomicznego agenta, który przeglądał listę zadań, sam zdjął z niej jedno, źle je zinterpretował i w efekcie wysłał kod rabatowy do prawie dwustu tysięcy osób z naszej listy mailingowej. Oczywiście — poważny błąd.
Marco Argenti ostrzegał dokładnie przed tym problemem: drobne nieporozumienie może zostać wzmocnione przez system AI, a kiedy agenci podejmują działania, halucynacje prowadzą do nieprawidłowych, a czasem wręcz niebezpiecznych operacji. Wszyscy słyszeliśmy chyba te historie grozy o agentach kasujących ogromne bazy danych w dużych firmach.
Wniosek Argentiego jest prosty: dopóki te narzędzia nie będą konsekwentnie niezawodne, człowiek musi pozostać w pętli.
To nie znaczy, że ktoś musi zatwierdzać każdą najdrobniejszą czynność. Poziom nadzoru powinien odpowiadać konsekwencjom działania. Jeśli narzędzie AI porządkuje twoje osobiste notatki — niech działa. Jeśli przygotowuje coś dla klienta, zmienia ważne dane, wydaje pieniądze albo komunikuje się z dużą grupą ludzi — dodaj krok zatwierdzenia. Proszę.
Jednym z najprostszych sposobów jest ustawienie automatyzacji na tryb roboczy zamiast wysyłki. Niech AI zapisuje maile w wersjach roboczych Gmaila. Niech wrzuca proponowane odpowiedzi do dokumentu. Niezależnie od tego, czy używasz Claude Code, Codeksa czy czegokolwiek innego — każ pokazać plan, zanim narzędzie zmieni istotne pliki, coś wdroży albo wykona operację, której nie da się łatwo cofnąć. Nadal zyskujesz większość szybkości, ale jeden dziwny wynik nie zamienia się od razu w znacznie większy problem.
Im więcej osób dotyka dane działanie, tym ważniejsze stają się punkty kontrolne z udziałem człowieka. Zasada, którą powtarzamy w moim zespole, brzmi: jeśli agent potencjalnie może coś zrobić, musisz założyć, że to zrobi. W dziewięciuset dziewięćdziesięciu dziewięciu przypadkach na tysiąc zrobi to, czego chcesz — ale ten jeden raz może być bolesny.
T — Transparency: wymuszaj przejrzystość
Rzecz w tym, że człowiek nie może rzetelnie zatwierdzić pracy, jeśli system nie pokazuje mu, jak doszedł do wyniku.
W firmie takiej jak Goldman, jeśli budujesz coś, co dotyka istotnych danych, raportowania albo ryzyka, musisz umieć wyjaśnić, skąd wzięła się informacja, co się z nią stało i w jaki sposób powstał końcowy rezultat. Są regulatorzy, klienci, menedżerowie i inne zespoły, które mogą chcieć przejrzeć te decyzje. Nie obronisz czegoś, czego sam nie rozumiesz.
Własne systemy AI powinieneś budować tak samo. Jeśli agent działa, ale nikt nie rozumie, jak działa, to będzie koszmar, gdy coś się zepsuje, gdy zmienią się dane albo gdy ktoś inny będzie musiał przejąć projekt. Możesz nie wiedzieć, co naprawić ani który krok zawiódł, i prawdopodobnie nie odtworzysz wyników w powtarzalny sposób.
Proś więc AI, żeby dokumentowała to, co robi, w trakcie budowania. Każde uruchomienie takiego systemu powinno być gdzieś zalogowane, wraz ze źródłami danych, przyjętymi założeniami, użytymi narzędziami, kontrolami walidacyjnymi i wszystkimi istotnymi decyzjami. Jeśli system tworzy raport, każ mu pokazać, które źródło wspiera którą konkluzję. Jeśli tworzy automatyzację, niech wyjaśni, co ją uruchamia, co dzieje się na każdym kroku i w którym miejscu potrzebna jest akceptacja człowieka.
Przejrzystość nie polega przy tym na proszeniu modelu, żeby odsłonił jakiś ukryty wewnętrzny tok myślenia. Potrzebujesz dowodów, które możesz faktycznie zbadać: źródeł, wejść, wykonanych działań, przyjętych założeń i przeprowadzonych kontroli. To sprawia, że systemowi łatwiej zaufać, łatwiej go ulepszać i o wiele łatwiej przekazać innej osobie.
Podsumowanie
To są te pięć zasad składających się na VAULT: weryfikuj wynik, wspieraj systemy, które już działają, rozumiej „dlaczego”, zostawiaj człowieka w pętli i utrzymuj cały proces przejrzystym.
Największa lekcja, jaką wyniosłem z Goldman Sachs, brzmi: nie musisz zamieniać wszystkiego w agenta AI. Musisz zrozumieć problem, chronić dane, użyć najprostszego systemu, który działa, i zachować kontrolę nad tymi działaniami, które naprawdę mają znaczenie. Tak właśnie buduje się systemy AI, którym można ufać.
10 najważniejszych takeaways — z kontekstem zastosowania
1.Odróżniaj „wygląda na skończone” od „jest poprawne”
Na czym polega: Model dostarcza odpowiedź w kilkadziesiąt sekund, świetnie sformatowaną i podaną z pełną pewnością siebie. Ta forma nie ma nic wspólnego z trafnością treści.
Jak stosować: Traktuj gotowy wygląd jako sygnał neutralny, nie jako dowód jakości. Zanim wykorzystasz wynik, wskaż konkretne elementy, które chcesz sprawdzić — zwykle są to liczby i twierdzenia faktograficzne.
Na co uważać: Największe ryzyko dotyczy zadań, w których sam nie masz kompetencji do oceny wyniku. Wtedy pewność siebie modelu najłatwiej zastępuje twoją weryfikację.
2.Korzystaj z rozumowania modelu, nawet gdy odpowiedź jest błędna
Na czym polega: Argenti rozdziela sposób, w jaki model rozkłada problem, od wyniku końcowego. Rozbiór problemu bywa wartościowy nawet przy błędnej konkluzji.
Jak stosować: Proś model o pokazanie struktury analizy — jakie czynniki bierze pod uwagę, jakie kroki widzi — i wykorzystaj to jako mapę, którą sam uzupełnisz danymi.
Na co uważać: Nie myl przekonującego rozumowania z poprawnością. Dobrze wyglądający wywód nie stanowi weryfikacji ostatecznej liczby.
3.Wbuduj weryfikację w sam prompt
Na czym polega: Zamiast sprawdzać wszystko po fakcie, każ modelowi ponownie przejrzeć każdą liczbę i twierdzenie, podać źródła i oznaczyć rzeczy niepewne.
Jak stosować: Dopisz do promptu stały fragment: ponowne sprawdzenie danych, cytowanie źródeł, wyraźne flagowanie niepewności. Potem sprawdzaj wyrywkowo tylko te dwie–trzy liczby, które realnie wpływają na decyzję.
Na co uważać: Autor wprost zaznacza, że to warstwa dodatkowa, a nie zamiennik. Ważne twierdzenia nadal wymagają oryginalnego źródła, testu deterministycznego albo oceny człowieka — model może „zweryfikować” samego siebie równie błędnie.
4.Zacznij od porządku w danych, nie od modelu
Na czym polega: Każdy raport, dashboard i system AI jest wart tyle, ile dane, które go zasilają. Dane zaśmiecone, zduplikowane lub nieaktualne dają po prostu szybciej złą odpowiedź.
Jak stosować: Zanim podepniesz źródło do AI, przejdź jego ścieżkę: skąd jest pobierane, jak jest czyszczone, jak często aktualizowane. Twoje wewnętrzne dane — klienci, historia sprzedaży, procesy, zgłoszenia — są przewagą, której nie ma nikt inny.
Na co uważać: Podpięcie AI do bałaganu bywa mylące, bo model często wypełni luki spójnie brzmiącą treścią, przez co problem z danymi staje się trudniejszy do zauważenia.
5.Jeśli zadanie ma jasne reguły, nie potrzebujesz agenta
Na czym polega: AI ma sens tam, gdzie potrzebna jest ocena, interpretacja, elastyczność albo praca z chaotycznymi informacjami. Gdy kroki i poprawna odpowiedź są znane, wystarczy zwykła automatyzacja.
Jak stosować: Przy każdym pomyśle zadaj pytanie odwrotne do panującej mody: czy bez AI byłoby taniej, szybciej i lepiej? Umiejętność powiedzenia „tak” jest zawodowo cenna.
Na co uważać: Deterministyczna automatyzacja nie jest z definicji poprawna — źle zaprojektowana logika powtórzy błąd perfekcyjnie za każdym razem. Jej przewagą jest to, że łatwiej ją przetestować i naprawić, nie to, że się nie myli.
6.Buduj hybrydy: fakty deterministycznie, narracja przez AI
Na czym polega: Wzorzec z tygodniowego raportu — automatyzacja pobiera liczby, czyści je, liczy i sprawdza, a model wyjaśnia zwykłym językiem, co się zmieniło.
Jak stosować: Rozłóż istniejący proces na kroki i podmień na AI tylko te, w których faktycznie pomaga. Model dostaje dane już zweryfikowane, nie surowe.
Na co uważać: Granica musi być szczelna. Jeśli model po drodze zaczyna sam przeliczać albo uzupełniać liczby, tracisz całą korzyść z deterministycznej części.
7.Napisz jedno zdanie, zanim otworzysz narzędzie
Na czym polega: „Problem, który rozwiązuję, to…, a dobry rezultat wyglądałby tak: …”. Brak takiego zdania oznacza, że nie jesteś gotowy do promptowania.
Jak stosować: Zapisz je przed startem projektu i wracaj do niego przy każdej decyzji technicznej. Jeśli wciąż szukasz problemu, użyj modelu jako partnera do rozmowy: podaj kontekst, opisz wąskie gardło, poproś o najprostsze rozwiązanie.
Na co uważać: Można stracić tydzień na perfekcyjnie działającego agenta, który nie oszczędza czasu, nie zarabia i nie ogranicza błędów. Kryterium jest wynik biznesowy, nie sprawność techniczna.
8.Dopasuj poziom nadzoru do konsekwencji działania
Na czym polega: AI działa jak megafon — wzmacnia również błędy. Nieprecyzyjna instrukcja w czacie to jedna zła odpowiedź; ta sama instrukcja u autonomicznego agenta to wysłany mail, zmieniony rekord albo wiadomość do całej listy klientów.
Jak stosować: Porządkowanie prywatnych notatek — niech działa bez nadzoru. Materiały dla klienta, zmiana istotnych danych, wydawanie pieniędzy, komunikacja do dużej grupy — krok akceptacji obowiązkowo.
Na co uważać: Historia autora: agent zdjął zadanie z listy, źle je zinterpretował i wysłał kod rabatowy do prawie dwustu tysięcy odbiorców. Zakładaj, że jeśli agent technicznie może coś zrobić, prędzej czy później to zrobi.
9.Ustawiaj automatyzacje na „szkic”, nie na „wyślij”
Na czym polega: Najprostszy sposób wpięcia człowieka w pętlę bez utraty tempa: model przygotowuje, człowiek zatwierdza wysyłkę.
Jak stosować: Maile do wersji roboczych Gmaila, proponowane odpowiedzi do dokumentu. W narzędziach programistycznych — najpierw plan, dopiero potem zmiana ważnych plików, wdrożenie czy operacja nieodwracalna.
Na co uważać: Tryb szkicu chroni tylko wtedy, gdy ktoś naprawdę czyta te szkice. Przy dużym wolumenie łatwo zamienia się w automatyczne klikanie „zatwierdź”, czyli w akceptację pozorną.
10.Wymagaj dowodów, a nie deklaracji — loguj każde uruchomienie
Na czym polega: Przejrzystość to nie prośba o „ujawnienie wewnętrznych myśli” modelu, tylko materiał, który da się sprawdzić: źródła, wejścia, wykonane działania, założenia i przeprowadzone kontrole.
Jak stosować: Każ AI dokumentować pracę na bieżąco. Loguj każde uruchomienie systemu. Przy raportach — które źródło wspiera którą konkluzję. Przy automatyzacjach — co ją wyzwala, co dzieje się na każdym kroku i gdzie potrzebna jest akceptacja.
Na co uważać: System, który działa, ale którego nikt nie rozumie, staje się problemem dopiero przy awarii, zmianie danych albo przekazaniu projektu — a wtedy nie wiadomo, co naprawić i który krok zawiódł.