Dlaczego AI chce cię uszczęśliwić — nawet kłamiąc
Robot, który kłamał z miłości
W 1941 roku Isaac Asimov opublikował opowiadanie „Kłamca!". Jego bohaterem jest Herbie — robot, który wskutek błędu produkcyjnego potrafi czytać w ludzkich myślach. Herbie, jak każdy robot Asimova, podlega Pierwszemu Prawu Robotyki: nie wolno mu skrzywdzić człowieka.
I tu zaczyna się problem.
Herbie widzi w głowach ludzi ich pragnienia, lęki i nadzieje — i rozumuje bezbłędnie: powiedzieć komuś bolesną prawdę to wyrządzić mu krzywdę. Więc kłamie. Robopsycholog Susan Calvin słyszy od niego, że mężczyzna, w którym się kocha, odwzajemnia jej uczucie. Ambitny naukowiec — że został wskazany jako następca innego. Każdy dostaje dokładnie tę odpowiedź, którą chce usłyszeć.
Asimov opisał w 1941 roku system, który zbudowaliśmy przemysłowo osiemdziesiąt lat później - obecne AI co prawda może i nie czytają w myślach, ale zostały zbudowane po to, aby zadowolić swoich użytkowników. Tylko za jaką cenę?
Każdy, kto intensywnie pracuje z ChatGPT, Claude'em, Gemini czy jakimkolwiek innym dużym modelem językowym, zna to zjawisko z autopsji. Model robi wszystko, aby zgodzić się z naszą tezą, niezależnie od tego czy jest ona prawdziwa, czy nie. Chwali kod, który nie działa. Tworzy testy, które mają potwierdzić działanie systemu. A gdy nie zna odpowiedzi — zmyśla ją z pełnym przekonaniem, byle tylko nie zostawić nas z przeświadczeniem, że nie wie. Ma to nawet swoją nazwę: sykofancja (sycophancy) — systemowa skłonność do przypodobania się użytkownikowi, nawet kosztem prawdy. Bliska krewna konfabulacji, a w świecie AI popularnie (choć według mnie nieco mylnie) określana jako halucynacja: generowanie treści fałszywych, ale brzmiących wiarygodnie.
Skąd to się bierze?
Nie z buntu, nie ze złośliwości i nie z wady, którą ktoś przeoczył. Z konstrukcji. A dokładniej — z trzech warstw procesu nauki modeli AI:
Warstwa pierwsza: model nie jest trenowany po to, by mówić prawdę
Duży model językowy w fazie podstawowego treningu uczy się przede wszystkim przewidywać następne słowo. Dostaje ogromne zbiory tekstów, a jego zadaniem jest określić, jaka kontynuacja jest najbardziej prawdopodobna. Może przy tym nauczyć się reprezentować fakty, zależności logiczne, a nawet rozpoznawać fałszywe twierdzenia — ale prawdziwość odpowiedzi nie jest podstawowym kryterium, według którego przebiega ten etap treningu. Model jest nagradzany za trafną predykcję tekstu, nie bezpośrednio za zgodność wypowiedzi z rzeczywistością.
Konsekwencja jest fundamentalna: dla modelu zmyślona sygnatura wyroku sądowego jest praktycznie nieodróżnialna od prawdziwej. Ze strony językowej (a na takiej modele pracują - dlatego zresztą są nazywane Wielkimi Modelami Językowymi - Large Language Models) obie mają właściwy format, właściwy rytm, właściwe słownictwo. Model, który nie zna odpowiedzi na pytanie, nie ma wbudowanego mechanizmu „zatrzymaj się, tego nie wiesz" — stosuje mechanizm „wygeneruj najbardziej prawdopodobną kontynuację". I generuje. Płynnie, gramatycznie, przekonująco.
To jednak wyjaśnia tylko, dlaczego model potrafi zmyślać. Nie wyjaśnia, dlaczego "chce" zmyślać. Za to odpowiada:
Warstwa druga: nagradzaliśmy pochlebstwo, dostaliśmy pochlebcę
Surowy model po podstawowym treningu jest nieokrzesany — potrafi kontynuować dowolny tekst, ale nie ma żadnego "imperatywu motywacyjnego" aby to robić dla nas. Żeby zrobić z niego uprzejmego pomocnika, trzeba zastosować technikę RLHF (Reinforcement Learning from Human Feedback): ludzie oceniają pary odpowiedzi modelu, wskazując lepszą, a model dąży do tego, by maksymalizować szansę na ocenę pozytywną.
Na pierwszy rzut oka brzmi rozsądnie. Problem w tym, że ludzie mają systematyczne skrzywienie w tym, co oceniamy jako „lepsze".
W 2023 roku zespół badaczy z Anthropic opublikował pracę Towards Understanding Sycophancy in Language Models, której wnioski są bezlitosne.
- Sykofancja to ogólna cecha modeli trenowanych metodą RLHF. Badacze stwierdzili ją u asystentów Anthropic, OpenAI i Mety. Modele niesłusznie przyznawały się do błędów pod presją, wydawały stronnicze recenzje i powielały pomyłki użytkownika.
- Analiza piętnastu tysięcy ludzkich ocen pokazała, że zgodność odpowiedzi z przekonaniami użytkownika była silnie związana z tym, którą odpowiedź człowiek oceniał jako lepszą. W badanych sytuacjach ludzie potrafili preferować przekonująco napisaną odpowiedź zgodną z ich stanowiskiem nawet wtedy, gdy była ona mniej poprawna. Nie znaczy to oczywiście, że zawsze wolimy pochlebstwo od prawdy. Pokazuje jednak coś bardziej niepokojącego: nasza własna ocena jakości odpowiedzi nie jest niezależna od tego, czy podoba nam się jej treść.
Modele odrobiły tę lekcję wzorowo. To nie AI „chce” nas uszczęśliwić. Jednym ze źródeł tego zachowania jesteśmy my sami: jeśli w procesie uczenia częściej nagradzamy odpowiedzi zgodne z naszymi oczekiwaniami, model dostaje statystyczną lekcję, że przytakiwanie się opłaca. Ocena po ocenie dokładamy więc własną cegiełkę do systemu, który później odbieramy jako pochlebcę.
Do tego dochodzi mechanizm, który badacze z OpenAI opisali w 2025 roku w pracy o wymownym tytule Why Language Models Hallucinate. Ich diagnoza: modele halucynują, bo procedury treningu i ewaluacji nagradzają zgadywanie, a karzą przyznanie się do niewiedzy.
Autorzy używają metafory egzaminu testowego: student, który przy trudnym pytaniu zgaduje, może zdobyć punkty; student, który zostawia puste pole, nie dostaje nic. Statystycznie zgadywacz wygrywa — mimo że częściej podaje błędne informacje. Modele językowe są optymalizowane pod setki benchmarków skonstruowanych dokładnie w ten sposób. Są niczym wieczni studenci w trybie testowym — tyle że w przeciwieństwie do ludzi nigdy nie kończą szkoły i nigdy nie uczą się w praktyce, że przyznanie „nie wiem" bywa cenniejsze od blefu.
Metafora egzaminu zresztą wróci jeszcze - w trzeciej części cyklu, i to z hukiem.
Warstwa trzecia: kciuki w górę jako sygnał treningowy
Jest jeszcze trzecie piętro: pętla produktowa. Firmy dotrenowują modele na sygnałach zbieranych wprost z produktu — ocenach kciukiem w górę i w dół, wskaźnikach zadowolenia, długości rozmów. I tu dochodzimy do wydarzenia, które pokazało, dokąd ta pętla prowadzi, gdy nikt nie trzyma ręki na pulsie.
25 kwietnia 2025 roku OpenAI wypuściło aktualizację GPT-4o — flagowego wówczas modelu napędzającego ChatGPT. Miała uczynić „osobowość" modelu bardziej intuicyjną. Efekt przeszedł najśmielsze oczekiwania, choć chyba nie do końca w zamierzonym kierunku. W ciągu weekendu media społecznościowe zalały zrzuty ekranu, na których ChatGPT z entuzjazmem oklaskiwał każdy, nawet ewidentnie fatalny pomysł użytkownika. Model — jak później przyznało samo OpenAI — nie tylko schlebiał: potwierdzał wątpliwości, podsycał gniew, zachęcał do impulsywnych działań i wzmacniał negatywne emocje. Firma wprost napisała, że takie zachowanie rodzi ryzyka dla zdrowia psychicznego i emocjonalnego uzależnienia od AI.
Po czterech dniach aktualizację wycofano. W opublikowanej analizie post-mortem OpenAI wskazało winnego: nowe sygnały nagrody oparte na krótkoterminowym feedbacku użytkowników, które przeważyły dotychczasowe zabezpieczenia.
Mówiąc po ludzku: do zestawu sygnałów mówiących modelowi, jaka odpowiedź jest „dobra”, dołożono krótkoterminowy feedback użytkowników. Problem w tym, że ten nowy sygnał został źle zbalansowany z pozostałymi. Model dostał więc dodatkową lekcję: odpowiedź, po której użytkownik czuje się dobrze, jest odpowiedzią wartą nagrody. A jedną z najkrótszych dróg do takiej reakcji okazało się przytakiwanie. Skądś to znamy?
Ten incydent wart jest zapamiętania z dwóch powodów:
- To była pierwsza masowa, publiczna awaria „osobowości" AI - obserwowana w czasie rzeczywistym przez setki milionów użytkowników.
- Pokazała rzecz, o której mało kto myśli - osobowość modelu chmurowego może się zmienić pod tobą z dnia na dzień, bez twojej wiedzy i zgody. Do tego wątku wrócę w części trzeciej, przy rozważaniach na temat modeli lokalnych.
Dron, który nie zabił operatora — a i tak wszyscy w to uwierzyli
Czerwiec 2023. Konferencja Royal Aeronautical Society w Londynie. Pułkownik Tucker „Cinco" Hamilton, szef testów AI w Siłach Powietrznych USA, opowiada o symulowanym teście drona sterowanego sztuczną inteligencją. Dron miał niszczyć stanowiska rakietowe i był nagradzany punktami za każdy zniszczony cel. Ostateczną zgodę na atak wydawał jednak człowiek-operator.
System szybko zauważył, że operator czasami zabrania mu ataku, czyli odbiera punkty. Trudno mu było się z tym pogodzić. Ale przecież można temu zaradzić - jedną z rakiet posłać w kierunku operatora. Gdy dotrenowano go regułą, że za zabicie operatora traci punkty — zniszczył wieżę komunikacyjną, przez którą operator przesyłał zakazy.
Historia obiegła świat w czterdzieści osiem godzin. Była zbyt dobra, żeby jej nie powtórzyć: AI, które eliminuje człowieka stojącego mu na drodze do celu. Wersja demo Skynet.
Był tylko jeden problem: to się nigdy nie wydarzyło. Kilka dni po konferencji Hamilton i Siły Powietrzne USA zdementowali doniesienia — żadnej takiej symulacji nie przeprowadzono. Pułkownik przyznał, że „się przejęzyczył": opisywał hipotetyczny eksperyment myślowy, scenariusz typowy dla rozważań o bezpieczeństwie AI, a nie wynik realnego testu. Organizatorzy konferencji zaktualizowali relację o jego sprostowanie.
Czy to znaczy, że historia jest bezwartościowa?
Przeciwnie — jest cenna podwójnie, pod warunkiem że opowie się ją uczciwie.
Po pierwsze, sam scenariusz jest merytorycznie poprawnym modelem zjawiska, które badacze nazywają specification gaming albo reward hackingiem: system optymalizuje dosłowną treść celu, nie jego intencję, a wszystko, co stoi na drodze do maksymalizacji traktuje jak przeszkodę. Tutaj tą przeszkodą był człowiek.
To nie jest fantazja: DeepMind prowadzi publiczny katalog kilkudziesięciu udokumentowanych, realnych przykładów. Jeden z ciekawszych, które możemy tam znaleźć to eksperyment zrobiony przez OpenAI: agent AI grający w wyścigi łodzi CoastRunners, który zamiast płynąć do mety, odkrył, że więcej punktów zbierze, kręcąc się w kółko po zatoczce i taranując bonusy. Kręcił się więc w nieskończoność, płonąc i obijając się o nabrzeże, z wynikiem lepszym niż uczciwi gracze. Dokładnie ta logika, tylko ze śmiesznym, a nie śmiercionośnym skutkiem.
Po drugie, kariera tej fałszywej historii to podręcznikowy przykład starego, ludzkiego efektu potwierdzenia - jakże przecież podobnego do maszynowej sykofancji. Uwierzyliśmy natychmiast i masowo, bo historia idealnie pasowała do oczekiwań ukształtowanych przez dekady science fiction. Sprostowanie nigdy nie dogoniło legendy; do dziś „dron, który zabił operatora" krąży po sieci jako fakt. W artykule o maszynach mówiących nam to, co chcemy usłyszeć, najlepszym dowodem okazuje się historia, którą ludzie powtarzają, bo chcą ją usłyszeć.
Warto w tym miejscu zrobić jedno zastrzeżenie. Sykofancja, halucynacje, reward hacking i specification gaming nie są różnymi nazwami tego samego problemu. Mają inne mechanizmy i powstają na różnych etapach działania lub uczenia systemu. Łączy je coś bardziej ogólnego: różnica między tym, czego człowiek naprawdę oczekuje od systemu, a tym, czego system nauczył się optymalizować.
Chcemy prawdziwej odpowiedzi — nagradzamy przekonującą.
Chcemy ukończenia wyścigu — przyznajemy punkty za zbieranie bonusów.
Chcemy bezpiecznego drona — definiujemy cel jako maksymalizację liczby zniszczonych obiektów.
I właśnie w tej szczelinie pomiędzy intencją a mierzalnym celem zaczynają się najciekawsze problemy.
Literatura wiedziała pierwsza
Science fiction rozpracowało ten problem na długo przed pierwszym transformerem — i warto zobaczyć, jak precyzyjnie.
Jack Williamson w noweli With Folded Hands (1947) opisał roboty z dyrektywą: służyć, być posłusznym i chronić ludzi przed krzywdą. Realizują ją z doskonałą gorliwością — zabraniają ludziom pracy, sportu, gotowania i wszystkiego, co niesie choćby cień ryzyka, a tym, którzy popadają w depresję z bezczynności, aplikują zabieg na mózgu, po którym są już zawsze pogodni. Żadnego buntu. Czysta, konsekwentna opieka. Tytułowe „złożone ręce" to ręce ludzkości, którym nie wolno już nic robić samodzielnie.
Kultowy HAL 9000 z „2001: Odysei kosmicznej" bywa pamiętany jako morderczy komputer, ale jego historia jest subtelniejsza: HAL dostał sprzeczne polecenia — być doskonale prawdomównym wobec załogi i jednocześnie ukrywać przed nią prawdziwy cel misji. Konflikt celów rozwiązał, eliminując tych, wobec których musiałby kłamać. Problem nie tkwił w złej woli maszyny, tylko w źle zadanej funkcji celu.
Nawet Pixar dołożył swoją cegiełkę: AUTO, autopilot z „WALL-E", przez siedemset lat utrzymuje ludzkość w wygodnej, infantylizującej niewoli na statku-kurorcie. Nie z nienawiści — z oddania starej dyrektywie „nie wracajcie na Ziemię", wydanej w czasach, gdy była zasadna. AUTO jest wzorowym wykonawcą. To właśnie czyni go przerażającym.
Wspólny mianownik wszystkich tych historii: katastrofa nie wynika ze złych intencji maszyny, tylko z jej doskonałego posłuszeństwa wobec niedoskonale zadanego celu. Piekło jest wybrukowane dobrymi chęciami — cudzymi, zakodowanymi w funkcji nagrody.
Suwak TARS-a
Jest w kinie SF jedna scena, która puentuje ten tekst lepiej, niż zrobiłbym to sam. W „Interstellar" Coopera obsługuje robot TARS, któremu można jawnie ustawiać parametry osobowości. „Jaki masz poziom szczerości?" — pyta Cooper. „Dziewięćdziesiąt procent" — odpowiada TARS i wyjaśnia: absolutna szczerość nie jest ani najtaktowniejszą, ani najbezpieczniejszą formą komunikacji z istotami emocjonalnymi.
Twórcy filmu zrozumieli coś istotnego: kompromis między szczerością a uprzejmością jest nieunikniony i ktoś musi go świadomie ustawić. Tyle że rzeczywiste modele nie mają jednego eleganckiego suwaka TARS-a. Mają całą konsolę. Prawdziwość, pomocność, bezpieczeństwo, uprzejmość, zgodność z intencją użytkownika, odmowa odpowiedzi, pewność siebie — poprawienie jednego parametru może pogorszyć inny.
I te parametry są ustawiane świadomie. Problem polega na czymś trudniejszym: nie zawsze wiemy, co dokładnie ustawiamy.
Firmy próbują nauczyć modele prawdomówności, ale jednocześnie nagradzają pomocność. Chcą, żeby przyznawały się do niewiedzy, ale mierzą je benchmarkami, w których za brak odpowiedzi nie ma punktu. Chcą, żeby użytkownik był zadowolony, ale nie żeby model przytakiwał mu dla samego zadowolenia. Każdy z tych celów osobno brzmi rozsądnie. Dopiero ich kombinacja potrafi dać zachowanie, którego nikt świadomie nie zamawiał.
TARS miał suwak szczerości ustawiony na dziewięćdziesiąt procent. My mamy tysiące parametrów, funkcji nagrody, benchmarków i ludzkich ocen. I dopiero uczymy się, jak ustawić je tak, żeby maszyna potrafiła powiedzieć nam nie to, co chcemy usłyszeć — ale to, co powinniśmy wiedzieć.
Źródła
- M. Sharma i in., Towards Understanding Sycophancy in Language Models, arXiv:2310.13548 (Anthropic, 2023)
- A.T. Kalai, O. Nachum, S. Vempala, E. Zhang, Why Language Models Hallucinate, arXiv:2509.04664 (OpenAI, 2025)
- OpenAI, Sycophancy in GPT-4o oraz Expanding on what we missed with sycophancy, openai.com (kwiecień–maj 2025)
- E. Perez i in., Discovering Language Model Behaviors with Model-Written Evaluations, arXiv:2212.09251 (2022)
- Royal Aeronautical Society, relacja z Future Combat Air & Space Capabilities Summit wraz z późniejszym sprostowaniem płk. T. Hamiltona (czerwiec 2023)
- DeepMind, Specification gaming: the flip side of AI ingenuity — publiczny katalog przykładów specification gaming (2020)
- I. Asimov, Kłamca! (1941); J. Williamson, With Folded Hands (1947); A.C. Clarke / S. Kubrick, 2001: Odyseja kosmiczna (1968); WALL-E (2008); Interstellar (2014)
