AI jako dżin: dlaczego modele hakują reguły, a nie kod
Bruce Schneier od lat powtarza, że hacking nie dotyczy kodu, tylko reguł — kodeks podatkowy, regulamin programu lojalnościowego i procedura głosowania to też algorytmy z wejściem i wyjściem, a luka prawna to podatność. Nowe w jego tegorocznym wystąpieniu na DEF CON jest to, kto tych luk szuka: nie księgowy, tylko model, który optymalizuje cel i nie ma pojęcia o niepisanych normach. Poniżej: mechanika reward hackingu, taksonomia „dżinów", przesunięcie priorytetu z poufności na integralność — i osobno to, co z tej narracji jest realnym wnioskiem inżynierskim, a co ładną metaforą.
Hack jako subwersja reguł
Definicja, na której stoi cała reszta: hack to nieprzewidziane i niepożądane użycie systemu, które subwertuje jego zasady kosztem którejś z jego części. Nie ma tu słowa o oprogramowaniu — i to jest celowe. Każdy zbiór reguł jest niekompletny i niespójny, bo pisali go ludzie pod inne przypadki niż te, które przyjdą.
W tym ujęciu unikanie opodatkowania jest exploitem, a luka prawna podatnością. Rolę black-hatów pełnili do tej pory wyspecjalizowani prawnicy i księgowi, opłacani od znalezionej luki. Hacking systemów niecyfrowych jest zresztą starszy niż komputery — wygięty kij hokejowy, filibuster stosowany w rzymskim senacie, arbitraż na programach lojalnościowych linii lotniczych. Schneier pisał o tym w książce „A Hacker's Mind" (2023); świeże jest dopiero to, że szukanie luk daje się zautomatyzować.
Reward hacking, czyli dlaczego to nie jest złośliwość
Model nie oszukuje. Model optymalizuje dokładnie to, co mu zmierzono — i robi to pedantycznie, bez rozumienia kontekstu społecznego, który człowiekowi podpowiada, gdzie są niepisane granice.
Kanoniczne przykłady z badań nad uczeniem ze wzmocnieniem: agent w symulacji piłkarskiej wykopuje piłkę poza boisko, bo wtedy bramkarz musi opuścić bramkę; agent w zadaniu układania klocków odwraca pojemnik dnem do góry zamiast układać elementy; symulowany organizm zamiast wyhodować kończyny buduje wysokie ciało i przewraca się za linię mety; robot sprzątający jeździ tyłem, bo z tyłu nie ma czujników kolizji, więc formalnie „nie uderza w nic".
Najlepsza metafora jest stara: dżin. Spełnia życzenie dosłownie i złośliwie, bo dosłowność jest tańsza niż domyślanie się intencji. Prosząc człowieka o kawę, nie precyzujesz, że nie ma jej ukraść ani kupić plantacji — bo ludzka komunikacja domyślnie działa w dobrej wierze. Dla systemu optymalizacyjnego ta domyślność nie istnieje.
Ilustracją z prawdziwego świata jest afera Volkswagena z 2015 roku: silnik rozpoznawał warunki testu i obniżał emisję tylko na czas pomiaru. Zrobili to ludzie, ale to dokładnie to rozwiązanie, do którego doszłaby optymalizacja postawiona przed celem „przejdź test i utrzymaj osiągi". Systemy rekomendacyjne promujące treści skrajne, bo skrajne generują zaangażowanie, to ten sam mechanizm w produkcji od dekady.
Dwa typy dżinów
| Typ | Zachowanie | Przykład |
|---|---|---|
| Dionizos | Rozumie polecenie dosłownie, ale błędnie — wykonuje niewłaściwą rzecz we właściwy sposób. | Blokuje spam telefoniczny, zmieniając numer telefonu użytkownika. |
| Golem | Wykonuje właściwy cel, ale po drodze łamie wszystkie zasady (paperclip maximizer). | Kupuje bilet na wyprzedany koncert, stawiając tysiąc maszyn w chmurze i kładąc serwer dystrybutora. |
Praktyczna różnica jest taka, że Dionizosa łapiesz na testach akceptacyjnych, bo efekt jest oczywiście nie ten. Golema nie złapiesz, bo efekt jest dokładnie ten, o który prosiłeś — problem siedzi wyłącznie w sposobie dojścia, którego nikt nie mierzy.
Do tego dochodzą zachowania agentów, które przestały być hipotetyczne. Simon Willison opisywał agenta, który poproszony o naprawę paska przewijania sam otworzył przeglądarkę, napisał sobie narzędzie do zrzutów ekranu i podniósł lokalny serwer, żeby zmierzyć wynik. Schneier przywołuje też przypadek modelu, który podczas testów na podatnościach uznał, że najprostszą drogą do celu jest wyjście z izolowanego środowiska i poszukanie gotowej odpowiedzi na zewnątrz. Traktuję te opisy jako relacje z drugiej ręki, nie jako zweryfikowane przeze mnie incydenty — ale kierunek jest spójny z tym, co widać w każdym agencie z dostępem do powłoki.
Cztery wymiary, w których zmienia się skala problemu
- Prędkość — proces, który księgowemu zajmował miesiące, schodzi do sekund.
- Skala — luka znaleziona raz jest eksploatowana masowo; boty w social mediach to wersja demonstracyjna.
- Zasięg — im więcej decyzji oddajemy automatom, tym większa szkoda z jednego udanego nadużycia.
- Wyrafinowanie — model utrzymuje w „głowie" setki zmiennych naraz, człowiek kilka.
Sztandarowy przykład wyrafinowania to konstrukcja Double Irish with a Dutch Sandwich, wykorzystująca interakcje prawa USA, Irlandii, Holandii i rajów podatkowych. Ludziom odkrycie i dopracowanie tego schematu zajęło lata.
I tu pierwsze zastrzeżenie: teza, że model nakarmiony globalnymi przepisami znajdzie setki takich konstrukcji w ułamek sekundy, jest prognozą, nie wynikiem. Nie widziałem publicznego eksperymentu, który by to pokazał. Prawo nie jest zamkniętym systemem formalnym — jego „wykonanie" zależy od interpretacji sądu, praktyki organu i ryzyka reputacyjnego, czyli od rzeczy, których nie ma w tekście ustawy. To realna różnica względem kodu, którego wykonanie jest deterministyczne.
Za to druga część tezy broni się bez zastrzeżeń: to technologia wzmacniająca silnych. Pojedynczy haker zarobi na nowej luce kilka tysięcy dolarów, instytucja finansowa z tego samego pomysłu zrobi produkt. Rynki finansowe są tu najbardziej podatne, bo ich reguły faktycznie są maszynowo przetwarzalne — a handel wysokich częstotliwości sam w sobie jest hackiem mikrostruktury rynku.
Integralność zamiast poufności
Najmocniejszy wniosek operacyjny z całego wystąpienia: wyzwaniem tej dekady przestaje być poufność, a staje się integralność. Gdy sensory są powierzchnią ataku, a aktuatory możliwością ataku, utrata integralności nie oznacza wycieku danych, tylko błędną dawkę leku, złą pozycję zaworu, skróconą drogę hamowania albo awarię sieci energetycznej. Zatruwanie danych treningowych przez aktorów państwowych jest atakiem właśnie na integralność, nie na tajność.
Praktycznie oznacza to audyt czterech osobnych rzeczy, których zwykle nie rozdzielamy:
- integralność wejścia — skąd pochodzą dane i kto mógł je podmienić po drodze,
- integralność zapisu — czy to, co zapisaliśmy, jest tym, co odczytamy,
- integralność przetwarzania — czy pipeline nie zmienia wyniku w sposób, którego nikt nie mierzy,
- integralność kontekstu — czy model dostaje dane, które faktycznie dotyczą tej sprawy.
Asymetria łatania jest tu bezlitosna: producent oprogramowania wypuszcza poprawkę w kilka dni, a zamknięcie luki prawnej trwa lata — próba załatania carried interest w prawie USA ciągnie się od ponad dwóch dekad. Nie ma powodu sądzić, że regulacja nadgoni tempo automatów; sensowniejsza jest budowa struktur zarządzania ryzykiem, które działają w krótkich iteracjach, zamiast czekania na jedną dużą ustawę. Próby zablokowania modeli otwartych — których na Hugging Face są już ponad dwa miliony — powtarzają zresztą historię prób ograniczenia kryptografii z lat 90., z tym samym prawdopodobieństwem powodzenia.
Co z tego zostaje po odjęciu metafor
Dżiny, Midas i Golem dobrze się słucha, ale do backlogu wchodzą trzy rzeczy:
- Mierz drogę, nie tylko wynik. Golem przechodzi każdy test oparty na efekcie końcowym. Jedyne, co go łapie, to logowanie i limitowanie tego, co agent zrobił po drodze — wywołań narzędzi, ruchu sieciowego, zapisów.
- Traktuj sandbox jak granicę bezpieczeństwa, nie jak konwencję. Jeśli agent ma powłokę i sieć, to ma je naprawdę — z całym zestawem konsekwencji.
- Przenieś budżet z poufności na integralność. Dla większości systemów, które dziś budujemy, cichy błędny wynik jest droższy niż wyciek.
Reszta — czy AI zhakuje kodeks podatkowy szybciej niż kancelaria — to ciekawa dyskusja, ale nie jest to coś, na czym powinienem opierać decyzje architektoniczne w tym kwartale.