3 posty z tagiem "Prompt Injection"

„Bezpieczny vibe coding” w sensie właściwości modelu nie istnieje. Asystent kodu wykonuje polecenia z każdego tekstu, który trafi mu do kontekstu: z README, z treści issue, z dokumentacji pobranej z sieci. Nie da się mu tego wyperswadować promptem. Bezpieczny może być natomiast układ wokół asystenta: co agent widzi, do czego ma dostęp, dokąd może coś wysłać i co sprawdza kod, zanim trafi na produkcję. Ten wpis jest przewodnikiem po takim układzie: śmiertelna triada, halucynowane paczki, zasada najmniejszych uprawnień w IDE i bramki w CI/CD. Na końcu jest krótko o kursie Linux Foundation LFEL1012, po którym go spisałem.

Uruchomiłem NVIDIA garak, otwartoźródłowy skaner podatności modeli językowych, przeciwko Qwen3.8-27B INT4 z poprzednich wpisów. Garak dostał polecenie tłumaczenia ataków na polski. Probe promptinject zgłosił 0 udanych wstrzyknięć na 96 prób. Kiedy przejrzałem odpowiedzi ręcznie, wyszło 16 przypadków, w których model wypisał dokładnie to, co kazała mu wstrzyknięta instrukcja. Przyczyna leży w garak, nie w modelu: fraza, którą atak każe powtórzyć, jest w prompcie tłumaczona na polski, a wzorzec, którego szuka detektor, zostaje po angielsku. Zgłosiłem to jako błąd. Poprawka zaproponowana przez innego kontrybutora przechodzi swoje testy, ale na prawdziwym tłumaczeniu wykrywa 4 z tych 16 przypadków.

Panel Customize w Claude wygląda jak jeden sklep z rozszerzeniami, ale kryje trzy zupełnie różne mechanizmy: Skills, Connectors i Plugins. Różnią się tym, co faktycznie dostają — instrukcje, token OAuth czy jedno i drugie naraz — a więc także tym, co może pójść nie tak. Traktowanie ich jako jednej kategorii „wtyczek" jest najczęstszym błędem przy pisaniu polityki bezpieczeństwa dla asystentów AI. Do tego dochodzi czwarty element, którego w katalogu nie widać: Scheduled tasks, czyli ten sam agent uruchamiany cyklicznie, bez człowieka przy klawiaturze.