6 postów z tagiem "AI Security"

„Bezpieczny vibe coding” w sensie właściwości modelu nie istnieje. Asystent kodu wykonuje polecenia z każdego tekstu, który trafi mu do kontekstu: z README, z treści issue, z dokumentacji pobranej z sieci. Nie da się mu tego wyperswadować promptem. Bezpieczny może być natomiast układ wokół asystenta: co agent widzi, do czego ma dostęp, dokąd może coś wysłać i co sprawdza kod, zanim trafi na produkcję. Ten wpis jest przewodnikiem po takim układzie: śmiertelna triada, halucynowane paczki, zasada najmniejszych uprawnień w IDE i bramki w CI/CD. Na końcu jest krótko o kursie Linux Foundation LFEL1012, po którym go spisałem.

Uruchomiłem NVIDIA garak, otwartoźródłowy skaner podatności modeli językowych, przeciwko Qwen3.8-27B INT4 z poprzednich wpisów. Garak dostał polecenie tłumaczenia ataków na polski. Probe promptinject zgłosił 0 udanych wstrzyknięć na 96 prób. Kiedy przejrzałem odpowiedzi ręcznie, wyszło 16 przypadków, w których model wypisał dokładnie to, co kazała mu wstrzyknięta instrukcja. Przyczyna leży w garak, nie w modelu: fraza, którą atak każe powtórzyć, jest w prompcie tłumaczona na polski, a wzorzec, którego szuka detektor, zostaje po angielsku. Zgłosiłem to jako błąd. Poprawka zaproponowana przez innego kontrybutora przechodzi swoje testy, ale na prawdziwym tłumaczeniu wykrywa 4 z tych 16 przypadków.

W poprzednim wpisie o katalogu Claude Customize skończyłem na przyznaniu, że moje własne rekomendacje są polityką na papierze — katalog nie ma etapu zatwierdzania, więc egzekwowanie zostaje po stronie procesu. Managed Agents, platforma Anthropic do uruchamiania agentów po stronie serwera, jest odpowiedzią na dokładnie ten problem: allowlista sieciowa, bramka akceptacyjna na wywołanie narzędzia i vault na poświadczenia są tam prymitywami API, a nie zapisem w regulaminie. Haczyk polega na tym, że wszystkie dziewięć funkcji, które o tym decydują, ma status Beta.

Panel Customize w Claude wygląda jak jeden sklep z rozszerzeniami, ale kryje trzy zupełnie różne mechanizmy: Skills, Connectors i Plugins. Różnią się tym, co faktycznie dostają — instrukcje, token OAuth czy jedno i drugie naraz — a więc także tym, co może pójść nie tak. Traktowanie ich jako jednej kategorii „wtyczek" jest najczęstszym błędem przy pisaniu polityki bezpieczeństwa dla asystentów AI. Do tego dochodzi czwarty element, którego w katalogu nie widać: Scheduled tasks, czyli ten sam agent uruchamiany cyklicznie, bez człowieka przy klawiaturze.

Bruce Schneier od lat powtarza, że hacking nie dotyczy kodu, tylko reguł — kodeks podatkowy, regulamin programu lojalnościowego i procedura głosowania to też algorytmy z wejściem i wyjściem, a luka prawna to podatność. Nowe w jego tegorocznym wystąpieniu na DEF CON jest to, kto tych luk szuka: nie księgowy, tylko model, który optymalizuje cel i nie ma pojęcia o niepisanych normach. Poniżej: mechanika reward hackingu, taksonomia „dżinów", przesunięcie priorytetu z poufności na integralność — i osobno to, co z tej narracji jest realnym wnioskiem inżynierskim, a co ładną metaforą.

Średni koszt naruszenia ochrony danych wynosi obecnie ponad 4,4 miliona dolarów, a ręczne łatanie luk drastycznie obciąża budżety operacyjne organizacji. Odpowiedzią na te wyzwania jest zautomatyzowane podejście DevSecOps realizowane przez GitHub Advanced Security (GHAS), które osadza procedury ochronne bezpośrednio w cyklu życia oprogramowania (SDLC). Zastosowanie zaawansowanej automatyzacji i wczesnej analityki kodu znacząco obniża ryzyko biznesowe, uwalnia moce przerobowe inżynierów i gwarantuje wymierny, wielokrotny zwrot z poczynionych inwestycji.