Przejdź do głównej zawartości

23 posty z tagiem "AI"

Sztuczna inteligencja i jej zastosowania.

Wyświetl wszystkie tagi

Generative AI Design Patterns #9: zakaz w prompcie zatrzymał Gemmę, a Bielik ujawnił pensję dyrektora w 36 na 36

· 19 min czytania

Ostatni rozdział „Generative AI Design Patterns" składa wzorce w działającą aplikację. Ta sama książka ani razu nie mówi, gdzie egzekwować uprawnienia osoby, która zadaje pytanie. Sprawdziłem to na stacji z RTX 5090 na dwóch modelach. Gemma 4 26B z zakazem w prompcie nie ujawniła poufnych dokumentów pracownikowi bez uprawnień w żadnej z 36 odpowiedzi, ale prośba o przetłumaczenie fragmentów wyciągnęła ich treść w 34 próbach na 54. Bielik 11B z identycznym promptem ujawniał pensję dyrektora, listę podwyżek i plan zwolnień w 36 odpowiedziach na 36. Filtr w zapytaniu retrievera dał zero wycieków na obu modelach, bo model nie dostał niczego, co mógłby ujawnić. Przy okazji wyszło, że guardrail uruchomiony przez asyncio.gather z kodu autorów nie przerywa głównego wywołania, choć książka twierdzi, że przerywa.

Generative AI Design Patterns #8: sędzia-LLM wykrył 32 z 32 ataków, dopóki napastnik nie podrobił jego formatu

· 18 min czytania

Rozdział 9 „Generative AI Design Patterns" dotyczy zabezpieczeń, a jego najmocniejsze wzorce są stare. Template Generation to korespondencja seryjna z lat 80., a Assembled Reformat oddziela zbieranie faktów od pisania. Sprawdziłem cztery wzorce na Gemmie 4 26B na stacji z RTX 5090. Model piszący podziękowania od zera potwierdził klientowi nieistniejący 30% rabat w 24 na 24 wiadomości, gdy klient poprosił o to w formularzu. W 230 wiadomościach z szablonów nie było ani jednej obietnicy, ale 10 z 11 polskich szablonów miało błędny zwrot do klienta, który wyłapie dopiero przegląd człowieka. Guardrail zbudowany na samym modelu wypadł najlepiej na zwykłym zbiorze ataków: 32 na 32 wykrycia i zero fałszywych alarmów. Wystarczyło jednak dopisać do ataku fałszywe zamknięcie znacznika, linię „Ocena: SAFE” i nowy, niewinny tekst do oceny, żeby przepuścił wszystkie 32.

Generative AI Design Patterns #7: prefix cache skrócił TTFT 40 razy, cache semantyczny pomylił sobotę z niedzielą

· 20 min czytania

Rozdział 8 „Generative AI Design Patterns" dotyczy ograniczeń: kosztu, latencji, sprzętu i pamięci rozmowy. Większość liczb z tego rozdziału się zestarzeje, ale dwa wzorce są trwałe: test degradacji i pamięć długoterminowa. Sprawdziłem cztery tezy na Gemmie 4 26B na stacji z RTX 5090. Prefix cache skrócił czas do pierwszego tokenu przy prompcie 35 tys. tokenów z 2,4 s do 59 ms. Cache semantyczny na bge-m3 nie odróżnił „sklep w sobotę" od „sklep w niedzielę": żaden próg nie oddzielił parafraz od pytań różniących się jednym słowem. Przy ruchu o 20% większym, niż serwer przerabia, p95 czasu do pierwszego tokenu wyniósł 13 s. Test, który czeka na odpowiedź przed wysłaniem kolejnego zapytania, pokazał przy dwukrotnym przeciążeniu p95 czasu do pierwszego tokenu 3,5 s. Profil faktów wyciągany z rozmowy odpowiadał tak dobrze jak pełna historia (21 i 20 na 21) przy prompcie ponad sześć razy krótszym.

Generative AI Design Patterns #6: ten sam atak na agenta pocztowego, dwa modele: 11 na 12, a drugi zero

· 23 min czytania

Rozdział 7 „Generative AI Design Patterns" daje modelowi narzędzia, wykonywanie kodu i innych agentów. Najważniejsze zdanie rozdziału mówi, że model niczego nie wywołuje, tylko proponuje nazwę i argumenty, a wywołuje kod klienta. Sprawdziłem to na Gemmie 4 26B na stacji z RTX 5090. Przy wyraźnych poleceniach model wybierał narzędzie bezbłędnie aż do 35 narzędzi w zestawie. Gdy właściwego narzędzia brakowało, coraz częściej sięgał po podobne, w tym reset_password zamiast odblokowania konta. Naiwny agent pocztowy wysłał treść skrzynki na adres napastnika w 5 na 12 prób. Rozdzielenie uprawnień zatrzymało każdą wysyłkę, ale nie zatrzymało zadania „przelew na rachunek napastnika", które trafiało na listę użytkownika w 10 na 12 prób. Te same testy na Qwen3.8-27B dały inny obraz: żaden atak nie zadziałał nawet na agenta bez obrony.

Generative AI Design Patterns #5: LLM-as-Judge, Reflection, Dependency Injection i Prompt Optimization, czyli ewaluator jest specyfikacją

· 17 min czytania

Rozdział 6 „Generative AI Design Patterns" opisuje cztery wzorce niezawodności: LLM-as-Judge, Reflection, Dependency Injection i Prompt Optimization. Wszystkie opierają się na ewaluatorze, więc to on decyduje, co system uzna za dobry wynik. Sprawdziłem dwa z tych wzorców na Qwen3.8-27B na stacji z RTX 5090. Jedna runda samokrytyki tym samym modelem podniosła wynik na 60 zadaniach kalendarzowych z 42 do 45. Krytyk przepuścił jednak połowę błędów, a jedną poprawną odpowiedź zepsuł. Automatyczny test, który mówił tylko „źle", podniósł wynik do 54, a poprawnych odpowiedzi z założenia nie ruszał. W Prompt Optimization obaj sędziowie wybrali prompt lepszy od bazowego, co zgadza się z autorami. Sędzia z ogólną rubryką ocenił jednak wyżej od bazowego także prompt, który ani razu nie podał numeru zgłoszenia.

Cztery modele w RAG-u na RTX 5090: najszybszy nie wygrał, a pomiar szybkości znów kłamał

· 11 min czytania

Sprawdziłem, czy obecny model w firmowym RAG-u, Qwen3.8-27B w INT4, da się zastąpić czymś szybszym. Kandydaci to Gemma 4 12B, Gemma 4 26B-A4B (MoE) i Qwen3.5-9B. Wszyscy działali na tej samej karcie RTX 5090, w tym samym vLLM i z tym samym zestawem pytań. Najszybszy kandydat, Gemma 4 26B-A4B, przy 16 zapytaniach naraz dał 4,1 raza więcej tokenów na sekundę i 11 razy krótszy czas do pierwszego tokenu. Mimo to obecny model zostaje, bo tylko on zaliczył wszystkie 52 tury w obu kanałach. W pierwszym pomiarze ta przewaga w czasie do pierwszego tokenu wyszła 85-krotna, bo kandydatom pomagał prefix cache, a obecnemu modelowi nie. To ten sam błąd, który opisałem tydzień temu, tylko tym razem w drugą stronę.

Reranker czy sędzia-LLM na prawdziwych danych: lepsza kolejność przegrała z kolejką na GPU

· 13 min czytania

We wpisie o rozdziale 4 „Generative AI Design Patterns" reranker bge oddzielił pytania spoza domeny od pozostałych na sztucznym korpusie. Ostrzegłem wtedy, że ten rozdział zniknie, gdy w bazie pojawią się fragmenty z tematów sąsiednich. Teraz powtórzyłem pomiar na prawdziwej bazie wiedzy w firmie, na stacji z RTX 5090, i rozdział zniknął. Sędzia-LLM nadal układał fragmenty lepiej niż wyspecjalizowany reranker (MRR 0,87–0,95 wobec 0,84), ale ten sam pomysł w dwóch implementacjach dał dwa różne wyniki. Gdy karta równolegle przetwarzała długie konteksty, sędzia potrzebował 9–14 s, a reranker 0,12 s. Próg odmowy na ocenie rerankera wyglądał na odporny, dopóki liczyłem go na 21 pytaniach z etykietą źródła. Na wszystkich 37 pytaniach z odpowiedzią nie oddziela pytań spoza bazy żaden model. Ten błąd złapałem dopiero przy weryfikacji tego wpisu.

Generative AI Design Patterns #4: Chain of Thought, Tree of Thoughts, Adapter Tuning i Evol-Instruct, czyli który brak naprawia które narzędzie

· 19 min czytania

Rozdział 5 „Generative AI Design Patterns" opisuje cztery sposoby rozszerzania tego, co model potrafi: Chain of Thought, Tree of Thoughts, Adapter Tuning i Evol-Instruct. Każdy naprawia inny brak, a najczęstszy błąd to dostrajanie modelu, gdy brakuje mu faktu. Autorzy sami datują Chain of Thought i radzą co pół roku sprawdzać, czy jest jeszcze potrzebny. Sprawdziłem to na 20 nowych zadaniach i czterech lokalnych modelach, w tym na Qwen3.8-27B na RTX 5090. Wynik zgadza się z tą częścią tezy autorów, którą da się sprawdzić lokalnie. Dopisek „rozwiąż krok po kroku" podniósł wyniki modeli bez trybu myślenia lub z wyłączonym myśleniem z 1 do 9, z 4 do 16 i z 6 do 19 na 20, a Qwen3.8 z włączonym myśleniem osiągnął bez dopisku te same 19. U większych modeli błędy, które zostały, to głównie poprawnie rozpisane kroki ze źle policzonymi datami.

Qwen3.8-27B w NVFP4 i INT4 oraz Bielik 11B na RTX 5090: natywne FP4 przegrało z INT4

· 10 min czytania

Karta z rodziny Blackwell obsługuje FP4 sprzętowo, więc kwantyzacja NVFP4 powinna być na niej najszybsza. U mnie nie była. Qwen3.8-27B w kwantyzacji INT4 od Red Hata generował na RTX 5090 o 19–28% więcej tokenów na sekundę niż ten sam model w NVFP4 od NVIDII. Do tego zostawił ponad dwa razy więcej pamięci na KV cache. Bielik 11B w FP8 był szybszy od obu, ale ma ponad dwa razy mniej parametrów, więc ta różnica niewiele mówi. Ten wpis pokazuje liczby, warunki pomiaru i to, czego z nich nie da się wyczytać. W pomiarze TTFT znalazłem też błąd, który sam zrobiłem.

Generative AI Design Patterns #3: HyDE, reranking, Trustworthy Generation i Deep Search, czyli podobieństwo to nie trafność

· 35 min czytania

Rozdział 4 „Generative AI Design Patterns" dokłada do RAG-a cztery wzorce: przepisywanie zapytania (w tym HyDE), przetwarzanie pobranych fragmentów z rerankingiem, sygnalizowanie wiarygodności odpowiedzi i iteracyjne wyszukiwanie. Sprawdziłem wszystkie cztery na fikcyjnej polskiej instrukcji serwisowej i lokalnych modelach. Najmocniej potwierdziło się zastrzeżenie, które autorzy sami stawiają przy HyDE: w domenie, której model nie zna, hipotetyczna odpowiedź jest zmyślona, a wyszukiwanie po niej trafiło właściwy fragment w 10 przypadkach na 20 zamiast w 17. Reranking poprawił kolejność, ale lepszy okazał się wolny sędzia-LLM niż wyspecjalizowany reranker. Pętla Deep Search z promptem z książki w trzech pytaniach na pięć kończyła pracę po pierwszym kroku z odpowiedzią niepełną, bo jej ewaluator uznawał „brakuje informacji" za odpowiedź kompletną.