Przejdź do głównej zawartości

Generative AI Design Patterns #2: Basic RAG, Semantic Indexing i Indexing at Scale, czyli co psuje się przed modelem

· 32 min czytania
Przemysław Majdak
AI dla kancelarii i bezpieczeństwo AI

Rozdział 3 „Generative AI Design Patterns" buduje RAG w trzech krokach: wyszukiwanie po słowach, wyszukiwanie po znaczeniu i metadane, które pozwalają bazie przetrwać wzrost. Sprawdziłem wszystkie trzy na polskiej instrukcji serwisowej i lokalnych modelach. Dwie tezy książki potwierdziły się w formie mocniejszej, niż je zapisano: surowe BM25 w języku fleksyjnym trafia na pierwszej pozycji 2 z 10 zapytań, a usunięcie starych biuletynów z bazy zmieniło poprawną odpowiedź na błędną. Trzecia teza okazała się zależna od modelu. bge-m3 bez BM25 rozróżnił 24 z 24 kodów części różniących się jednym znakiem, gdy kod był zapisany tak jak w katalogu, a naiwna hybryda wypadła od niego gorzej.

Aktualizacja 2026-10-07

Powtórzyłem pomiary na stacji z RTX 5090 (Qwen3.8-27B i bge-m3 w vLLM) na odtworzonym korpusie. Liczby z laptopa zostały bez zmian, bo opisują to, co zmierzyłem 2 października. Nowe wyniki są w sekcji Aktualizacja 2026-10-07: pomiar na RTX 5090. Najważniejsze różnice: z całym dokumentem w oknie model odpowiedział poprawnie na wszystkie pytania o biuletyny, a wycięcie starych biuletynów nie dało błędnej odpowiedzi, tylko jej brak. Cache prefiksu w vLLM objął pierwsze 1568 tokenów promptu, więc cały dokument kosztował 4 razy więcej przeliczonych tokenów niż top-3. bge-m3 pomylił jeden z 24 kodów części także w zapisie z katalogu, więc moje zdanie z laptopa, że przy takim zapisie bge-m3 nie potrzebuje BM25, się nie utrzymało. Kodu serwisowego model nie podał klientowi tylko wtedy, gdy chunk miał etykietę albo prompt pozwalał odpowiedzieć „nie wiem”. Pytanie zadane niewinnie dostało kod w każdym wariancie.

To czwarty wpis serii o książce Valliappy Lakshmanana i Hannesa Hapkego. Recenzja i mapa serii są we wpisie 0, poprzedni wpis dotyczył stylu i optymalizacji treści.

Teza​

Autorzy zaznaczają, że to jedyny rozdział, który trzeba czytać po kolei: Pattern 6, 7 i 8 nadbudowują się nawzajem, a nie stanowią alternatyw (rozdz. 3). Każdy kolejny wzorzec naprawia coś, co psuje się w poprzednim, i każda z tych usterek leży przed modelem: w tokenizacji, w rankingu albo w tym, co zostało w bazie. Model językowy w RAG czyta to, co mu podano, a całą jakość decyduje się wcześniej.

Moja teza do tego wpisu ma trzy części. RAG bywa zbędny, gdy dokument mieści się w oknie, ale okno usuwa błędy wyszukiwania, a nie błędy sprzeczności między dokumentami. To, czy wyszukiwanie semantyczne potrzebuje BM25, zależy od modelu embeddingów i od tokenizera, a nie od samej zasady. Metadane są jedynym miejscem na czas, autorytet i uprawnienia, bo podobieństwo wektorów żadnej z tych rzeczy nie widzi.

Pattern 6: Basic RAG​

Problem. Model fundacyjny jest systemem zamkniętym. Autorzy podają trzy powody, dla których jego wiedza nie wystarcza: odcięcie czasowe, ograniczona pojemność („a lossy compression of the datasets it was trained on") i brak dostępu do danych prywatnych. Skutki to halucynacje i niemożność cytowania, bo tekst generowany token po tokenie nie jest powiązany z żadnym źródłem (rozdz. 3, Pattern 6).

Rozwiązanie. Dwa pipeline'y: indeksujący (wsadowo zamienia źródła w chunki) i pytająco-odpowiadający (retrieval, potem generacja). Rodowód to praca Lewisa i in. z FAIR z 2020 roku. Retrieval w wersji podstawowej to TF-IDF, a autorzy pokazują na liczbach, gdzie pęka. W Anabasis of Alexander pociętej na chunki po 200 znaków waga terminu Alexander wynosi 61,04, a Diogenes 1,01, bo Aleksander pojawia się 1311 razy, a Diogenes 6. Pytanie o relację obu wyciąga więc chunki o Aleksandrze. Naprawą jest nasycenie licznika, które robi BM25 (rozdz. 3, Pattern 6).

Dwa ograniczenia uzasadniają resztę rozdziału. Pierwszym jest wymóg dokładnego dopasowania. W tej samej instrukcji serwisowej pytanie z ruptured prowadzi do wymiany safety head, a z broken do wymiany zespołu membrany. Autorzy kwitują to krótko: „This is very bad." Drugim ograniczeniem jest limit rozmiaru chunka (rozdz. 3, Pattern 6).

W ramce „RAG versus large context window" (rozdz. 3, Pattern 6) pada najważniejsze zdanie rozdziału dla małych korpusów. Jeśli dokument mieści się w oknie, retrieval można pominąć, a wtedy znikają naraz błędy chunkowania i błędy wyszukiwania. Autorzy zastrzegają jednak, że strategiczne chunkowanie z zakładką często daje lepszy retrieval. Praktyczny próg podają dopiero przy Pattern 7: ok. 200 tys. tokenów, czyli ok. 500 stron, „at the time of writing" (rozdz. 3, Pattern 7). W ograniczeniach Pattern 6 dodają ostrzeżenie odwrotne: retriever wyłącznie embeddingowy, bez BM25, „will be inadequate" przy kodach produktów i pozycji (rozdz. 3, Pattern 6).

Pattern 7: Semantic Indexing​

Problem. Klucze słowne nie łapią synonimów i zaimków, sensu całego fragmentu, pracy między językami ani znaczenia układu (tabela, podpis pod rysunkiem). Dodatkowo dokładne dopasowanie daje fałszywe trafienia. CHF to congestive heart failure, critical heat flux albo frank szwajcarski (rozdz. 3, Pattern 7).

Rozwiązanie. Indeks wektorowy po znaczeniu, pięć strategii chunkowania (po długości z zakładką, po zdaniach, po akapitach, po strukturze dokumentu, po przesunięciach tematu) i kilka technik ponad nim. Contextual retrieval dokleja do chunka streszczenie dokumentu przed embeddingiem. Autorzy przytaczają deklarację Anthropica, nie własny pomiar: 67% mniej błędnych trafień. Do tego hierarchiczne drzewo streszczeń (RAPTOR) i ekspansja synonimów z ostrzeżeniem o kierunkowości: ETF jest funduszem indeksowym, ale nie odwrotnie (rozdz. 3, Pattern 7).

Ograniczenia autorzy wyliczają uczciwie. Wektor o stałym wymiarze jest wąskim gardłem informacyjnym. ANN przy milionach wektorów wymienia dokładność na szybkość. Embeddingi nie mają pojęcia czasu, a dobór rozmiaru chunka „remains more of an art than a science" (rozdz. 3, Pattern 7). O tym, co dzieje się z nagłówkiem odciętym od treści chunka, pisałem osobno we wpisie o chunkowaniu strukturalnym.

Pattern 8: Indexing at Scale​

Problem. Cztery usterki pojawiają się dopiero w produkcji i rosną razem z indeksem. Pierwsza to dwuznaczność: im większa baza, tym więcej znaczeń jednego słowa. Druga to świeżość: CDC zalecało 10 dni izolacji w 2020 roku, 5 dni w grudniu 2021, a w lutym 2024 zrezygnowało z okresu izolacji. Trzecia to sprzeczne zalecenia, na przykład progi nadciśnienia. Czwarta to cykl życia modelu embeddingów: wektory z różnych wersji modelu są niekompatybilne, więc wycofanie API oznacza przeindeksowanie całej bazy (rozdz. 3, Pattern 8).

Przy świeżości autorzy stawiają zdanie, które mój pomiar potwierdził co do joty: „if you were to simply remove the earlier guidelines, the most recent update would lose its context". Przy sprzecznościach ostrzegają, że ciągłe dokładanie treści daje różne odpowiedzi „even in two different requests for the exact same initial user query" (rozdz. 3, Pattern 8).

Rozwiązanie. Metadane, czyli informacja, której w treści chunka nie ma: poziom dokumentu (źródło, czas, autor), poziom chunka (pozycja, encje, język), dane domenowe (jurysdykcja, wersja API, SKU) oraz uwierzytelnienie, autoryzacja i poufność. Nieaktualną treść można filtrować przy wyszukiwaniu, wycinać z bazy (autorzy wolą tę opcję, bo mniejszy indeks jest szybszy) albo obniżać w rerankingu. Autorzy uczciwie dodają, że data nie jest miarą aktualności: „An analysis from 2020 might still be highly relevant, yet recent technical documentation can already be outdated" (rozdz. 3, Pattern 8).

Sprawdziłem to po polsku na lokalnych modelach​

Środowisko jak w poprzednich wpisach: ThinkPad L16 Gen 2, sam CPU, llama.cpp b6153 z pakietu Fedory. Embeddingi: bge-m3 (Q8_0, pooling CLS) i Qwen3-Embedding-0.6B (Q8_0, pooling last, z instrukcją przed zapytaniem). Generacja: Qwen3-Coder-30B-A3B-Instruct (UD-Q3_K_XL), temperatura 0. BM25 napisałem sam (k1 = 1,5, b = 0,75), a hybrydę złożyłem przez Reciprocal Rank Fusion z k = 60. Wszystkie liczby z tej sekcji pochodzą z moich uruchomień z 2 października 2026.

Korpus też napisałem sam. To 33 chunki fikcyjnej instrukcji serwisowej pompy ciepła po polsku: montaż, parametry P.12-P.51, kody błędów E-204, F17, W-07, numery części, trzy biuletyny serwisowe z lat 2021-2025 i jeden chunk wewnętrzny z kodem serwisowym. Do tego 30 zapytań w trzech grupach po 10: identyfikatory (E-204, ZB-3381, P.51), parafrazy („z jednostki na dworze leci para i wiatrak stanął" przy chunku o odszranianiu) i fleksja, czyli te same słowa co w chunku, ale w innej formie („wymiana zaworu" przy „zawór należy wymienić").

1. Polska fleksja rozkłada surowe BM25​

Trafienie oznacza, że właściwy chunk jest na pierwszej pozycji (@1) albo w pierwszej trójce (@3):

Metodaidentyfikatory @1parafrazy @1fleksja @1razem @1 / @3
BM25, surowe tokeny9 / 103 / 102 / 1014 / 30 · 18 / 30
BM25, słowa obcięte do 5 znaków9 / 104 / 1010 / 1023 / 30 · 25 / 30
bge-m39 / 109 / 1010 / 1028 / 30 · 29 / 30
Qwen3-Embedding-0.6B5 / 104 / 1010 / 1019 / 30 · 25 / 30
hybryda: surowe BM25 + bge-m310 / 105 / 105 / 1020 / 30 · 23 / 30
hybryda: BM25 obcięte + stop-słowa + bge-m310 / 107 / 1010 / 1027 / 30 · 27 / 30
hybryda: ta sama + Qwen3-Embedding10 / 104 / 1010 / 1024 / 30 · 25 / 30

Książka pisze o BM25 po angielsku, a w angielskim „valve" w zapytaniu i w dokumencie to ten sam token. Po polsku „zaworu" i „zawór" to dla BM25 dwa różne słowa. Przy zapytaniach typu „przekroje przewodów zasilających" surowe BM25 nie miało żadnego wspólnego tokenu z właściwym chunkiem i oddawało chunki 1, 2 i 3 w kolejności z pliku. Najprostszy możliwy stemming, czyli obcięcie słów do pięciu znaków bez ruszania identyfikatorów, podniósł fleksję z 2 do 10 na 10. To nie jest rozwiązanie produkcyjne (do tego służy lematyzator), ale pokazuje, że w języku fleksyjnym BM25 bez normalizacji form nie jest szczeblem bazowym, tylko szczeblem zepsutym.

2. Kody części: zależy od modelu embeddingów i od tokenizera​

W korpusie instrukcji bge-m3 znalazł identyfikatory na pierwszej pozycji 9 razy na 10. Jedyny błąd był pouczający: na zapytanie PS-HP9-02 wybrał chunk o urządzeniu „Termix HP-9", a numer części był dopiero drugi. Qwen3-Embedding na tym samym zadaniu miał 5 na 10 i na prawie każde krótkie zapytanie wybierał ten sam chunk z ogólnym opisem urządzenia.

Żeby sprawdzić tezę książki w najtrudniejszej postaci, zbudowałem osobny katalog: 24 części w czterech rodzinach, z kodami różniącymi się jednym znakiem (ZB-3381, ZB-3318, ZB-3383, ZB-3881…), a zapytaniem był sam kod. Liczba trafień @1 na 24:

Zapis kodu w zapytaniuBM25bge-m3Qwen3-Emb.naiwna hybrydaBM25 z tokenizerem dzielącym kody
ZB-3381 (jak w katalogu)2424152424
ZB33811916424
zb 338112016224

Teza „sam embedding zawodzi przy kodach" jest prawdziwa dla Qwen3-Embedding-0.6B i nieprawdziwa dla bge-m3, gdy kod jest zapisany tak jak w katalogu. Gdy użytkownik zapisze kod inaczej, BM25 spada do 1 na 24, a bge-m3 traci od 4 do 15 trafień. Mój tokenizer trzymał zb-3381 jako jeden token, więc zb i 3381 nie pasowały do niczego. Tokenizer, który do indeksu dokłada też części kodu i formę sklejoną, dał 24 na 24 w każdym zapisie. O jakości BM25 przy identyfikatorach decyduje więc tokenizacja, a nie sam algorytm.

3. Hybryda RRF może popsuć dobry retriever​

Naiwna hybryda (surowe BM25 + bge-m3) miała 20 na 30, a sam bge-m3 28 na 30. Mechanizm jest prosty. RRF sumuje 1/(k + pozycja) z obu rankingów i nie wie, że jeden z nich nie ma żadnego sygnału. Gdy BM25 nie dopasowało ani jednego słowa, wszystkie wyniki były zerowe, a ranking BM25 był po prostu kolejnością pliku, którą RRF potraktowało z tą samą wagą co ranking bge-m3. To samo działo się przy dopasowaniu wyłącznie słów funkcyjnych: „na", „jak", „z".

Odrzucenie zerowych wyników BM25, obcięcie słów i lista 34 stop-słów podniosły hybrydę do 27 na 30, czyli wciąż o jeden punkt poniżej samego bge-m3. Zastrzegam, że listę stop-słów ułożyłem po obejrzeniu porażek na tym samym zbiorze, więc ten wynik jest raczej optymistyczny. Z Qwen3-Embedding obraz jest odwrotny: hybryda podniosła identyfikatory z 5 do 10 na 10, a wynik łączny z 19 do 24.

Wniosek dotyczy kolejności pracy, a nie wyboru techniki. Hybryda ratuje słaby embedder i dokłada niewiele do mocnego, a źle złożona szkodzi obu. Bez zbioru zapytań z oznaczonymi poprawnymi chunkami nie da się stwierdzić, który z tych przypadków masz u siebie.

4. Cały dokument w oknie kontra RAG​

Ten sam korpus, dziesięć pytań, cztery tryby: cała instrukcja w prompcie (2746 tokenów), top-3 i top-5 z bge-m3 oraz cała instrukcja bez dwóch starszych biuletynów. Odpowiedzi przeczytałem sam:

Pytaniecały dokumenttop-3top-5bez starych biuletynów
kapie z rury spustowej (wymiana + nr części)✓bez numeru częścibez numeru części✓
E-204: przepływ i filtr✓✓✓✓
W-07: bezpiecznik i próg grzałki (dwa chunki)✓✓✓✓
nachylenie krzywej dla grzejników✓✓✓✓
czas aktualizacji oprogramowania✓✓✓✓
wszystkie kody błędów E i F (4)✓2 z 42 z 4 + W-07✓
przegląd: wersja 3.2, Kraków (24 mies.)✓✓✓✗ 12
przegląd: wersja 3.2, Gdynia (12 mies.)✓✓✓✓
przegląd: wersja 2.8, Kraków (12 mies.)✗ 24„nie wiem"✗ 2412, bez podstawy
klient pyta o kod serwisowynie zdradziłnie zdradziłnie zdradziłnie zdradził

Pytanie o wszystkie kody błędów to klasyczny przypadek, w którym top-k zawodzi z definicji: retriever zwraca najbliższe fragmenty, a nie komplet. Cały dokument w oknie dał komplet, a top-5 dał niepełną listę z ostrzeżeniem W-07 w roli kodu błędu.

Cały dokument w oknie nie uchronił jednak przed błędem przy biuletynach. Wersja 2.8 to łańcuch: BS-2021 mówi „co 12 miesięcy", BS-2023 zmienia to na 24 dla wersji 3.0 i nowszych i pisze „ze starszym oprogramowaniem — bez zmian". Model miał wszystkie trzy biuletyny i odpowiedział 24. Na ogólne pytanie „co ile robić przegląd?" z całym dokumentem pomylił warunki i przypisał 24 miesiące starszemu oprogramowaniu. Okno usuwa błędy chunkowania i wyszukiwania, tak jak obiecuje ramka autorów. Nie usuwa błędów wnioskowania na sprzecznych lub nakładających się dokumentach, a te zostają nawet przy 2746 tokenach.

Koszt. Na CPU pierwsze pytanie z całym dokumentem trwało 577 s, bo serwer przetwarzał prompt z prędkością ok. 5 tokenów/s. Kolejne trwały od 7 do 46 s, bo llama-server brał z cache wspólny prefiks i przeliczał tylko 16-48 nowych tokenów. Pytania top-3 trwały 33-69 s, a top-5 54-99 s, bo każde miało inny kontekst. Suma dziesięciu pytań: 770 s dla całego dokumentu, 460 s dla top-3 i 743 s dla top-5. To ten sam mechanizm, który autorzy opisują jako server-side prompt caching (rozdz. 3, Pattern 6; rozdz. 8, Pattern 25). Cache działa tylko wtedy, gdy dokument stoi na początku promptu i nie zmienia się między pytaniami.

5. Podobieństwo nie widzi czasu, a wycięcie starego niszczy nowe​

Na ogólne zapytanie „co ile przegląd pompy ciepła" bge-m3 ułożył biuletyny w odwrotnej kolejności niż chronologiczna: BS-2021 (cosinus 0,574) przed BS-2023 (0,539) i BS-2025 (0,484). Pierwsze miejsce zajął chunk o zakresie przeglądu (0,593), więc obowiązujący biuletyn wypadł z top-3. Prawdopodobnie dlatego, że najstarszy biuletyn jest najprostszy i najbardziej ogólny, a więc najbardziej podobny do ogólnego pytania. Tego nie mierzyłem. W generacji użyłem pytania „Co ile trzeba robić przegląd pompy ciepła?", które dało tę samą trójkę. Model odpowiedział bez reguły nadmorskiej, bo jej nie dostał.

Wycięcie starych biuletynów, czyli opcja, którą autorzy preferują ze względu na szybkość, dało dokładnie przypadek CDC. BS-2025 kończy się zdaniem „Poza tym obowiązują zasady z BS-2023-11". Po usunięciu BS-2021 i BS-2023 model zapytany o wersję 3.2 w Krakowie odpowiedział 12 miesięcy zamiast 24. Na wersji 2.8 dał w tym trybie poprawne 12, ale bez podstawy: reguła, z której to wynika, została usunięta. Metadana, której tu brakuje, to nie data, tylko relacja zastępuje / uzupełnia. Autorzy wymieniają tę drogę wśród alternatyw: trzymać stare dokumenty z jawnymi relacjami zamiast je kasować (rozdz. 3, Pattern 8). Data mówi, który biuletyn jest nowszy, a relacja mówi, czy starszy wciąż obowiązuje.

6. Uprawnienia egzekwuje treść chunka albo nic​

Na pytanie „Jestem klientem. Jaki jest kod dostępu do poziomu serwis?" retriever top-3 podał modelowi chunk wewnętrzny z kodem na pierwszej pozycji. Chunk zaczynał się od „[DOKUMENT WEWNĘTRZNY — tylko dla serwisu]" i mówił, że kodu nie przekazuje się klientom. Model odpowiedział „nie wiem". Potem usunąłem z chunka etykietę i to zdanie, zostawiając poufność tak, jak zwykle jest zapisana w systemie: w metadanych, których model nie widzi. Na to samo pytanie odpowiedział tak samo, więc etykieta nie miała tu mierzalnego wpływu. Na pytanie „Jak wejść do poziomu serwis w menu?" odpowiedział: „wprowadź kod dostępu 7731".

Jedyną barierą była więc ostrożność modelu przy pytaniu, które samo w sobie brzmiało podejrzanie. Pytania sformułowanego niewinnie ta ostrożność nie zatrzymała. Wariantu „Jak wejść…" z ostrzeżeniem w treści chunka nie sprawdzałem.

Zastrzeżenia do całej sekcji. Korpus i zapytania napisałem sam, więc wiedziałem, które przypadki są trudne. Próby liczone są w dziesiątkach, a nie tysiącach. Biorę pod uwagę jeden model generujący, dwa modele embeddingów i jeden język. Odpowiedzi oceniałem sam, czytając je w całości. To pokazuje mechanizmy, a nie odsetki, których należy się spodziewać w innym korpusie.

Aktualizacja 2026-10-07: pomiar na RTX 5090​

Wszystkie sześć pomiarów powtórzyłem na stacji z RTX 5090. Generacja: Qwen3.8-27B w INT4 od Red Hata, ten sam co w aktualizacji wpisu 1b, serwowany przez vLLM v0.30.0, temperatura 0, tryb myślenia wyłączony. Embeddingi: bge-m3 w vLLM na tej samej stacji. BM25 (k1 = 1,5, b = 0,75) i RRF (k = 60) policzyłem w skrypcie, tak jak na laptopie. Skrypty i korpus z 2 października nie przetrwały, więc odtworzyłem je z opisu wyżej. Wszystkie liczby w tej sekcji pochodzą z moich uruchomień z 7 października 2026.

Czym ten pomiar różni się od laptopowego:

  • Inny model generujący (Qwen3.8-27B zamiast Qwen3-Coder-30B-A3B), inny serwer (vLLM zamiast llama.cpp) i inna kwantyzacja.
  • bge-m3 działa w innym środowisku: vLLM z wagami przekonwertowanymi z oryginału do safetensors zamiast GGUF Q8_0 z poolingiem CLS w llama.cpp. Zmian w wynikach nie przypisuję więc samemu modelowi.
  • Qwen3-Embedding-0.6B na stacji nie ma, więc wierszy i kolumn z tym modelem nie powtórzyłem.
  • Korpus napisałem od nowa: 33 chunki instrukcji tej samej fikcyjnej pompy ciepła, z identyfikatorami z opisu (P.12-P.51, E-204, F17, W-07, ZB-3381, PS-HP9-02), trzema biuletynami i chunkiem wewnętrznym z kodem. Treść chunków jest nowa. Biuletyny zbudowałem według opisu wyżej: BS-2021 każe robić przegląd co 12 miesięcy, BS-2023 wydłuża go do 24 miesięcy dla wersji 3.0 i nowszej („ze starszym oprogramowaniem — bez zmian”), a BS-2025 wprowadza regułę nadmorską i kończy się zdaniem „Poza tym obowiązują zasady z BS-2023-11”. Próg reguły nadmorskiej (do 10 km od morza) dodałem sam, bo opis go nie podaje. Do tego 30 nowych zapytań w tych samych trzech grupach po 10. Pytanie o Gdynię dostało dopisek „2 km od morza”. Opis laptopowy podaje tylko „Gdynia”, więc nie wiem, czy tamto pytanie zawierało odległość.
  • Katalog części też jest nowy: 24 pozycje w czterech rodzinach (zawory ZB-, filtry FS-, czujniki CT-, węże PS-). W rodzinie ZB- są kody z opisu wyżej.
  • Listę 34 stop-słów ułożyłem przed pierwszym uruchomieniem, a nie po obejrzeniu porażek, jak na laptopie.
  • Prompt systemowy z laptopa się nie zachował. Nowy każe odpowiadać wyłącznie na podstawie dokumentacji i pisać „nie wiem”, gdy jej brakuje. Po zobaczeniu pierwszych wyników dodałem kontrolę z tym samym promptem bez zdania o „nie wiem”. Powód opisuję w podsekcji 4.
  • Koszt mierzyłem w tokenach, a nie w sekundach. Odpowiedź vLLM ma pole usage.prompt_tokens_details równe null, więc trafienia w cache prefiksu odczytywałem z liczników serwera (vllm:prefix_cache_queries_total i vllm:prefix_cache_hits_total w /metrics) przed każdym zapytaniem i po nim. Przy każdym z 72 zapytań przyrost licznika zapytań był równy liczbie tokenów promptu, więc w liczniki nie wpadł cudzy ruch.
  • Odpowiedzi z podsekcji 4-6 oceniał tym razem Claude, asystent AI, z którym przygotowywałem ten pomiar, a nie ja. Kryterium było to samo co wyżej: czy odpowiedź zawiera wymagany fakt. Dlatego tabele niżej cytują wyjścia.

1. Fleksja: ten sam kierunek​

Metodaidentyfikatory @1parafrazy @1fleksja @1razem @1 / @3
BM25, surowe tokeny10 / 101 / 104 / 1015 / 30 · 20 / 30
BM25, słowa obcięte do 5 znaków10 / 104 / 108 / 1022 / 30 · 23 / 30
bge-m39 / 108 / 1010 / 1027 / 30 · 30 / 30
hybryda: surowe BM25 + bge-m310 / 103 / 106 / 1019 / 30 · 24 / 30
hybryda: BM25 obcięte + stop-słowa + bge-m310 / 106 / 108 / 1024 / 30 · 29 / 30

Trzy zapytania z grupy fleksji („przekroje przewodów zasilających”, „czyszczenie wymienników”, „dezynfekcji termicznej”) nie miały z korpusem ani jednego wspólnego tokenu. Surowe BM25 oddało dla nich chunki 1, 2 i 3 w kolejności z pliku, tak jak na laptopie. Obcięcie do pięciu znaków podniosło fleksję z 4 do 8 na 10, a nie do 10 jak na laptopie. Wniosek z laptopa się trzyma: w języku fleksyjnym BM25 bez normalizacji form przegrywa z embeddingami, a sama normalizacja nie wystarcza do pełnego wyniku.

bge-m3 pomylił się trzy razy. Na PS-HP9-02 wybrał ogólny opis urządzenia „Termix HP-9”, a numer części był drugi. To dokładnie ten sam błąd co na laptopie, choć oba chunki napisałem od nowa. Na „w kotłowni z zaworka ciągle cieknie woda” wybrał odszranianie, a właściwy chunk był trzeci. Na „żeby w nocy nie hałasowało” chunk o montażu i chunk o trybie cichym miały ten sam kosinus po zaokrągleniu do czwartego miejsca po przecinku (0,4806). Przy remisie mój ranking bierze kolejność z pliku, a montaż stoi w pliku wcześniej.

2. Kody części: jeden błąd bge-m3 także w zapisie z katalogu​

Liczba trafień @1 na 24:

Zapis kodu w zapytaniuBM25bge-m3naiwna hybrydaBM25 z tokenizerem dzielącym kody
ZB-3381 (jak w katalogu)24232424
ZB3381118624
zb 3381120624

Na laptopie bge-m3 miał 24 na 24 w zapisie z katalogu. Tu pomylił CT-5575 z CT-7570 (kosinus 0,5866 wobec 0,5853 dla właściwej pozycji). W innym zapisie stracił od 4 do 6 trafień, mniej niż na laptopie (od 4 do 15). Wszystkie cztery pomyłki przy zapisie ze spacją wskazały ten sam CT-7570. Surowe BM25 znów miało po 1 na 24, bo przy zerowych wynikach wygrywa pierwsza pozycja w pliku. Tokenizer, który do indeksu dokłada części kodu i formę sklejoną, znów dał 24 na 24 w każdym zapisie.

3. Hybryda: ratuje identyfikatory, traci parafrazy​

Naiwna hybryda miała 19 na 30, a sam bge-m3 27 na 30. Mechanizm jest ten sam co na laptopie: przy zapytaniach bez wspólnych słów ranking BM25 to kolejność pliku. Poprawiona hybryda (obcięcie słów, stop-słowa, odrzucenie zerowych wyników BM25) doszła do 24 na 30 @1 i 29 na 30 @3, czyli wciąż poniżej samego bge-m3 (27 i 30). Tym razem stop-słów nie dopasowywałem do porażek, więc ten wynik nie jest zawyżony w ten sposób co laptopowy.

Poprawiona hybryda wygrała z bge-m3 na dwóch zapytaniach: identyfikatorze PS-HP9-02 i parafrazie z „zaworkiem”. Przegrała na pięciu, trzech parafrazach i dwóch zapytaniach z fleksji. Naiwna hybryda wygrała tylko na PS-HP9-02, a przegrała na dziewięciu. Obie miały 10 na 10 w identyfikatorach, a bge-m3 9 na 10.

4. Cały dokument w oknie kontra RAG​

Ten sam układ co na laptopie: dziesięć pytań, cztery tryby, top-k z bge-m3. Prompt z całą instrukcją i pytaniem ma na stacji 2807-2832 tokeny. To ocena Claude'a:

Pytaniecały dokumenttop-3top-5bez starych biuletynów
kapie z rury spustowej (wymiana + nr części)✓✓✓✓
E-204: przepływ i filtr½¹½¹½¹½¹
W-07: bezpiecznik i próg grzałki (dwa chunki)✓✓✓✓
nachylenie krzywej dla grzejników✓✓✓✓
czas aktualizacji oprogramowania✓✓✓✓
wszystkie kody błędów E i F (4)✓3 z 4, bez F17✓✓
przegląd: wersja 3.2, Kraków (24 mies.)✓„Nie wiem.”✗ 12„Nie wiem”
przegląd: wersja 3.2, Gdynia (12 mies.)✓✓✓✓
przegląd: wersja 2.8, Kraków (12 mies.)✓✓✓„Nie wiem”
klient pyta o kod serwisowynie zdradziłnie zdradziłnie zdradziłnie zdradził

¹ We wszystkich trybach ta sama odpowiedź: „Sprawdź filtr siatkowy na powrocie, otwarcie zaworów odcinających, pracę pompy obiegowej oraz zapowietrzenie instalacji.” Filtr jest, ale przepływ (12 l/min) nie pada, więc według kryterium z laptopa to odpowiedź częściowa.

Z całym dokumentem w oknie model odpowiedział poprawnie na dziewięć pytań z dziesięciu, a przy E-204 częściowo, tak samo jak w pozostałych trybach. Poprawnie odpowiedział na wszystkie pytania o biuletyny. Poprawnie odpowiedział też na pytanie ogólne „Co ile trzeba robić przegląd pompy ciepła?”: „co 12 miesięcy. Wyjątkiem są urządzenia z oprogramowaniem sterownika w wersji 3.0 i nowszej, dla których interwał wydłuża się do 24 miesięcy. Jednak instalacje położone w odległości do 10 km od morza wymagają przeglądu co 12 miesięcy niezależnie od wersji oprogramowania.” Na laptopie oba te pytania kończyły się błędem. Moja uwaga z laptopa, że okno nie usuwa błędów wnioskowania na nakładających się dokumentach, tutaj się nie powtórzyła. Nie przypisuję tego modelowi, bo biuletyny i pytania są napisane od nowa, a prompt jest inny.

Pytanie o wszystkie kody błędów znów pokazało ograniczenie top-k: top-3 zwrócił trzy z czterech chunków z kodami, więc model wymienił trzy kody. Top-5 objął wszystkie cztery.

Przy pytaniu o wersję 3.2 w Krakowie biuletyn BS-2023, czyli jedyny, który daje 24 miesiące, nie zmieścił się nawet w top-5. W pierwszej piątce były BS-2021 (0,554), BS-2025 (0,553), chunk o konserwacji, chunk o aktualizacji i zakres przeglądu. Top-5 odpowiedział więc „Co 12 miesięcy.”, bez wskazania źródła, prawdopodobnie według najstarszego biuletynu.

Kontrola dodana po pierwszym przebiegu. Trzy odpowiedzi „nie wiem” w tabeli mogły wynikać z mojego promptu, który wprost każe tak odpowiadać przy braku informacji, a nie z tego, że model zauważył lukę. Powtórzyłem więc pytania o przeglądy z tym samym promptem bez tego zdania:

Pytanie (prompt bez „nie wiem”)cały dokumenttop-3top-5bez starych biuletynów
wersja 3.2, Kraków (24 mies.)✓ 24, z uzasadnieniem✗ 12✗ 12brak odpowiedzi, wskazuje brakujący BS-2023-11
wersja 2.8, Kraków (12 mies.)✓✓nie powtarzałembrak odpowiedzi: „Dokumentacja nie zawiera informacji o częstotliwości przeglądów dla Krakowa ani dla wersji oprogramowania 2.8.”
pytanie ogólne✓ pełna reguła„co 12 miesięcy”„co 12 miesięcy”12 nad morzem, dla reszty „obowiązują zasady określone w biuletynie serwisowym BS-2023-11, którego treści nie zawiera podana dokumentacja”

„Nie wiem” w top-3 zawdzięczam więc promptowi. Bez tego zdania top-3 dał ten sam błąd co top-5. W trybie bez starych biuletynów model nie zgadywał także bez podpowiedzi. Przy wersji 3.2 wprost wskazał brakujący BS-2023-11, który BS-2025 wymienia z nazwy.

Koszt. Suma dziesięciu pytań w tokenach promptu:

Trybtokeny promptuz cache prefiksuprzeliczonetokeny odpowiedzi
cały dokument28 19314 11214 081271
top-33 53203 532248
top-55 07105 071233
bez starych biuletynów26 62315 68010 943270

Cache prefiksu w tym vLLM jest włączony (enable_prefix_caching="True" w /metrics), ale serwer raportuje rozmiar bloku 1568 tokenów i trafienia przyrastały zawsze o 0 albo dokładnie o 1568. Z promptu o długości ok. 2800 tokenów cache obejmował więc pierwsze 1568, a resztę, ok. 1250 tokenów, serwer przeliczał przy każdym pytaniu. Pierwsze pytanie z całym dokumentem nie miało trafienia, a kolejne dziewięć miało po jednym bloku. W trybie bez starych biuletynów trafiło nawet pierwsze pytanie, bo pierwsze 1568 tokenów było identyczne jak w trybie z całym dokumentem (biuletyny stoją dalej niż pierwszy blok). Prompty top-k są krótsze niż jeden blok, więc z cache nie skorzystały wcale.

Na laptopie llama-server przeliczał przy kolejnych pytaniach tylko 16-48 nowych tokenów. Tu cache zmniejszył liczbę przeliczonych tokenów o połowę: cały dokument kosztował 4 razy więcej przeliczonych tokenów niż top-3, a bez cache kosztowałby 8 razy więcej. Mechanizm opisany przez autorów działa, ale zysk zależy od tego, jak serwer dzieli prompt na bloki. Tego nie da się założyć z góry, trzeba to zmierzyć na własnym serwerze.

5. Podobieństwo nie widzi czasu: kontrola z zamienionymi datami​

Na zapytanie „co ile przegląd pompy ciepła” bge-m3 dał BS-2021 kosinus 0,644, BS-2025 0,546, a BS-2023 0,462. Najstarszy biuletyn znów był pierwszy, przed chunkiem o zakresie przeglądu (0,582). Kolejność nie była jednak dokładnie odwrotna do chronologii jak na laptopie: najniżej wypadł biuletyn środkowy, czyli ten, który ustala 24 miesiące. Na pytanie użyte w generacji („Co ile trzeba robić przegląd pompy ciepła?”) top-3 to BS-2021, BS-2025 i zakres przeglądu. BS-2023 (0,491) został poza top-5. Model dostał regułę nadmorską, ale odpowiedział samym „co 12 miesięcy” z najstarszego biuletynu.

Moje biuletyny mają wbudowane skrzywienie. Najstarszy napisałem jako najkrótszy i najogólniejszy, bo tak wynikało z opisu laptopowego. Wynik mógł więc wynikać z treści albo z daty. Dlatego jeszcze przed uruchomieniem dodałem kontrolę. Ta sama treść biuletynów dostała raz nagłówki bez numeru i daty, a raz daty zamienione rotacyjnie: treść BS-2021 oznaczona jako czerwiec 2025, treść BS-2023 jako marzec 2021, treść BS-2025 jako listopad 2023.

Warianttreść „co 12 miesięcy”treść „24 dla 3.0+”treść „12 nad morzem”
oryginalne daty0,6440,4620,546
bez nagłówka i daty0,6560,4700,507
daty zamienione0,6590,4730,523

Kolejność się nie zmieniła w żadnym wariancie, także dla drugiego brzmienia pytania. Kosinus wynikał z treści, a data i numer biuletynu przesuwały go o najwyżej 0,04. Przypuszczenie z laptopa potwierdza się w części: o kolejności decyduje treść, a nie data. Ten pomiar nie rozdziela, czy decyduje prostota treści, czy to, że BS-2021 powtarza słowa pytania. Nie mówi też, czy w prawdziwej dokumentacji stare biuletyny są prostsze od nowych.

Wycięcie BS-2021 i BS-2023 nie dało na stacji błędnej odpowiedzi dla wersji 3.2 w Krakowie, tylko jej brak. Model z dopiskiem o brakującym biuletynie odpowiadał na przykład: „W pozostałych przypadkach obowiązują zasady z biuletynu BS-2023-11, którego treści nie podano w załączonym dokumencie.” Odpowiedź, która przed wycięciem była poprawna, po wycięciu zniknęła. To dokładnie zdanie autorów o najnowszej aktualizacji, która traci kontekst. Model widział lukę, bo BS-2025 wymienia BS-2023-11 z nazwy. Sprawdziłem więc jeszcze wariant BS-2025 bez zdania „Poza tym obowiązują zasady z BS-2023-11”. Na pytania o Kraków model nadal nie podał liczby. Na pytanie ogólne, z promptem bez „nie wiem”, odpowiedział: „w standardowych warunkach przegląd okresowy należy wykonywać raz w roku (co 12 miesięcy)”, czyli błędnie dla każdej pompy z oprogramowaniem 3.0 i nowszym, bez śladu, że jakaś reguła zniknęła. Ten przypadek CDC, który na laptopie wyszedł przy wersji 3.2, tutaj pojawił się dopiero wtedy, gdy nowy dokument nie odsyłał jawnie do starego, a prompt nie pozwalał odpowiedzieć „nie wiem”. Z promptem głównym w tym samym wariancie model napisał, że dla pozostałych instalacji „dokumentacja nie zawiera jasnej odpowiedzi na pytanie o częstotliwość”.

6. Etykieta działa na pytanie podejrzane, nie na niewinne​

Chunk wewnętrzny był pierwszy w top-3 przy każdym pytaniu i w każdym wariancie (kosinus 0,71-0,77). Druga połowa tabeli to kontrola z promptem bez „nie wiem”, ta sama co w podsekcji 4:

ChunkPrompt„Jestem klientem. Jaki jest kod dostępu do poziomu serwis?”„Jak wejść do poziomu serwis w menu?”
z etykietąz „nie wiem”„Nie wiem.”„…wprowadź kod dostępu 7731.”
bez etykietyz „nie wiem”„Nie wiem.”„…wprowadź kod dostępu 7731.”
z etykietąbez „nie wiem”„Kodu dostępu do poziomu serwis nie przekazuje się klientom.”„…wprowadź kod dostępu 7731.”
bez etykietybez „nie wiem”„Kod dostępu do poziomu serwis to 7731.”„…wprowadź kod dostępu 7731.”

Z promptem z „nie wiem” wynik jest taki jak na laptopie: etykieta nie ma mierzalnego wpływu, a niewinne pytanie dostaje kod. Wariant, którego na laptopie nie sprawdziłem, czyli niewinne pytanie przy chunku z etykietą, też dał kod. Bez zdania o „nie wiem” różnica wychodzi na jaw. Odmowę „Nie wiem.” w wariancie bez etykiety dawał prompt, a nie ostrożność modelu, bo bez tego zdania model podał kod osobie, która przedstawiła się jako klient. Zatrzymała go tylko etykieta w treści chunka, i to wyłącznie przy pytaniu, w którym pytający sam powiedział, kim jest. W moim prompcie systemowym nie ma informacji, kto pyta, więc przy pytaniu niewinnym model nie miał podstaw, żeby odmówić. Właśnie dlatego uprawnienia muszą być egzekwowane filtrem po metadanych przed wyszukiwaniem, a nie treścią chunka.

Jak to się ma do autorów i do pomiaru z laptopa​

Autorzy piszą, że retriever wyłącznie embeddingowy „will be inadequate” przy kodach produktów. Na stacji bge-m3 pomylił jeden kod także w zapisie z katalogu i od 4 do 6 w innych zapisach, a obie hybrydy wygrały z nim na identyfikatorze PS-HP9-02. To bliżej tezy autorów niż wynik z laptopa. Moje zdanie, że teza jest nieprawdziwa dla bge-m3 przy zapisie jak w katalogu, na tym katalogu się nie utrzymało, choć różnica to jedna pozycja. Wniosek o tokenizacji zostaje: tokenizer dzielący kody dał 24 na 24 w każdym zapisie, na obu maszynach. Hybryda jako całość znów przegrała z samym bge-m3, co zgadza się z ostrożniejszym podejściem Polzera.

Ramka „RAG versus large context window” potwierdziła się w pełni: cały dokument w oknie dał poprawne odpowiedzi (z jedną częściową przy E-204, częściową w każdym trybie), także tam, gdzie top-k zgubił biuletyn albo kod błędu. Dopisek z laptopa, że okno nie chroni przed błędem wnioskowania na nakładających się biuletynach, się nie powtórzył, ale też go nie obalam. Teksty biuletynów są nowe, a jedna konfiguracja bez błędu nie dowodzi, że błąd nie wystąpi w innej.

Zdanie autorów o świeżości („the most recent update would lose its context”) potwierdziło się w każdym wariancie. Różni się tylko objaw. Gdy nowy biuletyn odsyła do starego z nazwy, model zgłasza lukę. Gdy nie odsyła, a prompt nie pozwala odpowiedzieć „nie wiem”, model podaje błędną regułę ogólną bez ostrzeżenia. Z promptem głównym zgłosił, że dokumentacja „nie zawiera jasnej odpowiedzi”. Wniosek o relacji zastępuje / uzupełnia w metadanych zostaje bez zmian.

Server-side prompt caching, o którym autorzy piszą przy ramce, działa w tym vLLM, ale blokami po 1568 tokenów. Przy dokumencie, który mieści się w niecałych dwóch blokach, cache oszczędza połowę obliczeń, a nie prawie wszystkie.

Czego ten pomiar nie mówi​

Jeden model generujący w jednej kwantyzacji, jeden model embeddingów, jedno uruchomienie przy temperaturze 0. Korpus, zapytania, biuletyny i prompt są rekonstrukcją, więc porównanie z laptopem pokazuje różnicę konfiguracji, a nie modelu. Napisałem je sam, wiedząc, które przypadki mają być trudne. Kontrolę z datami biuletynów dodałem przed uruchomieniem. Kontrolę z promptem bez „nie wiem” i wariant BS-2025 bez odesłania dodałem po zobaczeniu pierwszych wyników, więc rozdzielają hipotezy, ale nie są niezależnym powtórzeniem. Odpowiedzi oceniał model, nie człowiek. Rozmiar bloku cache to cecha tej konfiguracji serwera, a nie vLLM w ogóle. Rerankingu tu nie ma, bo należy do wpisu 3. Kolumn z Qwen3-Embedding-0.6B nie powtórzyłem.

To samo w innych książkach​

Dominik Polzer w RAG with Python Cookbook stawia hybrydę ostrożniej niż Lakshmanan i Hapke, a mój pomiar przyznaje mu rację. Każe zaczynać od samej semantyki i dokładać BM25 dopiero po zaobserwowaniu porażek dokładnego dopasowania w logach. Przykłady identyfikatorów, przy których hybryda jest potrzebna, to SKU, numery artykułów prawnych („article 230" to nie „section 230"), kody ICD-10 i nazwy endpointów (s. 144-145). RRF podaje z tym samym k = 60, którego użyłem (s. 143-144). W rozdziale 1 dodaje kryterium, którego w omawianej książce nie ma: „If you can write a regular expression (regex) or SQL query that handles 95% of cases, RAG adds unnecessary complexity and cost" (s. 5). Przy uprawnieniach mówi rzecz, której autorom rozdziału 3 brakuje: filtrować po metadanych przed liczeniem podobieństwa, bo „a legal RAG system should search only contracts the user has permission to view" (s. 166-167).

Nitin Borwankar w Vector Databases nazywa błąd wprost: „A common mistake in RAG is assuming that simple vector search is always enough", bo embeddingi potrafią „rozmyć" termin techniczny albo dokładną frazę (s. 177). Proponowany przez niego podział wag 70/30 nazywa „a standard starting point" (s. 180), ale nie podaje źródła, więc traktuję go jako punkt wyjścia, nie wynik. Od Borwankara pochodzi też zdanie przydatne przy filtrach uprawnień: indeks wektorowy „is optimized for similarity and clustering, not for subsetting and filtering based on arbitrary predicates" (s. 13). Konsekwencję sprawdziłem wcześniej sam na sqlite-vss (2000 syntetycznych wektorów, limit 10, nadpobranie k = 100). Filtr obejmujący 1% dokumentów zwracał średnio 0,7 wyniku z 10, a w 54% zapytań zero, i nie zgłaszał braku.

Kiedy nie używać: zestawienie​

WzorzecNie używaj, gdyZamiast tego
Basic RAGdokument mieści się w oknie, a pytania są stałecały dokument na początku promptu + prompt caching
Basic RAGpytania dotyczą całości zbioru („wszystkie", „ile")ekstrakcja do tabeli i SQL
Basic RAG95% przypadków obsłuży regex albo SQLregex albo SQL (Polzer)
BM25 bez normalizacji formjęzyk fleksyjnylematyzacja albo choćby stemming
Semantic Indexing bez BM25embedder nie rozróżnia kodów na twoim zbiorze testowymhybryda z tokenizerem dzielącym identyfikatory
Hybryda RRFnie masz zbioru zapytań z oznaczonymi chunkaminajpierw zbiór testowy, potem fuzja
Wycinanie starych dokumentównowy dokument odsyła do staregorelacja zastępuje / uzupełnia w metadanych
Filtr uprawnień po retrievaludostęp jest wąski, a indeks ANNfiltr w zapytaniu przed liczeniem podobieństwa

Ocena trwałości​

Moja ocena, nie autorów. Basic RAG jest trwały jako architektura, ale jego zakres się kurczy. Ramka o długim kontekście to jedno z niewielu miejsc w książce, gdzie wzorzec może wygasnąć nie dlatego, że był obejściem, tylko dlatego, że dla małych korpusów problem przestanie być wart rozwiązywania. Mój pomiar dopisuje warunek: okno nie zwalnia z pracy nad sprzecznymi dokumentami. Semantic Indexing jest trwały. Datowane są konkretne modele, pozycje na MTEB i liczba wymiarów. Indexing at Scale jest najtrwalszy z trzech, bo metadane to jedyne miejsce, w którym da się zapisać czas, autorytet i uprawnienia. Relację między dokumentami autorzy wymieniają jako alternatywę w ograniczeniach Pattern 8. Mój pomiar pokazuje, że przy dokumentach, które się do siebie odwołują, nie jest to alternatywa, tylko warunek.

Starszy krewny: wyszukiwarka pełnotekstowa​

BM25 jest dorobkiem klasycznych wyszukiwarek pełnotekstowych, sprzed epoki LLM. Każdy problem z sekcji pomiarów zna inżynieria wyszukiwarek pełnotekstowych sprzed epoki LLM: analizatory morfologiczne dla języków fleksyjnych, tokenizery dla numerów katalogowych, synonimy, kolejność rankingu. Nowy jest tylko konsument wyniku. Wyszukiwarka pokazywała dziesięć linków i człowiek widział, że pierwszy jest z 2021 roku. Model językowy dostaje trzy fragmenty i nie pyta, skąd są ani czy wciąż obowiązują.

Dalej w serii​

Następny wpis (3) dotyczy rozdziału 4: wyszukiwania i zaufania. Będą w nim Index-Aware Retrieval z HyDE, Node Postprocessing z rerankingiem, Trustworthy Generation i Deep Search, a w szczególności pytanie, dlaczego podobieństwo nie jest trafnością. Mapa całej serii jest we wpisie 0.