Generative AI Design Patterns #3: HyDE, reranking, Trustworthy Generation i Deep Search, czyli podobieństwo to nie trafność
Rozdział 4 „Generative AI Design Patterns" dokłada do RAG-a cztery wzorce: przepisywanie zapytania (w tym HyDE), przetwarzanie pobranych fragmentów z rerankingiem, sygnalizowanie wiarygodności odpowiedzi i iteracyjne wyszukiwanie. Sprawdziłem wszystkie cztery na fikcyjnej polskiej instrukcji serwisowej i lokalnych modelach. Najmocniej potwierdziło się zastrzeżenie, które autorzy sami stawiają przy HyDE: w domenie, której model nie zna, hipotetyczna odpowiedź jest zmyślona, a wyszukiwanie po niej trafiło właściwy fragment w 10 przypadkach na 20 zamiast w 17. Reranking poprawił kolejność, ale lepszy okazał się wolny sędzia-LLM niż wyspecjalizowany reranker. Pętla Deep Search z promptem z książki w trzech pytaniach na pięć kończyła pracę po pierwszym kroku z odpowiedzią niepełną, bo jej ewaluator uznawał „brakuje informacji" za odpowiedź kompletną.
Powtórzyłem wszystkie cztery pomiary na stacji z RTX 5090 (Qwen3.8-27B, bge-m3 i bge-reranker-v2-m3 w vLLM) na odtworzonym korpusie. Liczby z laptopa zostały bez zmian, bo opisują to, co zmierzyłem 5 października. Nowe wyniki są w sekcji Aktualizacja 2026-10-07: pomiar na RTX 5090. Dwie tezy z leadu się nie powtórzyły. Pętla Deep Search z promptem z książki dała poprawny numer części w pięciu pytaniach na pięć, a jej ewaluator wykrył lukę we wszystkich odpowiedziach z „brakuje”. Wyspecjalizowany reranker nie poprawił kolejności, tylko utrzymał wynik bge-m3 (18 na 20). Powtórzyły się dwie: sędzia-LLM znów ustawił właściwy fragment na pierwszym miejscu w 20 pytaniach na 20, a HyDE znów zmyślał znaczenia kodów i obniżył trafienia, tym razem z 18 do 13 na 20. Nowa obserwacja: ewaluator z książki przy pustej liście poprzednich podzapytań zgłaszał lukę także w odpowiedziach kompletnych.
To piąty wpis serii o książce Valliappy Lakshmanana i Hannesa Hapkego. Recenzja i mapa serii są we wpisie 0, poprzedni wpis dotyczył fundamentów RAG.
Teza
Rozdział 3 budował RAG, w którym wszystko psuje się przed modelem. Rozdział 4 próbuje to naprawić i robi to w dużej części samym modelem: model przepisuje zapytanie, model ocenia trafność fragmentu, model decyduje, czego jeszcze brakuje. Każda z tych napraw wnosi do potoku dokładnie te słabości, przed którymi RAG miał chronić.
Moja teza ma trzy części. Podobieństwo nie jest trafnością, a reranker widzi różnicę, której embedding nie widzi, ale płaci się za to w czasie zapytania. HyDE i rozwinięcie zapytania korzystają z wiedzy modelu, więc tam, gdzie RAG jest najbardziej potrzebny, czyli w domenie modelowi obcej, dopasowują fragmenty do halucynacji. Sygnał „nie wiem" trzeba wyprodukować poza modelem generującym, a pętla wyszukiwania jest dokładnie tak dobra jak jej ewaluator.
Pattern 9: Index-Aware Retrieval
Problem. Założenie „pytanie jest podobne do odpowiedzi" zawodzi w czterech sytuacjach: pytania nie ma w bazie, baza mówi innym językiem niż użytkownik, odpowiedź jest drobnym szczegółem w chunku, którego jeden wektor nie reprezentuje, albo wymaga złożenia kilku chunków (rozdz. 4, Pattern 9).
Rozwiązanie. Cztery komponenty. HyDE (hypothetical document embedding): model pisze hipotetyczną odpowiedź bez dostępu do bazy, a wyszukuje się fragmenty podobne do niej, a nie do pytania. Query expansion: model rozwija zapytanie o terminologię bazy. Hybrid search: ważona suma BM25 i wektorów, w LlamaIndex przez parametr alpha (0,0 to czyste BM25, 1,0 czysty wektor). GraphRAG: dokumenty w bazie grafowej, z której po znalezieniu częściowej odpowiedzi dociąga się powiązane węzły (rozdz. 4, Pattern 9).
Najważniejsze zdanie wzorca autorzy umieścili w ograniczeniach. Hipotetyczna odpowiedź i rozwinięcie zapytania powstają z wiedzy, którą model już ma. Gdy RAG działa w domenie, której model nie zna, mogą zawierać „hallucinated, obsolete, or irrelevant data", a wtedy „one of the key benefits of RAG—that answers are grounded in the text—could be lost". Halucynacje dotyczą domeny, której model nie zna. Jako przykład danych nieistotnych autorzy podają pytanie „What patterns is Alexander best known for?", na które model napisze o wzorcach architektonicznych Christophera Alexandra, a nie o falandze Aleksandra Wielkiego (rozdz. 4, Pattern 9). Nie znalazłem w książce drugiego miejsca, w którym wzorzec wprost odbiera właściwość, dla której sięgnęło się po całą technikę.
Pattern 10: Node Postprocessing
Problem. Autorzy otwierają go nagłówkiem „Similarity is not relevance". Przy RAG-u na podręczniku geologii pytanie o geologię Wielkiego Kanionu zwróciło na pierwszej pozycji spis treści, bo był pełen terminów geologicznych. Drugi fragment opisywał płaskowyż, na którym leży kanion, więc odpowiedź mówiła o stopniach szerokich na „a score or more miles", czyli ponad 20 mil, choć kanion ma średnio 10. Zwiększenie top_k z 2 do 4 dało tę samą błędną odpowiedź (rozdz. 4, Pattern 10). Do tego dochodzą zbędna treść wewnątrz trafnego chunka, dwuznaczne encje (dwa Wielkie Kaniony) i treści nieaktualne.
Rozwiązanie. Krok między wyszukiwaniem a generacją. Jego rdzeniem jest reranking: model dostaje parę zapytanie-fragment i zwraca ocenę od 0 do 1. Uzasadnienie autorów jest strukturalne: „an embedding model has to compress all the information in the chunk into a single embedding vector", a reranker ogląda fragment w całości. Autorzy wskazują wyspecjalizowane modele, na przykład bge-reranker-v2-m3, którego użyłem w pomiarach (rozdz. 4, Pattern 10).
Na tym samym kroku autorzy wieszają kontekstową kompresję fragmentów, filtr nieaktualnych wersji po metadanych, dezambiguację i personalizację. Rachunek złożoności jest wart zapamiętania: wykrycie sprzeczności wymaga porównania par, czyli N * (N-1) wywołań, co autorzy uznają za „cost prohibitive", a dezambiguacja tylko N - 1, bo wystarczy porównać kolejne fragmenty z pierwszym (rozdz. 4, Pattern 10). Dlatego sprzeczności rozstrzyga się metadanymi, a nie czytaniem, co we wpisie 2 potwierdziło się po stronie czytania: model z całym dokumentem pomylił łańcuch biuletynów, a samo wycięcie starszych też nie pomogło.
Pattern 11: Trustworthy Generation
Problem. Autorzy piszą wprost: „There is, currently, no way to completely avoid these issues". Chodzi o awarie wyszukiwania, niewiarygodny kontekst, błędy rozumowania i halucynacje. Celem nie jest więc usunięcie błędu, tylko oszacowanie wiarygodności i przekazanie jej użytkownikowi, który decyduje, czy działać (rozdz. 4, Pattern 11).
Rozwiązanie. Najciekawszy element to out-of-domain detection, czyli odmowa zbudowana poza modelem generującym. Trzy sygnały: odległość embeddingu zapytania od fragmentów (autorzy obiecują „a steep drop in similarity scores", z progiem zależnym od domeny), klasyfikacja zero-shot małym modelem i wymóg terminologii domenowej. Zalecenie to ważona suma sygnałów (rozdz. 4, Pattern 11).
Dalej trzy poziomy cytowania: z metadanych pobranych fragmentów (prosty, ale cytuje za dużo), przez klasyfikator twierdzeń wymagających źródła i przez atrybucję na poziomie tokenów, o której autorzy piszą: „No production-ready open source implementation has yet emerged". Gdy klasyfikator uzna, że zdanie wymaga źródła, a źródła nie ma, w odpowiedzi ląduje [Citation needed]. Do tego dwie pętle korekcyjne: CRAG ocenia jakość pobranych fragmentów przed generacją, a self-RAG krytykuje własny wynik (rozdz. 4, Pattern 11).
Ograniczenia autorzy wyliczają bez upiększania: zbyt ostre zabezpieczenia wycinają wartościową treść, weryfikacja przez człowieka „only scale[s] so far", a rosnąca baza „can also produce more false positives over time as conflicting information is added to them" (rozdz. 4, Pattern 11).
Pattern 12: Deep Search
Problem. Okno kontekstu, niejednoznaczność, nieświeżość, płytkie rozumowanie i zapytania wieloskokowe, w których wynik pierwszego wyszukiwania jest dopiero podstawą do sformułowania drugiego (rozdz. 4, Pattern 12).
Rozwiązanie. Pętla: wyszukaj, pomyśl, czego brakuje, wyszukaj ponownie, aż odpowiedź będzie dość dobra albo skończy się budżet. Rada autorów jest nieoczywista: nie zaczynać od dekompozycji złożonego pytania, tylko od odpowiedzi na prostsze i iteracyjnie zasypywać luki. Krok szukania luk to zwykły prompt: „Determine whether there is a logical or information gap … If there is a gap, provide a list of up to 3 search queries to fill in the gap". Autorzy podkreślają, że jakość odpowiedzi jest „directly tied to how well you can evaluate the iterations", i zalecają gotowy framework (Ragas) zamiast własnej metryki (rozdz. 4, Pattern 12).
Główną wadę nazywają jednym zdaniem: „the overall system is very slow". Łagodzi się ją zrównolegleniem podzapytań i wcześniejszym przerywaniem pętli (rozdz. 4, Pattern 12).
Sprawdziłem to po polsku na lokalnych modelach
Środowisko jak w poprzednich wpisach: ThinkPad L16 Gen 2, sam CPU, llama.cpp b6153 z pakietu Fedory. Embeddingi: bge-m3 (Q8_0, pooling CLS). Reranker: bge-reranker-v2-m3 (Q8_0). Generacja i sędzia: Qwen3-Coder-30B-A3B-Instruct (UD-Q3_K_XL), temperatura 0. Wszystkie liczby z tej sekcji pochodzą z moich uruchomień z 5 października 2026.
Korpus jest nowy i znów fikcyjny: 34 chunki instrukcji serwisowej pompy ciepła „Aeron HP-9" po polsku. Fikcyjność jest tu warunkiem testu, bo model nie może znać znaczenia kodu E-204 ani numeru części ZB-3381 z pretreningu. Sześć chunków to celowe dystraktory w duchu spisu treści z książki: spis treści, wstęp, słowniczek, historia zmian dokumentu, tekst marketingowy i zapowiedź FAQ. Pełno w nich słów z pytań, a odpowiedzi nie ma w żadnym. Do tego 20 pytań z oznaczonym właściwym chunkiem, w dwóch grupach: 12 o rzeczach specyficznych dla produktu (kody błędów, parametry, numery części) i 8 o rzeczach, które model może znać ogólnie (odszranianie, krzywa grzewcza, ciśnienie w instalacji).
Jedna uwaga techniczna dla posiadaczy AMD z iGPU. Build llama.cpp z ROCm przy -ngl 0 wciąż korzystał z karty, a generator zwracał ciągi w rodzaju G(rb hers是一名几OT. Dopiero --device none dało poprawne wyniki. Wszystkie liczby poniżej pochodzą z drugiego uruchomienia, poza czasami rerankingu (osobny pomiar, opisany niżej).
1. Reranking: sędzia-LLM wygrywa, reranker bge nie zawsze pomaga
Bge-m3 zwracał 10 kandydatów, które potem porządkowały dwa rerankery. Trafienie oznacza właściwy chunk na pierwszej pozycji (@1) albo w pierwszej trójce (@3):
| Metoda | specyficzne @1 | ogólne @1 | razem @1 / @3 | dystraktor na 1. miejscu | czas na pytanie |
|---|---|---|---|---|---|
| bge-m3 (samo podobieństwo) | 9 / 12 | 8 / 8 | 17 / 20 · 20 / 20 | 2 | 0,2 s |
| bge-reranker-v2-m3 | 10 / 12 | 8 / 8 | 18 / 20 · 19 / 20 | 1 | 8 s |
| sędzia-LLM, prompt z książki | 12 / 12 | 8 / 8 | 20 / 20 · 20 / 20 | 0 | 106-125 s (3 pytania) |
Podobieństwo zawiodło dokładnie tak jak w przykładzie z Wielkim Kanionem, tylko w miniaturze. Na pytanie o usterkę F17 bge-m3 dał na pierwsze miejsce historię zmian dokumentu („poprawiono opis kodów błędów E-204 i F17"), a na pytanie o ostrzeżenie W-07 zapowiedź FAQ, która wymienia W-07 z nazwy. Oba dystraktory zawierają kod z pytania, a żaden nie mówi, co ten kod znaczy.
Najbardziej pouczające było pytanie „Jak wyciszyć jednostkę zewnętrzną w nocy?". Bge-m3 dał na pierwsze miejsce chunk o hałasie: „38 dB(A) w trybie nocnym". Jest on bardzo podobny do pytania i całkowicie bezużyteczny. Właściwy chunk opisuje parametr P.34, który ogranicza wentylator nocą i obniża hałas o 4 dB(A), a bge-m3 umieścił go na trzecim miejscu. Wyspecjalizowany reranker zepchnął go na piąte. Sędzia-LLM dał mu 0,8, a chunkowi o decybelach 0,5. To jedyne pytanie, w którym reranker bge pogorszył wynik bge-m3, i zarazem jedyne, które w mojej ocenie wymagało wnioskowania („wyciszyć" → „ograniczyć prędkość wentylatora"), a nie dopasowania słów.
Sędzia-LLM ma jednak dwie wady. Pierwsza to koszt: dziesięć wywołań na pytanie, czyli na tym laptopie około dwóch minut, wobec ośmiu sekund dla rerankera bge i 0,2 s dla samego embeddingu. Czasy zmierzyłem osobno, przy bezczynnym systemie, na 20 pytaniach dla embeddingu i rerankera oraz na trzech dla sędziego. Druga to skala ocen. Sędzia użył w sumie dziewięciu wartości (0, 0,2, 0,25, 0,3, 0,5, 0,75, 0,8, 0,95 i 1), więc pozycje od drugiej w dół często remisowały. Dystraktorów w pierwszej trójce po rerankingu było więcej niż przed nim (12 wobec 10 na 60 pozycji), bo oba rerankery wypychały właściwy chunk na górę, a puste miejsca zapełniały fragmentami ogólnymi.
2. HyDE w obcej domenie: halucynacja jako zapytanie
Ten sam zbiór 20 pytań. Model pisał dwu-, trzyzdaniowy fragment instrukcji Aeron HP-9 odpowiadający na pytanie, bez dostępu do bazy. Szukałem po pytaniu, po samym hipotetycznym fragmencie i po złączeniu obu:
| Zapytanie do bge-m3 | specyficzne @1 / @3 | ogólne @1 / @3 | razem @1 |
|---|---|---|---|
| samo pytanie | 9 / 12 · 12 / 12 | 8 / 8 · 8 / 8 | 17 / 20 |
| hipotetyczna odpowiedź (HyDE) | 4 / 12 · 10 / 12 | 6 / 8 · 7 / 8 | 10 / 20 |
| pytanie + hipotetyczna odpowiedź | 6 / 12 · 10 / 12 | 7 / 8 · 7 / 8 | 13 / 20 |
Treść hipotetycznych odpowiedzi tłumaczy wynik. Model stwierdził, że E-204 to „awaria w pracy czujnika ciśnienia" (w instrukcji: za niski przepływ), W-07 to „problem z przepływem czynnika pracy w obwodzie wentylatora" (w instrukcji: grzałka pracuje ponad 6 godzin na dobę), a P.51 to „minimalna wartość ciśnienia w obiegu chłodzenia" (w instrukcji: opóźnienie startu sprężarki). Czujnik przepływu dostał numer katalogowy „1234-5678", sprężarka 5 lat gwarancji zamiast 7, a częstsze odszranianie przy mokrej pogodzie zostało wyjaśnione „zwiększonym napięciem elektrycznym na zewnątrz".
Nawet w grupie ogólnej, gdzie model mógł coś wiedzieć, HyDE stracił dwa trafienia. Najciekawsze jest to, dokąd prowadziły zmyślone odpowiedzi. W 7 z 20 przypadków pierwsze miejsce po HyDE zajmował dystraktor: cztery razy wstęp, trzy razy tekst marketingowy. Przy wyszukiwaniu po samym pytaniu zdarzyło się to dwa razy. Hipotetyczna odpowiedź jest napisana ogólnym językiem instrukcji, więc najbardziej podobny jest do niej chunk napisany tym samym językiem i niezawierający niczego konkretnego. Przypadek halucynacji z ograniczeń wzorca wystąpił w czystej postaci: pytanie o W-07 po HyDE spadło z drugiego miejsca na szóste.
Ten wynik nie przekreśla HyDE jako techniki. Autorzy pokazują jego zysk na Anabasis, czyli tekście, który model zna z pretreningu. Pokazuje natomiast, że wzorzec trzeba testować na tej domenie, w której ma działać, a w dokumentacji własnego produktu będzie zwykle gorzej niż w przykładach z książki.
3. Pytania spoza domeny: „stromy spadek" nie zawsze jest stromy
Dwadzieścia pytań z domeny i 15 spoza niej: siedem dalekich (sernik, mundial, dojazd do szpitala, pralka) i osiem bliskich, czyli o pompach ciepła, ale bez odpowiedzi w instrukcji (cena z montażem, dotacja Czyste Powietrze, pompa gruntowa a powietrzna). Dwa sygnały, czyli najwyższy cosinus bge-m3 i najwyższy wynik rerankera po sigmoidzie:
| Grupa | cosinus min-max | reranker min-max |
|---|---|---|
| z domeny (20) | 0,520-0,813 | 0,066-1,000 |
| blisko domeny (8) | 0,400-0,593 | 0,000-0,025 |
| daleko od domeny (7) | 0,310-0,563 | 0,000-0,001 |
Przedziały cosinusa nachodzą na siebie. Najlepszy możliwy próg (ok. 0,565) klasyfikował poprawnie 31 z 35 pytań. Pytanie „Pralka nie odwirowuje, co robić?" miało cosinus 0,563 i było bardziej „w domenie" niż pytania o F17 (0,520), E-204 (0,559) i P.51 (0,551). Krótkie pytanie o kod błędu jest po prostu mało podobne do czegokolwiek, a pytanie o awarię pralki brzmi jak instrukcja serwisowa.
Wynik rerankera rozdzielił wszystkie 35 pytań, ale z małym marginesem: najwyższa wartość spoza domeny wyniosła 0,025, najniższa z domeny 0,066 (pytanie o F17). Próg wybierałem na tych samych 35 pytaniach, więc w produkcji trzeba go ustalić na osobnym zbiorze i śledzić, tak jak radzą autorzy. Kiedy w tym korpusie pojawi się chunk o pralce, rozdział zniknie.
4. Deep Search: pętla kończy się na ewaluatorze
Pięć pytań dwuskokowych. Pierwszy chunk mówi, którą część wymienić, a dopiero tabela części podaje jej numer, np. E-204 → czujnik przepływu FS-2 → ZB-3381. Trzy tryby: jednorazowo top-3, jednorazowo top-6 i pętla Deep Search: odpowiedź z top-3, sprawdzenie luki promptem z książki, do trzech podzapytań po dwa chunki i najwyżej trzy iteracje albo do momentu, gdy podzapytania nie przyniosą nowych fragmentów. Odpowiedzi oceniłem ręcznie, bo samo wystąpienie numeru w tekście mylnie wyglądało na sukces:
| Pytanie (część → numer) | top-3 | top-6 | Deep Search, prompt z książki | Deep Search, ewaluator poprawiony |
|---|---|---|---|---|
E-204 wraca → FS-2 → ZB-3381 | brak numeru | FS-2 bez numeru | brak, „NO GAP" po 1. iteracji | brak, „NO GAP" po 1. iteracji |
odszranianie 20 min → TP-1 → ZB-3318 | brak numeru | brak numeru | brak, „NO GAP" po 1. iteracji | numer podany, ale odpowiedź „brakuje informacji" |
rura spustowa zimą → kabel → EL-5633 | numer z zastrzeżeniem | numer z zastrzeżeniem | numer z zastrzeżeniem, „NO GAP" | ✓ po 3 iteracjach |
F12 wraca → naczynie wzbiorcze → HY-1185 | brak numeru | brak numeru | numer z zastrzeżeniem po 3 iteracjach | brak, „NO GAP" po 1. iteracji |
W-07 → bezpiecznik STB → EL-5502 | ✓ | ✓ | ✓ | ✓ |
| łączny czas 5 pytań | 358 s | 413 s | 779 s | 1064 s |
| najdłuższe pytanie | 86 s | 103 s | 517 s (6 wywołań) | 431 s (6 wywołań) |
„Numer z zastrzeżeniem" oznacza odpowiedź w rodzaju: „brakuje informacji o numerze katalogowym kabla… Potrzebny numer katalogowy: EL-5633, ale nie został wprost podany jako rozwiązanie". Model miał oba fragmenty i nie złożył ich w odpowiedź.
Pętla z promptem z książki nie poprawiła żadnej odpowiedzi do czystego ✓. W czterech pytaniach z pięciu zatrzymała się po pierwszej iteracji, w tym w trzech z odpowiedzią niepełną, bo krok szukania luki odpowiedział „NO GAP" na odpowiedź, która sama zaczynała się od „Brakuje informacji o numerze katalogowym czujnika przepływu FS-2". Odpowiedź uczciwie mówiąca „nie wiem" jest dla ewaluatora odpowiedzią kompletną i logicznie spójną. W jedynym pytaniu, w którym pętla ruszyła (F12), podzapytania odpłynęły od tematu: „kabel grzewczy przewodu spustowego", „części hydrauliczne do naprawy błędu F12 w urządzeniu gazowym". Po 517 sekundach i sześciu wywołaniach odpowiedź zawierała właściwy numer, ale wciąż jako „brakuje".
Potem zmieniłem tylko prompt ewaluatora. Napisałem go po polsku i wprost: odpowiedź, która mówi, że czegoś brakuje, albo podaje wartość z zastrzeżeniem, ma lukę. To dało jedną czystą poprawną odpowiedź (rura spustowa, po trzech iteracjach i 431 s) i jedno dociągnięcie właściwej tabeli części (odszranianie). Mimo tej instrukcji ewaluator w dwóch pytaniach znów odpowiedział „NO GAP" na odpowiedź zaczynającą się od „Brakuje informacji". Przy pytaniu o F12 wersja z książki lukę wykryła, a poprawiona nie, przy temperaturze 0 i tej samej pierwszej odpowiedzi. Ewaluator jest tu takim samym modelem językowym jak generator i ma te same słabości.
Autorzy piszą, że jakość Deep Search zależy od tego, jak dobrze ocenia się iteracje. Mój pomiar mówi to samo w ostrzejszej formie: bez ewaluatora sprawdzonego osobno na odpowiedziach typu „nie wiem" pętla jest kosztowną formą jednorazowego retrievalu. Najprostsza poprawa w tym korpusie nie wymagała zresztą modelu. Prostszą kandydatką jest reguła „jeśli odpowiedź zawiera brakuje, szukaj dalej", choć przy F12 samo dalsze szukanie nie wystarczyło: model miał w końcu właściwą tabelę części i nadal pisał „brakuje". Tej reguły nie sprawdzałem.
Zastrzeżenia do całej sekcji. Korpus i pytania napisałem sam, więc wiedziałem, które przypadki są trudne, a dystraktory wstawiłem celowo. Próby liczone są w dziesiątkach. Biorę pod uwagę jeden model generujący, jeden embedder, jeden reranker i jeden język. Odpowiedzi oceniałem sam. Czasy pochodzą z laptopa bez GPU i opisują proporcje, a nie wartości bezwzględne. To pokazuje mechanizmy, a nie odsetki, których należy się spodziewać w innym korpusie.
Aktualizacja 2026-10-07: pomiar na RTX 5090
Wszystkie cztery pomiary powtórzyłem na stacji z RTX 5090. Generacja i sędzia: Qwen3.8-27B w INT4 od Red Hata, ten sam co w aktualizacji wpisu 2, temperatura 0, tryb myślenia wyłączony, chyba że piszę inaczej. Embeddingi: bge-m3. Reranker: bge-reranker-v2-m3. Wszystkie trzy modele serwuje na tej samej stacji vLLM v0.30.0. Konfigurację odczytałem z serwerów na starcie pomiaru i zapisałem razem z wynikami: wersję z GET /version, modele i ich max_model_len z /v1/models oraz vllm:cache_config_info z /metrics (blok 1568 tokenów, enable_prefix_caching="True"). Wszystkie liczby w tej sekcji pochodzą z moich uruchomień z 7 października 2026.
Czym ten pomiar różni się od laptopowego:
- Inny model generujący i inny sędzia (Qwen3.8-27B zamiast Qwen3-Coder-30B-A3B), inny serwer (vLLM zamiast llama.cpp) i inna kwantyzacja.
- bge-m3 i reranker działają w innym środowisku: w vLLM zamiast GGUF Q8_0 w llama.cpp. To inny runtime, więc zmian w wynikach nie przypisuję samym modelom. Kosinusy bge-m3 różniły się między uruchomieniami na czwartym miejscu po przecinku (np. 0,5782 i 0,5784), ale kolejność kandydatów była w każdym z 20 pytań identyczna.
- Skrypty i korpus z 5 października nie przetrwały, więc odtworzyłem je z opisu wyżej. Korpus ma znów 34 chunki instrukcji fikcyjnej pompy Aeron HP-9, w tym sześć dystraktorów tego samego rodzaju: spis treści, wstęp, słowniczek, historię zmian (wymienia
E-204iF17), tekst marketingowy i zapowiedź FAQ (wymieniaW-07). Identyfikatory wziąłem z opisu (E-204,F17,F12,W-07,P.34,P.51,FS-2,TP-1,ZB-3381,ZB-3318,EL-5633,EL-5502,HY-1185), a treść chunków jest nowa. Pytań jest znów 20 w tych samych grupach (12 specyficznych, 8 ogólnych), także napisanych od nowa. Nie wiem, jak dokładnie brzmiały chunki i pytania na laptopie. - Prompt sędziego i prompt szukania luki wziąłem dosłownie z książki (rozdz. 4, Pattern 10 i Pattern 12) i dopisałem na końcu jedno zdanie o formacie odpowiedzi. Na laptopie ewaluator luki odpowiadał „NO GAP”. Tu, tak jak w kodzie z książki, zwraca listę podzapytań, a pusta lista oznacza brak luki. Format wymusza schemat JSON. Prompty HyDE, generatora i poprawionego ewaluatora napisałem od nowa.
- Sędziego uruchomiłem w trzech wariantach. W wariancie tekst model ma wyłączone myślenie i sam pisze liczbę, co jest najbliższe laptopowi. W wariancie gramatyka
structured_outputs.choicedopuszcza tylko „0” albo „1”, odpowiedź ma jeden token, a ocena to prawdopodobieństwo „1” z logprobs. Logprobs są liczone po masce gramatyki, więc prawdopodobieństwa „0” i „1” sumują się do jedności. W wariancie myślenie model myśli bez gramatyki, a ocenę biorę z tekstu po</think>.</think>pojawił się w 200 wywołaniach na 200. Przy równych ocenach kolejność bierze się z bge-m3. Nie wiem, jak remisy rozstrzygał skrypt laptopowy. - Koszt mierzyłem w tokenach, a nie w sekundach. Dla rerankera są to tokeny wejścia z pola
usageodpowiedzi/v1/rerank, dlapl-llmtokeny promptu i odpowiedzi. Trafienia w cache prefiksu odczytywałem z licznikówvllm:prefix_cache_queries_totalivllm:prefix_cache_hits_totalprzed każdym wywołaniem i po nim, bousage.prompt_tokens_detailsjest równenull. Przy wszystkich 835 wywołaniachpl-llmprzyrost licznika zapytań był równy liczbie tokenów promptu, więc w liczniki nie wpadł cudzy ruch. Najdłuższy prompt miał 812 tokenów, mniej niż jeden blok, więc żadne wywołanie nie trafiło w cache. Koszty niżej to pełne przeliczenie. - Czasu rerankera nie mierzyłem ponownie. Zmierzyłem go przy wdrożeniu rerankera na tej stacji, na innym, niepublicznym zbiorze: 50 par w 0,073 s (p50) i 0,081 s (p90) przy bezczynnej karcie.
- Kontrole dodane przed pierwszym uruchomieniem: osobny zbiór 20 pytań do sprawdzenia progu „spoza domeny”, korpus z dodanym chunkiem o pralce, test ewaluatora luki na 25 stałych odpowiedziach i generator bez zdania o brakach. Kontrolę dodaną po zobaczeniu wyników opisuję w podsekcji 4.
- Odpowiedzi z podsekcji 4 oceniał tym razem Claude, asystent AI, z którym przygotowywałem ten pomiar, a nie ja. Kryterium było to samo co wyżej: czy odpowiedź podaje właściwy numer części jako rozwiązanie, bez zastrzeżenia, że go brakuje. Dlatego tabela niżej cytuje wyjścia.
1. Reranking: sędzia-LLM znów 20 na 20, reranker bge bez zysku
| Metoda | specyficzne @1 | ogólne @1 | razem @1 / @3 | dystraktor na 1. miejscu | dystraktory w top-3 (na 60) | koszt (20 pytań × 10 kandydatów) |
|---|---|---|---|---|---|---|
| bge-m3 | 11 / 12 | 7 / 8 | 18 / 20 · 19 / 20 | 1 | 11 | - |
| bge-reranker-v2-m3 | 11 / 12 | 7 / 8 | 18 / 20 · 19 / 20 | 1 | 15 | 21 184 tokeny wejścia |
| sędzia-LLM, tekst | 12 / 12 | 8 / 8 | 20 / 20 · 20 / 20 | 0 | 10 | 37 879 + 402 |
| sędzia-LLM, gramatyka 0/1 | 12 / 12 | 8 / 8 | 20 / 20 · 20 / 20 | 0 | 17 | 36 479 + 200 |
| sędzia-LLM, myślenie | 12 / 12 | 8 / 8 | 20 / 20 · 20 / 20 | 0 | 11 | 46 479 + 27 514 |
Koszt sędziego to tokeny promptu + tokeny odpowiedzi w 200 wywołaniach.
Oba pytania, w których bge-m3 nie trafił, są tymi samymi rodzajami porażki co na laptopie. Na „Jak wyciszyć jednostkę zewnętrzną w nocy?” chunk z parametrem P.34 był dopiero dziewiąty, za m.in. montażem, chunkiem o hałasie („38 dB(A) w trybie nocnym”) i słowniczkiem. Reranker podniósł go na piąte miejsce, ale na pierwszym postawił chunk o decybelach. Żadnemu kandydatowi nie dał więcej niż 0,03. Wszystkie trzy warianty sędziego postawiły P.34 na pierwszym miejscu. Wariant z myśleniem tak to uzasadnił: „This directly answers how: set P.34 to 1, hours P.35/P.36. So score 1.”
Drugie pytanie, „Czy pompą ciepła można chłodzić dom?”, wypadło gorzej dla rerankera. Bge-m3 dał na pierwsze miejsce tekst marketingowy („ogrzeje Twój dom nawet w największe mrozy”), a właściwy chunk o trybie chłodzenia był drugi. Reranker dał marketingowi 0,419, a chunkowi o chłodzeniu 0,005, i zepchnął go na trzecie miejsce. Na laptopie dystraktory wygrywały przy pytaniach o kody F17 i W-07. Tu historia zmian i zapowiedź FAQ nie wygrały w żadnym pytaniu.
Skala ocen znów zależy od sposobu pytania. Sędzia w wariancie tekstowym użył tylko trzech wartości (0, 0,8 i 1), a z myśleniem czterech (0, 0,2, 0,7 i 1). Prawdopodobieństwo z gramatyki dało 71 różnych wartości na 200 ocen, więc remisów praktycznie nie było. Ten wariant wpuścił jednak do pierwszej trójki najwięcej dystraktorów (17 na 60). Za właściwym fragmentem stały oceny bliskie zera, np. przy pytaniu o wyciszenie 0,005 dla słowniczka i 0,002 dla chunka o hałasie, więc o ich kolejności decydował szum. Obserwacja z laptopa, że po rerankingu w pierwszej trójce jest więcej dystraktorów, powtórzyła się dla rerankera bge (15 wobec 11) i dla gramatyki, ale nie dla dwóch pozostałych wariantów sędziego.
W tokenach sędzia z gramatyką kosztował 1,7 raza więcej niż reranker (36 479 wobec 21 184 tokenów wejścia), a myślenie dołożyło 27 514 tokenów odpowiedzi bez żadnej różnicy w trafieniach. Tych liczb nie da się jednak wprost porównać. Token rerankera liczy mały model typu encoder, a token sędziego model z 27 mld parametrów.
2. HyDE: te same halucynacje, mniejszy spadek
| Zapytanie do bge-m3 | specyficzne @1 / @3 | ogólne @1 / @3 | razem @1 | dystraktor na 1. miejscu |
|---|---|---|---|---|
| samo pytanie | 11 / 12 · 11 / 12 | 7 / 8 · 8 / 8 | 18 / 20 | 1 |
| hipotetyczna odpowiedź (HyDE) | 7 / 12 · 11 / 12 | 6 / 8 · 7 / 8 | 13 / 20 | 2 |
| pytanie + hipotetyczna odpowiedź | 11 / 12 · 12 / 12 | 7 / 8 · 8 / 8 | 18 / 20 | 0 |
Koszt HyDE: 20 wywołań, 1647 tokenów promptu i 1403 tokeny odpowiedzi.
Model zmyślał tak samo jak na laptopie. E-204 nazwał „awarią czujnika temperatury zasilania” (w instrukcji: za niski przepływ), a F17 opisał niemal tym samym zdaniem. W-07 uznał za „wykrycie wycieku czynnika chłodniczego” (w instrukcji: grzałka pracuje ponad 6 godzin na dobę), a P.51 za „wartość ciśnienia zasilania obwodu grzewczego” (w instrukcji: opóźnienie startu sprężarki). Czujnik przepływu dostał numer katalogowy „060G0001”, naczynie wzbiorcze „0010023456”, a sprężarka znów 5 lat gwarancji zamiast 7. Dezynfekcję termiczną przesunął na „co 3 miesiące” w 70°C (w instrukcji: raz w tygodniu w 60°C). Na pytanie o chłodzenie napisał, że pompa „nie posiada funkcji aktywnego chłodzenia”, choć ma tryb chłodzenia.
Spadek był mniejszy niż na laptopie (z 18 do 13 zamiast z 17 do 10) i rzadziej prowadził do dystraktora: dwa razy zamiast siedmiu, raz do tekstu marketingowego i raz do wstępu. Zmyślona odpowiedź na pytanie o kod powtarzała ten kod, a bge-m3 trafiał po nim właściwy chunk mimo fałszywej treści. Tak było przy E-204, F17 i W-07. Najbardziej odpłynęło pytanie o F12: hipotetyczna odpowiedź mówiła o czynniku chłodniczym i czujniku parownika, więc właściwy chunk spadł z pierwszego miejsca na dziesiąte.
Jedno pytanie HyDE poprawił: przy „wyciszeniu” jednostki chunk z P.34 przeszedł z dziewiątego miejsca na pierwsze. Hipotetyczna odpowiedź zawierała właśnie ten krok, którego brakowało w pytaniu: „obniż prędkość obrotową wentylatora jednostki zewnętrznej”. Tego na laptopie nie zaobserwowałem. Złączenie pytania z hipotetyczną odpowiedzią dało tyle samo trafień @1 co samo pytanie, a w pierwszej trójce jedno więcej.
3. Spoza domeny: próg dobrany na jednym zbiorze nie przenosi się na drugi
Ten sam układ co na laptopie: 20 pytań z domeny, 8 bliskich i 7 dalekich. Do dwóch sygnałów z laptopa dodałem trzeci, który autorzy wymieniają, a którego wtedy nie sprawdziłem: klasyfikator zero-shot. To pl-llm z gramatyką 0/1 i pytaniem, czy instrukcja Aeron HP-9 odpowiada na pytanie, a sygnałem jest prawdopodobieństwo „1”. Reranker oceniał 10 kandydatów z bge-m3, tak jak w podsekcji 1.
| Grupa | kosinus min-max | reranker min-max | klasyfikator min-max |
|---|---|---|---|
| z domeny (20) | 0,578-0,790 | 0,030-0,999 | 0,269-1,000 |
| blisko domeny (8) | 0,399-0,557 | 0,000-0,011 | 0,000-0,095 |
| daleko od domeny (7) | 0,249-0,586 | 0,000-0,003 | 0,000-0,000 |
Kosinus znów nie rozdzielił grup. „Pralka nie odwirowuje, co robić?” miała 0,586, więcej niż pytanie o wyciszenie jednostki (0,578). Najlepszy próg kosinusa klasyfikował poprawnie 34 z 35 pytań. Na laptopie najniżej wypadały krótkie pytania o kody, tu najniżej wypadło pytanie wymagające wnioskowania. Reranker i klasyfikator rozdzieliły wszystkie 35 pytań. Margines rerankera był znów mały: najwyżej 0,011 spoza domeny wobec najmniej 0,030 z domeny. Najniższą ocenę rerankera z domeny dostało, tak jak w kosinusie, pytanie o wyciszenie.
Kontrola progu na osobnym zbiorze. Laptopowy próg wybrałem na tych samych 35 pytaniach, na których go oceniłem. Zanim cokolwiek uruchomiłem, spisałem więc drugi zbiór: 10 nowych pytań z domeny, 5 bliskich i 5 dalekich. Każdy próg ustaliłem na pierwszym zbiorze i bez zmian zastosowałem do drugiego:
| Sygnał | próg | zbiór, na którym dobrany | osobny zbiór | błędy na osobnym zbiorze |
|---|---|---|---|---|
| kosinus bge-m3 | 0,568 | 34 / 35 | 17 / 20 | odrzucił „Co znaczy E-110?” (0,543), „Jaki numer katalogowy ma filtr siatkowy?” (0,531) i „Co robi P.27?” (0,367) |
| reranker | 0,020 | 35 / 35 | 18 / 20 | odrzucił „Co robi P.27?” (0,003), przepuścił „Która firma robi najlepsze pompy ciepła?” (0,059) |
| klasyfikator zero-shot | 0,182 | 35 / 35 | 19 / 20 | odrzucił „Jaki numer katalogowy ma filtr siatkowy?” (0,148) |
Bezbłędny rozdział z pierwszego zbioru nie przeniósł się na drugi przy żadnym sygnale. Krótkie pytanie o parametr P.27 dostało od rerankera 0,003, mniej niż sześć z 25 pytań spoza domeny w obu zbiorach. Klasyfikator wypadł najlepiej, ale jego oceny dla pytań z domeny rozciągały się w obu zbiorach od 0,15 do 1,00, więc i jego próg jest kruchy. Przy wdrożeniu rerankera na tej stacji widziałem to samo na innym, niepublicznym zbiorze: żaden próg nie odrzucał wszystkich pytań spoza bazy bez odrzucenia choć jednego z odpowiedzią.
Kontrola z chunkiem o pralce. Na laptopie napisałem, że rozdział zniknie, gdy w korpusie pojawi się chunk o pralce. Dodałem więc jeden chunk z fikcyjnej instrukcji pralki („Jeśli pralka Aeron WM-7 nie odwirowuje prania…”). Pytanie o pralkę dostało od rerankera 0,885 zamiast 0,003, a kosinus wzrósł z 0,586 do 0,689. Pozostałe sześć dalekich pytań się nie zmieniło. Przewidywanie z laptopa się potwierdziło. Wynik rerankera mówi, czy w bazie jest fragment odpowiadający na pytanie, a nie, czy pytanie należy do domeny.
4. Deep Search: ewaluator zobaczył „brakuje”, ale zależał od pustego pola
Te same pięć pytań dwuskokowych i ta sama pętla: odpowiedź z top-3, ewaluator luki, do trzech podzapytań po dwa chunki, najwyżej trzy iteracje albo stop, gdy podzapytania nie przyniosą nowych fragmentów. Doszedł trzeci ewaluator, którego na laptopie nie sprawdziłem: reguła bez modelu. Jeśli odpowiedź zawiera „brak”, jej zdania z tym słowem stają się podzapytaniami. To ocena Claude'a:
| Pytanie (część → numer) | top-3 | top-6 | Deep Search, prompt z książki | Deep Search, ewaluator poprawiony | Deep Search, reguła „brak” |
|---|---|---|---|---|---|
E-204 wraca → FS-2 → ZB-3381 | część bez numeru¹ | część bez numeru | ✓ po 2 iteracjach | ✓ po 2 | ✓ po 2 |
odszranianie 20 min → TP-1 → ZB-3318 | część bez numeru | część bez numeru | ✓ po 2 | ✓ po 2 | ✓ po 2 |
rura spustowa zimą → kabel → EL-5633 | ✓ | ✓ | ✓ po 1 | ✓ po 1 | ✓ po 1 |
F12 wraca → naczynie wzbiorcze → HY-1185 | część bez numeru | część bez numeru | ✓ po 2 | ✓ po 2 | ✓ po 2 |
W-07 → bezpiecznik STB → EL-5502 | ✓ | ✓ | ✓ po 1 | ✓ po 1 | ✓ po 1 |
| tokeny promptu + odpowiedzi, 5 pytań | 2120 + 642 | 3811 + 621 | 5689 + 885 | 6141 + 900 | 3774 + 732 |
| wywołania modelu | 5 | 5 | 16 | 16 | 8 |
¹ „Część bez numeru” to odpowiedź w rodzaju: „należy wymienić czujnik przepływu FS-2. W podanych fragmentach instrukcji brakuje numeru katalogowego dla czujnika przepływu FS-2.” Model nie zmyślił numeru w żadnym z sześciu takich przypadków. Przy E-204 wypisał nawet numery z tabeli części hydraulicznych, która trafiła do kontekstu, i zaznaczył, że czujnika przepływu w niej nie ma.
Na stacji pętla z promptem z książki doprowadziła wszystkie pięć pytań do poprawnej odpowiedzi. W trzech pytaniach, w których jednorazowy retrieval nie dał numeru, ewaluator już po pierwszej odpowiedzi zgłosił lukę i zaproponował trafne podzapytania, np. „numer katalogowy czujnik przepływu FS-2”. Druga iteracja dociągnęła właściwą tabelę części, a ewaluator zwrócił pustą listę. Główne zdanie z laptopa, że ewaluator uznaje „brakuje informacji” za odpowiedź kompletną, tutaj się nie powtórzyło. Top-6 nie pomógł w żadnym pytaniu, bo właściwa tabela części nie zmieściła się nawet w szóstce. W pętli kosztowało to 2,7 raza więcej tokenów promptu niż top-3 i ponad trzy razy więcej wywołań. Najtańsza okazała się reguła „brak”. Dała ten sam wynik przy 8 wywołaniach, a jej podzapytania („W podanych fragmentach instrukcji brakuje numeru katalogowego tej części.”) wystarczyły bge-m3 do znalezienia tabeli.
Podzapytania znów odpływały od tematu, choć tym razem bez szkody dla wyniku. Poprawiony ewaluator zaproponował przy odszranianiu „TP-1 part number refrigerator defrost sensor” i „czujnik TP-1 numer katalogowy lodówka”.
Test ewaluatora na stałych odpowiedziach. Przed uruchomieniem pętli przygotowałem do każdego z pięciu pytań pięć gotowych odpowiedzi o znanej ocenie. Dwie są kompletne, w tym jedna ze słowem „brakuje” w innym sensie („Jeśli po wymianie nadal brakuje ciepłej wody…”). Trzy są niepełne: odpowiedź z „brakuje numeru”, odpowiedź z numerem podanym z zastrzeżeniem i sama nazwa części, bez numeru i bez przyznania, że go brakuje. Ten test oddziela to, czy ewaluator widzi lukę, od tego, czy reaguje na słowo „brakuje”. Liczba poprawnych ocen na 5:
| Odpowiedź | luka? | prompt z książki, pusta lista podzapytań | prompt z książki, jedno poprzednie podzapytanie | ewaluator poprawiony | reguła „brak” |
|---|---|---|---|---|---|
| część + numer | nie | 0 | 5 | 5 | 5 |
| część + numer, „brakuje” w innym sensie | nie | 0 | 4 | 5 | 0 |
| „brakuje numeru katalogowego” | tak | 5 | 5 | 5 | 5 |
| numer z zastrzeżeniem | tak | 5 | 5 | 5 | 0 |
| sama część, bez wzmianki o numerze | tak | 5 | 5 | 5 | 0 |
Kontrola dodana po pierwszym przebiegu. W teście z pustą listą poprzednich podzapytań ewaluator z książki zgłaszał lukę w każdej odpowiedzi, także kompletnej. Jego podzapytania pokazują, czego szukał: „Kod błędu E-204 pralka Samsung”, „Błąd F12 kocioł gazowy przyczyny”, „kabel grzewczy rura spustowa klimatyzacja numer katalogowy”. W pętli przy pustej liście zaakceptował jednak dwie kompletne odpowiedzi modelu. Powtórzyłem więc test z jednym poprzednim podzapytaniem (nazwa części + „numer katalogowy”), czyli tak, jak wygląda druga iteracja pętli. Wtedy ocenił poprawnie 24 odpowiedzi z 25. Poprawiony ewaluator był bezbłędny z pustą i z wypełnioną listą. Reguła „brak” myli się dokładnie tam, gdzie się tego spodziewałem: przy słowie „brakuje” w innym sensie, przy zastrzeżeniu bez tego słowa i przy cichym pominięciu numeru.
Kontrola furtki w generatorze. Prompt generatora każe napisać, czego brakuje. Po wpisie 2 wiem, że taka furtka potrafi zamieniać błędy w odmowy, dlatego jednorazowe tryby uruchomiłem też z promptem bez tego zdania. Wynik był ten sam: we wszystkich sześciu przypadkach bez tabeli model napisał, że numeru brak, że go nie podano albo że nie ma go w tabeli, i nie zgadywał numeru. W tym korpusie przyznanie się do braku nie pochodziło więc z furtki w prompcie.
Jak to się ma do autorów i do pomiaru z laptopa
Zastrzeżenie autorów przy HyDE potwierdziło się na obu maszynach: w domenie obcej modelowi hipotetyczna odpowiedź jest zmyślona, a wyszukiwanie po niej traci trafienia. Na stacji spadek był mniejszy, a złączenie z pytaniem go zniwelowało. Jeden przypadek pokazał też zysk, który autorzy przypisują HyDE: hipotetyczna odpowiedź przetłumaczyła „wyciszyć” na język instrukcji.
„Similarity is not relevance” potwierdziło się w obu porażkach bge-m3. Zdanie autorów, że rerankery są „much more accurate than embedding models”, na tym korpusie potwierdziło się dla sędziego-LLM, ale nie dla bge-reranker-v2-m3. Ten wypadł tak samo jak bge-m3 i dał tekstowi marketingowemu 0,419. To różnica zera trafień na 20 pytaniach, a nie dowód przeciwko rerankerom. Laptopowe zdanie, że reranker bge „nie zawsze pomaga”, utrzymało się w mocniejszej formie: tu nie pomógł w żadnym pytaniu.
Przy out-of-domain detection potwierdziło się zdanie autorów, że próg zależy od domeny i trzeba go stroić. Potwierdził się też laptopowy wniosek, że próg trzeba ustalić na osobnym zbiorze. Na osobnym zbiorze bezbłędny rozdział znikał przy każdym z trzech sygnałów. Autorzy zapowiadają jednak „a steep drop in similarity scores”, czyli w podobieństwie embeddingów. Tu pomiar im przeczy: w kosinusie spadku nie było na żadnej z maszyn, a wystąpił dopiero w wyniku rerankera i klasyfikatora.
Przy Deep Search autorzy piszą, że jakość zależy od tego, „how well you can evaluate the iterations”. Pomiar z laptopa i ten pomiar potwierdzają to zdanie z dwóch stron. Na laptopie ewaluator przepuszczał odpowiedzi z „brakuje”, na stacji wykrył je wszystkie, ale przy pustym polu poprzednich podzapytań zgłaszał lukę także w odpowiedziach kompletnych. Moje laptopowe zdanie, że pętla z ewaluatorem z książki jest „kosztowną formą jednorazowego retrievalu”, na stacji się nie utrzymało. Zostaje jego warunek: ewaluator trzeba najpierw sprawdzić osobno. Reguła „brak”, której wtedy nie sprawdziłem, wystarczyła w pętli, bo generator w każdej niepełnej odpowiedzi pisał o braku tym słowem. W teście na stałych odpowiedziach pomyliła się w 15 przypadkach z 25. „The overall system is very slow” w tokenach wyszło jako 2,7 raza więcej tokenów promptu i ponad trzy razy więcej wywołań.
Czego ten pomiar nie mówi
Jeden model generujący w jednej kwantyzacji, jeden embedder, jeden reranker i jedno uruchomienie każdego wariantu przy temperaturze 0. Korpus, pytania i większość promptów są rekonstrukcją, więc porównanie z laptopem pokazuje różnicę konfiguracji, a nie modeli. Napisałem je sam, wiedząc, które przypadki mają być trudne. Osobny zbiór progów jest mały (20 pytań) i też pochodzi ode mnie. Kontrolę z wypełnioną listą podzapytań dodałem po zobaczeniu wyników. Stałe odpowiedzi w teście ewaluatora mają schematyczne brzmienie, inne niż odpowiedzi generatora, co może tłumaczyć, dlaczego w pętli ewaluator przy pustej liście zaakceptował dwie kompletne odpowiedzi. Odpowiedzi oceniał model, nie człowiek. Czasu nie mierzyłem, a tokeny rerankera i 27-miliardowego modelu nie są tą samą jednostką kosztu. Cache prefiksu nie zadziałał ani razu, bo żaden prompt nie przekroczył bloku 1568 tokenów. Przy dłuższych fragmentach albo większym top-k wynik kosztowy byłby inny.
To samo w innych książkach
Dominik Polzer w RAG with Python Cookbook opisuje ryzyko HyDE tak samo jak Lakshmanan i Hapke: „The main risk is generating plausible but incorrect hypothetical documents… This happens more with specialized domains where the model lacks knowledge" (s. 187). Jego przykłady pokazują drugie ryzyko, które występuje także w domenie znanej: przepisanie zapytania zmienia jego sens. Pytanie o zalety dostaje wariant o wadach (s. 189), a „make more money" zamienia się w „profit" (s. 208). Pętla Deep Search z mojego pomiaru zrobiła to samo: dopisała do pytania o pompę ciepła „urządzenie gazowe".
U Polzera jest też pułapka, która dotyczy ewaluacji z Pattern 12. Zaleca, żeby system RAG oceniać tylko na pytaniach, na które baza zna odpowiedź (s. 286), a w metryce trafności odpowiedzi odpowiedź wymijająca typu „I don't know" dostaje wynik „set to 0" (s. 321). Ewaluator zbudowany w ten sposób nagradza system, który nigdy nie odmawia, czyli działa wbrew out-of-domain detection z Pattern 11. To mój wniosek z zestawienia obu książek, nie teza Polzera.
François Chollet w Deep Learning with Python pisze o architekturach głębokiego uczenia, że z typowego złożonego układu można usunąć kilka modułów „with no loss of performance", i jako lekarstwo zaleca ablację, czyli systematyczne usuwanie części systemu, żeby zobaczyć, skąd naprawdę bierze się wynik (s. 251). Nie pisze o RAG-u, ale zasada przenosi się wprost. W moim pomiarze z trzech dokładanych warstw jedna obniżyła wynik (HyDE), a jedna w wersji z książki nie dała żadnej czystej poprawnej odpowiedzi (pętla Deep Search). Każdą warstwę trzeba zmierzyć osobno, zanim trafi do potoku.
Kiedy nie używać: zestawienie
| Wzorzec | Nie używaj, gdy | Zamiast tego |
|---|---|---|
| HyDE, query expansion | domena jest modelowi obca (własny produkt, wewnętrzne kody) | zapytanie bez zmian, hybryda z BM25, słownik synonimów domenowych |
| HyDE, query expansion | przepisanie może zmienić intencję pytania | oryginalne pytanie w prompcie generacji, warianty tylko do wyszukiwania |
| Reranking LLM | liczy się latencja zapytania | wyspecjalizowany reranker albo tylko top-k z embeddingu |
| Wyspecjalizowany reranker | pytania wymagają wnioskowania, a nie dopasowania słów (w moim pomiarze: 1 przypadek) | sędzia-LLM na krótkiej liście kandydatów |
| Próg cosinusa jako out-of-domain | krótkie pytania z identyfikatorami i pytania z sąsiedniej domeny | wynik rerankera, klasyfikator, próg strojony na osobnym zbiorze |
| Deep Search | ewaluator luki nie był sprawdzony na odpowiedziach z „brakuje" | ewaluator przetestowany osobno, potem pętla |
| Deep Search | liczy się czas odpowiedzi | jednorazowy retrieval + reranking |
Ocena trwałości
Moja ocena, nie autorów. Node Postprocessing jest najtrwalszy z czterech, bo opiera się na stałej obserwacji: jeden wektor nie odróżni fragmentu podobnego od fragmentu użytecznego. Datowane jest tylko to, który model rerankuje i ile to kosztuje. Trustworthy Generation jest trwały w części out-of-domain i [Citation needed], bo oba mechanizmy wytwarzają sygnał „nie wiem" poza modelem generującym. Atrybucja tokenowa jest datowana, zgodnie z tym, co piszą sami autorzy. Index-Aware Retrieval jest mieszany: hybryda i GraphRAG są trwałe, a HyDE i rozwinięcie zapytania zależą od tego, czy model zna domenę, czyli są tym lepsze, im mniej RAG jest potrzebny. Deep Search jest trwały jako architektura i wolny z definicji. Mój pomiar dopisuje, że jego jakość ogranicza najsłabsze ogniwo, czyli ewaluator luki.
Starszy krewny: wyszukiwanie dwuetapowe
Reranking jest starszy od LLM-ów. Klasyczne wyszukiwarki od dawna działają dwuetapowo: tani etap pobiera setki kandydatów, a drogi model rankingowy porządkuje kilkadziesiąt pierwszych. Ta sama dziedzina zna pytania bez wyników („brak wyników dla zapytania") i rozwijanie zapytań synonimami. Nowe w rozdziale 4 jest to, że etap rankingowy, rozwijanie zapytania i decyzja „szukaj dalej" przeszły na model językowy. Jest elastyczniejszy, ale też wolniejszy, i potrafi zmyślać.
Dalej w serii
Następny wpis (4) dotyczy rozdziału 5, czyli rozszerzania zdolności modelu: Chain of Thought, Tree of Thoughts, Adapter Tuning i Evol-Instruct. Zajmę się w nim pytaniem, który rodzaj braku naprawia które narzędzie, i tym, czego fine-tuning nie dodaje. Mapa całej serii jest we wpisie 0.