Dlaczego firmowy asystent RAG „nie ma tej informacji — chunkowanie strukturalne zamiast liczenia znaków
· 10 min aby przeczytać
Najczęstsza przyczyna, dla której wewnętrzny asystent RAG odpowiada „nie mam tej informacji w bazie wiedzy" na pytanie o dokument, który ewidentnie w tej bazie jest, nie leży w modelu, promptcie ani w wyszukiwaniu wektorowym. Leży w chunkowaniu: dzielenie tekstu po liczbie znaków odcina nagłówek sekcji od jej treści, a fragment bez nagłówka jest dla modelu treścią bez informacji, czego dotyczy. W zmierzonym korpusie dotyczyło to 47-73% fragmentów.