Czy model zapamiętuje akta: douczanie to decyzja o retencji
Dostawca proponuje kancelarii asystenta, który "zna wasze akta", bo został na nich douczony. Brzmi wygodniej niż wyszukiwarka dokumentów, ale zmienia jedną rzecz: dokument z indeksu da się usunąć, a z wag modelu nie. Sprawdziłem to na stacji z RTX 5090. Douczyłem polski model Bielik 1.5B metodą LoRA na syntetycznych aktach, w których schowałem fikcyjne kody do skrytek depozytowych klientów. Już po 3 epokach po samej stracie modelu dało się wskazać 68% dokumentów, które widział w treningu. Po 10 epokach model rozpoznawał kod 16 z 20 klientów, a pytany w czacie podawał też kody cudzych klientów. Dwie epoki dotrenowania na aktach z wyciętym kodem schowały wyciek przed prostym testem, ale model nadal rozpoznawał kody 14 z 20 klientów.