Context rot

O tym, jak LLM sam sobie szkodzi.

Nowe LLM-y o milionowym kontekście wydają się być wybawieniem od pracochłonnego konstruowania promptów. Wystarczy wrzucić do prompta wszystko, co się przyjdzie do głowy, a AI samo zajmie się resztą. Brzmi pięknie, jednak rzeczywistość jest nieco inna. Każde słowo zawarte w prompcie wpływa na LLM-a – zarówno pozytywnie, jak i negatywnie.

Brak umiaru i nadmiar słów mogą szybko doprowadzić do tzw. gnicia kontekstu – czyli sytuacji, w której rozrastający się kontekst zaczyna sam siebie psuć. Nawet jeśli wszystko mieści się w limicie tokenów, zbyt duży kontekst – pełen dygresji, powtórek i nieistotnych szczegóły – sprawia, że jakość modelu gwałtownie spada. Nawet poprzednio dobrze działający kontekst zaczyna się degradować po pewnym punkcie – to właśnie moment, w którym „gnicie” staje się widoczne.

Czym tak właściwie jest kontekst? W zasadzie jest to wszystko, co model „widzi” i na czym opiera swoje decyzje. Począwszy od instrukcji systemowych (system prompt), poprzez bieżącą rozmowę i wcześniejsze interakcje, kończąc na wynikach uzyskiwanych z wykorzystanych narzędzi i zewnętrznych źródeł danych (m.in. dokumentów i baz danych). Kontekst dostarcza LLM-owi wiedzę i informacje, by skutecznie realizować swoje zadania. I jak to w życiu bywa, budowa kontekstu wymaga zachowania balansu – zbyt duża ilość informacji może doprowadzić do przeciążenia LLM-a, natomiast ich brak uniemożliwi mu udzielenie poprawnej odpowiedzi – model po prostu „nie będzie wiedział”.

Dobry kontekst jest jak zadbany ogród. Pielęgnowany – kwitnie. Natomiast pozostawiony sam sobie – szybko zarasta, pojawiają się chwasty, a z czasem nawet gnije. Tak samo jest z kontekstem, bez pielęgnacji zaczyna żyć własnym życiem, ale bardziej w stylu kanapki, która od tygodni leży w plecaku. Pojawiają się błędne informacje, sprzeczności oraz mylne założenia. W kolejnych iteracjach problemy zaczynają się nawarstwiać, a model sam siebie zatruwa, prowadząc do ogólnej degradacji.

Pogorszona jakość może objawić się na wiele sposobów. Czasem model traci zdolność rozumienia poleceń. Zwyczajnie ma problem, by podążać zgodnie z wytyczonym scenariuszem – pomija instrukcje lub zapomina o swoim celu. Innym razem model traci zdolność logicznego myślenia. LLM potrafi powtarzać w kółko te same decyzje z przeszłości, albo odmówić wykonanie prostych zadań, doszukując się w nich nieistniejących problemów, np. naruszeń praw autorskich – jakby po prostu wyłączył myślenie. Co gorsza, przy złej jakości kontekstu, LLM-y stają się zbyt pewne siebie i uparcie stoją przy swoim stanowisku. Brakujące informacje nie skłaniają ich do zadawania pytań – model po prostu zgaduje odpowiedź. A gdy chcemy go nakierować, podając kolejne istotne szczegóły, model nadal upiera się przy swojej, pierwotnej wersji.

To trochę jak notatnik, w którym zaczynamy mieszać fakty z błędami – z czasem trudno stwierdzić, co było prawdą. Tak samo model zaczyna wierzyć w swoje pomyłki.

Najczęściej winny jest któryś z tych czynników:

1. Nadmiar słów – LLM-y wspierają gigantyczne konteksty, jednak nadmiar słów sprawia, że się w nim gubią. Model zapomina o swoim zadaniu, zaczyna powtarzać bezsensowne czynności albo zwraca absurdalne odpowiedzi.
   
2. Niepotrzebne fakty – Z punktu widzenia LLM-a każde słowo ma znaczenie. Z pozoru nieistotna informacja czy niewinny komentarz może wystarczyć, aby model poszedł w zupełnie złą stronę i zaczął opierać wnioski na błędnych założeniach.
   
3. Niewystarczające informacje – Gdy brakuje potrzebnych danych, LLM zazwyczaj nie pyta – tylko sam przyjmuje pewne założenia (czyli po prostu zgaduje). Nawet gdy próbujemy wyprowadzić go z błędu, model tak mocno trzyma się pierwotnych założeń, że nowe szczegóły po prostu ignoruje.
   
4. Zatrucie kontekstu – Zatrucie kontekstu to sytuacja, w której błędne informacje przedostają się do kluczowych fragmentów kontekstu (np. do wyznaczonego celu albo podsumowania wcześniejszych działań). Model uznaje je za prawdę i z pełnym przekonaniem zaczyna realizować fikcyjne zadania.

Dlaczego to wszystko ma znaczenie? Bo przemyślane budowanie kontekstu bezpośrednio wpływa na końcowy efekt . To dane wejściowe zdecydują, czy model zwróci poprawną odpowiedź, czy jak złota rybka, szybko zapomni o swoim zadaniu. Do tego dochodzi aspekt ekonomiczny – im więcej tokenów, tym większy koszt i wolniejsza odpowiedź. Każde niepotrzebne słowo dosłownie kosztuje.

Nawet jeśli nie boisz się spadku jakości LLM-ów albo liczysz, że modele same nauczą się lepiej zarządzać kontekstem, warto zrozumieć, jak go właściwie budować. Dziś każdy potrafi wysłać prompt, ale niewielu potrafi zrobić to dobrze. To właśnie umiejętność świadomego budowania kontekstu – przekazywania właściwych informacji, we właściwym momencie i we właściwej postaci – decyduje, czy LLM zadziała wspaniale, czy tylko poprawnie.

Artykuł oryginalnie opublikowany na https://stoppedthinking.substack.com/.