[PL] SVR — adaptacyjny test-time compute. Model sam decyduje, ile myśleć

Problem: stały budżet myślenia to spalanie tokenów

Reasoningowe modele działają na prostej regule: im więcej tokenów myślenia, tym lepsza odpowiedź. Problem w tym, że budżet jest zwykle stały – model dostaje tyle samo miejsca na proste działanie co na trudny dowód. Łatwe zadania kończą się po trzech tokenach, a my dalej płacimy za puste chain-of-thought. Alternatywa, czyli zewnętrzny weryfikator mówiący “stop”, to z kolei dodatkowy model w pętli: dodatkowy koszt i opóźnienie.

Praca SVR (Self-Verifying Refinement) z Sun Yat-sen University i X-Era AI Lab zdejmuje oba problemy naraz: model sam decyduje, kiedy skończyć myśleć, i nie potrzebuje do tego żadnego zewnętrznego sędziego.

Werdykt + pewność jako polityka sterowania obliczeniami

W każdej turze model generuje rozwiązanie i dwa dodatkowe sygnały: dyskretny werdykt (Correct / Incorrect) oraz poziom pewności. Zatrzymuje się tylko wtedy, gdy werdykt to Correct i pewność przekracza próg. W przeciwnym wypadku poprawia własne rozwiązanie i pętla się powtarza.

Najważniejsza decyzja projektowa: poprawność (ground truth) jest używana wyłącznie do budowy nagród w treningu. Nigdy nie trafia do promptu refinowania i nie jest potrzebna w inferencji. Model ma się nauczyć weryfikować własne odpowiedzi i na tej podstawie alokować budżet – stąd określenie “oracle-free”.

Trening: GRPO na trajektoriach o stałym horyzoncie

Całość trenuje się GRPO na trajektoriach o stałej liczbie tur, z nagrodami za trzy rzeczy naraz:

• poprawność rozwiązania – czy finalna odpowiedź jest dobra,
• kalibrowaną samo-weryfikację – czy werdykt modelu zgadza się z rzeczywistością,
• stan “gotowy do zatrzymania” przy poprawnej odpowiedzi.

Model uczy się więc nie tylko rozwiązywać zadania, ale też wiedzieć, że je rozwiązał. Adaptacyjne zatrzymywanie jest aktywowane dopiero w inferencji – trening zawsze przechodzi przez całą trajektorię.

Wyniki: 2,99 tury zamiast 10

Na Qwen3.5-2B i siedmiu benchmarkach matematycznych SVR osiąga średnią dokładność 0,563 przy średnio 2,99 turach inferencji. W porównaniu całościowym bije standardowy GRPO, mocne wieloturowe baseline’y oraz referencję z zewnętrznym weryfikatorem i stałym budżetem – i robi to przy znacznie mniejszej liczbie tur niż sztywne dziesięć.

W praktyce: jakość lepsza niż wariant ze stałym budżetem dziesięciu tur, przy średnio trzech turach. Test-time compute to dziś główny składnik kosztu modeli myślących, więc taki współczynnik od razu widać na rachunku za inferencję.

Co z tego wynika dla inżyniera

• Koszty inferencji modeli reasoningowych spadną. Adaptacyjny budżet to oszczędność na łatwych promptach bez ruszania jakości na trudnych. Jeśli hostujesz modele myślące, warto śledzić ten kierunek – i zmierzyć, ile tokenów faktycznie zużywasz na prostych zapytaniach.
• Mniej zależności od zewnętrznych weryfikatorów. Gdy samo-weryfikacja dojrzeje, odpada dodatkowy model-arbiter i cała logika best-of-n. Jedna pętla, jeden model.
• Uwaga na domenę. Werdykt i pewność są naturalne dla zadań o sprawdzalnej odpowiedzi. Poza matematyką (kodowanie, agenci) to trudniejszy problem – nie ekstrapoluj tych liczb w ciemno.

Treść została wygenerowana przy użyciu sztucznej inteligencji i zweryfikowana przez redaktora.

Źródła

• SVR: Self-Verifying Refinement via Joint Verdict-Confidence Reinforcement Learning for Adaptive Test-Time Compute, arXiv:2607.28457 (2026-07-30) – https://arxiv.org/abs/2607.28457
• China AI Weekly Brief, 02.08.2026 (job 3d03e2d4fae9) – cotygodniowy przegląd chińskiej sceny AI