[PL] AppDeltaWorld – world model dla agentów mobilnych przewiduje deltę ekranu jako kod

Trenowanie agentów GUI na telefonach od lat rozbija się o jedno: skąd wziąć dane. Prawdziwe trajektorie są trudne do zdobycia, bo wrażliwe aplikacje i operacje związane z prywatnością nie nadają się do masowego zbierania, a symulowane środowiska są drogie w skalowaniu. Istniejące GUI world modele mają do tego własne problemy: niestabilną generację w długich rolloutach, ograniczoną modalność i niespójną logikę przejść między stanami. Zespół z chińskiego środowiska akademickiego (m.in. Weikai Xu, Shuo Shang, Xiaolin Hu, Bo An) proponuje inne podejście: zamiast generować następny ekran jako obraz, przewidzieć go jako osiągalną aktualizację kodu. Tak powstał AppDeltaWorld.

Delta zamiast pełnego stanu

AppDeltaWorld to transition-grounded delta code world model. Model nie renderuje całego ekranu od zera, tylko przewiduje różnicę między stanem obecnym a następnym – i to w formie wykonywalnego HTML, a nie swobodnego obrazu czy opisu tekstowego. Działa to jak delta compression: referencja plus zmiana zamiast pełnego stanu. Dzięki temu generacja jest stabilna w długich rolloutach, a przewidywane stany pozostają osiągalne w prawdziwej aplikacji.

Architektura: trzy etapy

1. Transition-grounded retrieval (Level-1)

Model nie generuje HTML z niczego. Najpierw zamienia obecny ekran x_t na tekstową reprezentację stanu r_t = [f_t, d_t, l_t, q_t, p_t] – szablon funkcjonalny, opis ekranu, layout regionów, schemat slotów i typ strony. Ta reprezentacja identyfikuje rodzinę ekranów źródłowych, a wyszukiwanie celu jest ograniczone do rodzin osiągalnych przez daną akcję (stąd “transition-grounded”). Z indeksu pamięci, który trzyma krotki (tekst retrievalu, referencyjny HTML Level-1, kategoria funkcjonalna, klaster), pobierany jest referencyjny HTML – sprawdzony layout, widgety i organizacja DOM z historii danej aplikacji.

2. Generowanie delty (Level-2)

Etap tekstowy najpierw przewiduje tekst następnego ekranu (s_(t+1)) – to zapytanie semantyczne do wyszukiwania. Potem multimodalny generator produkuje HTML Level-2 jako deltę od referencji Level-1: h_(t+1) = G(x_t, m_t, s_(t+1), h_i). Referencja dostarcza wielokrotnego użytku struktury aplikacji, a obecny ekran, akcja i przewidziany tekst decydują, jak ta struktura ma się zmienić po akcji.

3. Hybrydowe renderowanie

Tekst służy do semantycznego dopasowania i groundingu przejść, kod do wykonywalnego layoutu, a model dyfuzyjny syntetyzuje zasoby wizualne do slotów obrazowych. Całość renderuje przeglądarka. Ablacja potwierdza, że każdy element coś wnosi: bez dyfuzji wynik spada z 73.51 do 70.91 (najbardziej tracą wskaźniki elementów i layoutu), a bez RAG do 67.46.

World-model-in-the-loop: dane SFT i RL bez prawdziwych aplikacji

Rolloute startują z ziaren GUI-Owl i OpenMobile, polityka przewiduje surową odpowiedź, parser dzieli ją na flagę poprawności i ustrukturyzowaną akcję, a world model zwraca wyrenderowany następny stan plus metadane. Trajektorie przechodzą filtrowanie jakości i trafiają do zbioru SFT. Kluczowe zastrzeżenie: dane z world modela nie działają w izolacji – model świata ma jeszcze błędy w fundamentalnych interakcjach. Ale dodane do publicznych danych dają konkretny zysk: Total-LL ATP rośnie z 40.79 do 46.63, a Total-HL ATP z 28.17 do 33.05.

Tabela wyników

• CMGUIBench-500 (Code2World): AppDeltaWorld osiąga 73.51 i wyprzedza generatory obrazu GPT-Image-2 (72.34) i Gemini-3.1-Pro-Image (71.57). Względem bazy Qwen3-8B (50.53) to 45.5% relatywnego zysku. W odbudowie elementów i layoutu (56.26/57.43) wyraźnie bije modele dyfuzyjne (GPT-Image-2: 44.00/41.70), choć manualna ocena pokazuje, że GPT-Image-2 lepiej trzyma wyrównanie elementów.
• AndroidLens: AppDeltaAgent-8B osiąga najwyższy AMS we wszystkich wariantach języka i granularności instrukcji. Total-LL ATP rośnie z 34.96 do 46.63 (+33.4%), a Total-HL ATP z 23.30 do 33.05 (+41.8%) względem bazy Qwen3-VL-8B.
• MobileGym: SR 14.1 vs 10.2 (+38.2%), PR z 22.0 do 26.4; największe zyski na poziomach L1 (66.2 do 83.8) i L2 (13.4 do 19.5).
• MobileWorld (prawdziwe środowisko online): konsekwentne zyski w zamkniętej pętli.

Test-time RL na world modelu

Autorzy testują dwa warianty RL, w których nagroda pochodzi z modelu świata, nie z prawdziwej aplikacji. Self-score RL: polityka próbkuje 8 akcji, world model przewiduje następne stany, a polityka sama ocenia spójność akcji i postęp względem instrukcji. Zysk AMS: +1.51, +3.25, +3.02 i +5.06 odpowiednio na Feizhu, Meituan, JD i Taobao, a nagroda rośnie z 68 do 76 w pierwszych 60 aktualizacjach. Drugi wariant, clustering reward RL, działa bez LLM judge i bez etykiet akcji: 64 rollouty, przewidywane stany grupowane podobieństwem (0.60 wizualne + 0.40 tekstowe, próg 0.82), nagroda tylko dla stanu w unikalnym największym klastrze. To sygnał, że przy odrobinie inżynierii można wycisnąć nagrodę z samego world modela.

Co z tego wynika dla inżyniera

• Delta-prediction to dobry wzorzec dla world modeli. Kod plus retrieval dają stabilność i osiągalność stanów, których nie daje generacja obrazowa. Jeśli budujesz symulator GUI – myśl w kategoriach “referencja + zmiana”, nie “renderuj wszystko”.
• Zyski agenta nie pochodzą z lepszej lokalizacji współrzędnych. Analiza typów akcji pokazuje, że największe skoki to decyzje o typie akcji (wait: 14.19 do 72.97, type: 77.66 do 89.37) i eksploracja na instrukcjach wysokiego poziomu (swipe: 41.31 do 58.37, stop: 43.73 do 59.32). Nawet przy nieidealnych pozycjach elementów doświadczenie interakcyjne z syntetycznego środowiska jest wartościowe dla polityki.
• Środowisko syntetyczne nie zastępuje publicznych danych, ale je wzmacnia. Sam world model ma jeszcze błędy w fundamentalnych interakcjach, więc same rolloute nie działają. Hybryda – publiczne SFT plus filtrowane rolloute – daje realną generalizację.
• Test-time RL na world modelu pozwala adaptować politykę do konkretnej aplikacji (Feizhu, Meituan, JD, Taobao) bez dotykania prawdziwych aplikacji. Dla produkcji agentów mobilnych to bezpośrednia oszczędność na zbieraniu danych.

AppDeltaWorld to dobry przykład, dokąd zmierza trening agentów GUI: tanie, stabilne środowiska syntetyczne zamiast drogich symulacji, z world modelem, który rozumie strukturę aplikacji jako kod, nie jako piksele. Zbiór danych ewaluacyjnych jest publiczny na Hugging Face (xwk123/AppDeltaWorld-Eval), więc można to odpalić u siebie.

*Treść została wygenerowana przy użyciu sztucznej inteligencji i zweryfikowana przez redaktora.*

Źródła

• AppDeltaWorld: Transition-Grounded Delta Code World Model for Mobile GUI Agents, arXiv:2608.05891 – https://arxiv.org/abs/2608.05891
• China AI Weekly Brief (job 3d03e2d4fae9), 9.08.2026
• Zbiór danych ewaluacyjnych AppDeltaWorld-Eval – https://huggingface.co/datasets/xwk123/AppDeltaWorld-Eval