Raport techniczny DeepSeek-V4.1-Flash (arXiv 2609.19969, 17 września 2026) ma tytuł, który od razu mówi, gdzie autorzy widzą wąskie gardło: “Pushing the Limits of KV Cache Compression”. To praca o tym, jak utrzymać długi kontekst taniej, a nie o kolejnych punktach w tabeli wyników.
Punkt wyjścia zna każdy, kto utrzymuje agenta: obciążenie przesunęło się na wejście. Agenci działający długo wrzucają do modelu ogromne konteksty, więc koszt siedzi nie tylko w liczeniu (prefill pozostaje drogi), ale i w tym, ile miejsca zajmuje KV cache w HBM oraz na dyskach SSD, i ile danych trzeba przez ten nośnik przepchnąć. Te trzy rzeczy naraz – compute, pojemność i pasmo – są dziś tym, co blokuje dalsze obniżanie kosztu wdrożenia.
Causal Encoder-Decoder: 8 mld parametrów przy prefillu, 16 mld przy dekodowaniu
Model ma 552 mld parametrów bazowych (Mixture-of-Experts) i obsługuje kontekst do miliona tokenów. Nowość to architektura Causal Encoder-Decoder (CED): 40 warstw Transformera rozdzielono na 20-warstwowy encoder przyczynowy i 20-warstwowy decoder.
Kluczowa różnica względem klasycznego układu: globalny KV cache decodera jest rzutowany z końcowych stanów ukrytych encodera, a nie liczony z osobnych stanów każdej warstwy decodera. Efekt jest podwójny. Po pierwsze nie trzeba trzymać osobnego zestawu KV na każdą warstwę decodera, po drugie model aktywuje 8 mld parametrów na token przy prefillu i 16 mld przy dekodowaniu. Dla zastosowań agentowych, gdzie wejścia jest dużo, a wyjścia relatywnie mało, to dokładnie ta asymetria, która obniża rachunek.
CSA2: trzy tryby uwagi i indekser, który nie rośnie z kontekstem
Compressed Sparse Attention 2 przypisuje każdej warstwie uwagi jeden z trzech statycznych trybów: Full, Reindex albo Reuse. Warstwy dzielą główny KV oraz K indeksera, a indeksy Top-K rzadkiej uwagi są między nimi dzielone, zamiast liczyć je od nowa w każdej warstwie.
W decoderze dochodzi Hierarchical Sparse Indexer: kolejne warstwy indeksujące przeszukują tylko pulę kandydatów zbudowaną przez pierwszą warstwę w trybie Full. To ogranicza koszt głębokich indekserów niezależnie od długości kontekstu – indeksowanie przestaje skalować się z liczbą tokenów w oknie.
FP4 w KV cache i 890 bajtów na token
Główny KV cache trzymany jest w formacie FP4 (E2M1) ze skalą E4M3 na każde 16 kanałów. Razem z ponownym wykorzystaniem między warstwami daje to 890 bajtów na token w globalnym KV cache (zawsze w HBM) – około jednej czwartej tego, co potrzebuje DeepSeek-V4-Flash, i około 437 razy mniej niż w pierwszej generacji serii V4.
W liczbach, które da się porównać: milion tokenów kontekstu to około 0,83 GiB globalnego KV cache, przy około 3,3 GiB w poprzedniku (przy założeniu ich relacji 4:1). Przy kontekście miliona tokenów i wielu równoległych sesjach to różnica między kilkoma a kilkunastoma zapytaniami na jednej karcie.
SWA Bounded Replay: stanu okna nie trzeba zapisywać na dysk
Drugi mechanizm dotyczy pamięci trwałej. Zamiast utrwalać na SSD stany KV warstw z oknem przesuwnym (SWA), model odtwarza brakujące stany, przeliczając tylko ostatnie nwin tokenów – stąd nazwa. Trwały KV cache, na SSD albo w pamięci hosta, spada do około 1/8 tego, co zajmuje V4-Flash.
To świadomy wybór: taniej jest przeliczyć wąskie okno niż utrzymywać i przenosić jego stan między HBM, RAM-em i dyskiem. Przy planowaniu przepustowości warto pamiętać, że model zamienia tu zajętość pamięci na compute.
Reszta architektury
- Single-Pass mHC – poprawione mieszanie strumienia rezydualnego z wydajnym jądrem Mega-mHC.
- Engram – pamięć warunkowa o 196 mld parametrów, odpytywana rzadko, przez wyszukiwanie po tokenach.
- DSpark – dekodowanie spekulatywne z półautoregresyjnym generowaniem szkiców i weryfikacją sterowaną pewnością modelu.
- MoE – 1 ekspert wspólny i 384 ekspertów delegowanych na warstwę, z czego 6 aktywnych na token.
- Wizja – encoder DeepSeek-ViT trenowany od zera (2D-RoPE, downsampling 3×3 pixel-unshuffle) plus dwuwarstwowy projektor MLP; obrazy wchodzą do treningu od samego początku.
Faza przedtreningowa: 45 bln tokenów korpusu multimodalnego, rzadka uwaga trenowana przy sekwencji 64 tys. tokenów, kontekst rozszerzony do miliona po 34 bln tokenów. Faza post-treningowa to klasyczne SFT, potem RL, potem on-policy distillation, bez zmian algorytmicznych – cała praca poszła w potok danych, czyli automatyczną syntezę zadań i środowisk agentowych. Model ma też ciągłą regulację wysiłku rozumowania (liczba całkowita od 1 do 100) do handlu między kosztem a jakością.
Wyniki
Model bazowy na tle poprzedników:
| Test | V4-Flash-Base (284 mld) | V4-Pro-Base (1,6 bln) | V4.1-Flash-Base (552 mld) |
|---|---|---|---|
| MMLU-Pro (5-shot) | 68,3 | 73,5 | 74,1 |
| SuperGPQA (5-shot) | 46,5 | 53,9 | 53,1 |
| SimpleQA-Verified | 30,1 | 55,2 | 42,3 |
| HumanEval (Pass@1) | 69,5 | 76,8 | 79,4 |
| BigCodeBench (Pass@1) | 56,8 | 59,2 | 60,6 |
| GSM8K (8-shot) | 90,8 | 92,6 | 93,0 |
| MATH (4-shot) | 57,4 | 64,5 | 61,1 |
| LongBench-V2 | 44,7 | 51,5 | 45,2 |
| MMMU-Pro (4-shot) | – | – | 56,5 |
| DocVQA (LLM-Judge) | – | – | 95,6 |
Wniosek z tej tabeli: model o 552 mld parametrów bazowych wyprzedza konstrukcję o 1,6 bln na części testów rozumowania i kodu (MMLU-Pro, HumanEval, GSM8K, BigCodeBench), ale przegrywa z nią tam, gdzie liczy się szeroka wiedza faktograficzna – SimpleQA-Verified 42,3 wobec 55,2, SuperGPQA 53,1 wobec 53,9, MATH 61,1 wobec 64,5. Wiedza nadal kosztuje parametry, których tu świadomie nie ma.
Po posttrainingu, przy maksymalnym wysiłku rozumowania, obraz jest taki:
| Test | Opus-5.0 | GPT-5.6 Sol | K3 | GLM-5.3 | V4-Pro | V4-Flash | V4.1-Flash |
|---|---|---|---|---|---|---|---|
| Terminal-Bench 2.1 | 89,1 | 88,8 | 88,3 | 88,2 | 87,9 | 82,7 | 90,6 |
| DeepSWE v1.1 | 74,0 | 73,0 | 67,5 | 66,9 | 62,7 | 54,4 | 74,2 |
| CyberGym | – | 84,5 | 80,0 | 84,5 | 83,3 | 76,7 | 88,1 |
| Codeforces (rating) | – | – | – | – | 3348 | 3289 | 3471 |
| AutomationBench | 50,3 | 45,8 | 46,7 | 48,8 | 43,2 | 37,7 | 54,8 |
| Agent’s Last Exam | 28,6 | 26,7 | 27,6 | 28,5 | 25,7 | 25,2 | 31,8 |
| HLE z narzędziami | 63,6 | – | 59,8 | 62,5 | 60,0 | 51,5 | 63,9 |
Skok wobec V4-Flash jest duży: Terminal-Bench 2.1 z 82,7 na 90,6, DeepSWE z 54,4 na 74,2, CyberGym z 76,7 na 88,1. Są jednak miejsca, w których model wyraźnie odstaje od czołówki: HLE 36,8 wobec 56,3 u Opusa (39,1 w podzbiorze tekstowym), Terminal-Bench 3.0 30,0 wobec 43,3, Terminal-Bench 4.0 31,2 wobec 51,8, ExploitGym 15,3 wobec 33,7 u GPT-5.6 Sol. Na nowszych i trudniejszych zestawach agentowych konkurencja nadal ucieka, a autorzy sami oznaczają gwiazdką, że część wyników HLE dotyczy tylko tekstu.
Osobno warto spojrzeć na tabelę uwzględniając rusztowania (harnessy), bo pokazuje, ile wnosi sam agent. Terminal-Bench 2.1: DSH Minimal 90,6, mini-SWE 90,3, Claude Code 88,0, Pi 86,1, OpenCode 85,0, Codex 84,1. DeepSWE v1.1: mini-SWE 74,2, DSH Minimal 72,6, DSH Standard 70,5, Claude Code 69,8. Rozrzut między rusztowaniami to kilka punktów, czyli mniej więcej tyle, ile dzieli sąsiadujące modele w tabeli.
Co z tego wynika dla inżyniera
- Śledź bajty KV cache na token, nie tylko cenę za token. Przy długim kontekście i wielu sesjach to ta liczba decyduje o realnym koszcie, a nie stawka za milion tokenów w cenniku.
- Asymetria prefill i decode (8 wobec 16 mld) premiuje obciążenia agentowe. Jeśli płacisz za cache-hit, warto przeliczyć własne wzorce ruchu pod nowy podział kosztu.
- Wagi są na licencji MIT, plik na Hugging Face ma ponad 570 tys. pobrań, a karta modelu podaje kwantyzację FP8 – model da się odpalić lokalnie.
- Uwaga przy wdrożeniu: wydanie nie zawiera szablonu czatu w formacie Jinja. Zamiast niego jest referencyjna implementacja w Pythonie (katalog
encoding/) oraz zestaw bibliotek w Rust o nazwie deepseek-recipe do kodowania promptów. Zalecane parametry to temperatura 1,0, top_p 0,95 i co najmniej 256 tys. tokenów wyjścia.
O tym modelu pisaliśmy już w sierpniu, przy okazji wydania V4-Flash-0731 – tam chodziło o same wyniki i o to, jak mniejszy model dogonił Pro. Teraz mamy raport techniczny, który pokazuje, skąd te wyniki biorą się architektonicznie, i to jest ciekawsza część.
Zwracam uwagę na kierunek. Reszta rynku ściga się w punktacji, a DeepSeek pracuje nad tym, ile kosztuje utrzymanie kontekstu. Dla każdego, kto trzyma agenta na długim kontekście, jest to dziś istotniejsze niż kolejny punkt w tabeli wyników.
Treść została wygenerowana przy użyciu sztucznej inteligencji i zweryfikowana przez redaktora.
Źródła
- DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression, arXiv:2609.19969 (17.09.2026) – https://arxiv.org/abs/2609.19969
- Karta modelu DeepSeek-V4.1-Flash (licencja MIT, wyniki, szczegóły architektury) – https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash
- Raport techniczny w PDF – https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash/blob/main/DeepSeek_V41_Tech_Report.pdf
- Poprzedni wpis o tym modelu: [PL] DeepSeek-V4-Flash-0731: mniejszy model, który pokonał Pro na benchmarkach agentowych
- China AI Weekly Brief, wydanie 13-20.09.2026 (job 3d03e2d4fae9)
Skomentuj
You must be logged in to post a comment.