Digisensus Digisensus
Tyrimai Eksperimentas ·

Transformerių kartojimas populiariausiuose atvirojo kodo modeliuose: protingesni jie netapo

Šis eksperimentas – Digisensus bandymas su kartojamaisiais transformeriais be mokymo: keli modelio viduriniai sluoksniai kiekvienam žetonui paleidžiami du ar tris kartus, modelio nepermokant. Išbandėme tai su dviem populiariausiais atvirojo kodo modeliais, Qwen3.8-27B ir Qwen3.8-Flash-Next, 125B ekspertų mišinio modeliu, abu su vLLM. Štai ką sukūrėme, kaip patikrinome, ką parodė MMLU-Pro ir GPQA-Diamond, ir vieni vertinimo spąstai, kurie mus vos neapgavo.

Digisensus · Vilnius

Straipsnis arXiv Visi tyrimai

Santrauka

Nė vienas modelis netapo geresnis. Kartojome sluoksnius Qwen3.8-27B ir Qwen3.8-Flash-Next, 125B ekspertų mišinio modelyje, kuris kiekvienam žetonui naudoja tik apie 6B savo parametrų. Iš 34 Flash-Next konfigūracijų ir dešimčių 27B konfigūracijų nė vienas nustatymas nepakėlė MMLU-Pro tikslumo virš triukšmo. Tai ir visas rezultatas. Visa kita – kaip iki jo priėjome ir už ko pakeliui užkliuvome.

Idėja kilusi iš straipsnio Training-Free Looped Transformers (Chen et al., 2026). Imamas užbaigtas modelis ir keli jo viduriniai sluoksniai paleidžiami daugiau nei kartą. Jokio mokymo, jokių naujų svorių, tik papildomi perėjimai. Straipsnyje Qwen3-4B modeliui pateikiamas +2,6 proc. p. MMLU-Pro pagerėjimas, kuris Qwen3-30B-A3B susitraukia iki daugiausia +1,1 proc. p. („proc. p.“ – procentiniai punktai.)

Ta mažėjanti kreivė mus sudomino. Ar kas nors liktų esant 27B? Ir ar Flash-Next, turintis vos apie 6B aktyvių parametrų, elgtųsi kaip maži modeliai, kuriuose nauda didžiausia? 2026 m. spalį išbandėme abu su vLLM. Protingesni jie netapo, bet kelionę verta aprašyti.

Kaip veikia kartojimas

Pasirenkama keletas gretimų sluoksnių, grupė pavadinama g ir paleidžiama K kartų vietoj vieno, kaskart žengiant tik dalį žingsnio:

x ← x + (1 / K) · (g(x) − x)

Kiekvienas perėjimas modelio vidinę būseną pastumia tik 1/K kelio link to, ko nori sluoksniai. Tie maži žingsniai vadinami slopinimu. Paprastas kartojimas vėlesnius sluoksnius išmuša iš vėžių, o slopinimas viską laiko kelyje. Straipsnyje slopinimas laikomas būtinu, tą patį nustatėme ir mes.

Taip pat reikėjo apsaugoti modelio atmintį apie iki tol perskaitytą tekstą. Kartojami sluoksniai neturi jos didinti ar perrašyti, todėl naudojome straipsnio nustatymą cache=first: ilgalaikį įrašą palieka tik pirmasis perėjimas, o papildomi perėjimai nepalieka nieko.

Abu modeliai prideda vingį, su kuriuo straipsnis nesusidūrė. Dauguma jų sluoksnių yra Gated DeltaNet (GDN) sluoksniai, turintys einamąją atmintį, kurią atnaujina vietoje. Paleidus tokį sluoksnį tris kartus, jo atmintis pasislenka tris kartus. Todėl tą atmintį prieš kartojimą išsaugome ir prieš kiekvieną papildomą perėjimą grąžiname, kad kiekvienas perėjimas startuotų iš tos pačios vietos.

1 etapas: Qwen3.8-27B su vLLM

27B modelyje joks sluoksnių pasirinkimas, lango plotis ar kartojimų skaičius tikslumo nepagerino. Keli jį pablogino.

Sąranka. Pakeitėme vLLM 0.28.0 failą qwen3_next.py , kad kartotų pasirinktą sluoksnių langą, o nustatymus laikėme mažame faile, kurį galėjome redaguoti serveriui veikiant. 48 iš 64 modelio sluoksnių yra GDN sluoksniai, todėl didžiąją darbo dalį sudarė jų einamosios atminties išsaugojimas ir grąžinimas.

Prieš pasitikėdami, patikrinome jį su nepaliestu modeliu. Kai papildomi perėjimai vyksta, bet jų rezultatas atmetamas (beta=1), atsakymai turi sutapti tiksliai. Taip ir buvo, žetonas po žetono: 735 iš 735. Palengvėjimas.

Testas. MMLU-Pro – platus žinių testas su pasirenkamais atsakymais. Pavyzdžių nedavėme, mąstymą laikėme išjungtą ir vertinome atsakymo raidę, kuriai modelis atsakymo pradžioje teikė pirmenybę. Kiekviena konfigūracija su atskaitos tašku lyginama tais pačiais klausimais, taikant tikslų McNemaro testą; jo p reikšmė sako, kaip lengvai skirtumą paaiškintų vien atsitiktinumas. Tą pačią konfigūraciją paleidus du kartus visiems 12 032 klausimų, jau apsiverčia 233 atsakymai (−0,06 proc. p.), tad viskas, kas tokio dydžio, yra triukšmas.

Visas MMLU-Pro, 12 032 klausimų, Qwen3.8-27B; atskaitos tikslumas 59,81 %. Δ tikslumas – pokytis, palyginti su atskaitos tašku, procentiniais punktais; p – testo p reikšmė; ΔP(gold) – tikimybės, kurią modelis skiria teisingai raidei, pokytis.
KonfigūracijaΔ tikslumaspΔP(gold)
Atskaitos taškas, paleistas dar kartą−0,06 proc. p.0,69−0,03 proc. p.
Sluoksniai 32–35, K=2−0,15 proc. p.0,61+0,32 proc. p.
Sluoksniai 32–35, K=3−0,21 proc. p.0,49+0,06 proc. p.
Sluoksniai 32–35, K=2, beta=0,5−0,47 proc. p.0,08+0,08 proc. p.
Sluoksniai 33–36, K=2−0,51 proc. p.0,06+1,39 proc. p.
Sluoksniai 30–33, K=2−0,59 proc. p.0,04−3,48 proc. p.

Sluoksnių peržvalga 2 000 klausimų poaibyje

Atskaitos taškas 60,85 %. Šiame mažesniame rinkinyje du tos pačios konfigūracijos paleidimai gali skirtis maždaug 0,7 proc. p., tad skaičius skaitykite tai turėdami omenyje.

  • Padėtis. Sluoksniai 0–3 – katastrofa: tikslumas krenta iki 11,00 %. Sluoksniai 4–7 ir 40–43 kainuoja nuo 1,6 iki 2,8 proc. p. Visur kitur rezultatas patenka tarp −1,3 ir +0,1 proc. p. Net geriausi langai (44–47 ir 56–59 su K=3, +0,10 proc. p.) yra triukšmas.
  • Plotis. Kuo platesnis, tuo blogiau. Aštuonių sluoksnių langai praranda nuo 1,9 iki 3,2 proc. p.; 16 sluoksnių langas praranda 1,25 proc. p. tikslumo ir 6,1 proc. p. P(gold). Vieno ir dviejų sluoksnių langai nekeičia nieko.
  • Kartojimų skaičius. Daugiau perėjimų kenkia: K=2 −0,6 proc. p., K=4 −1,25 proc. p., K=6 −1,7 proc. p., K=8 −1,35 proc. p..
  • Slopinimas. Paprastas kartojimas pasirodė blogiau nei maži žingsniai (−1,95 proc. p. prieš −0,60 proc. p.), kaip ir numato straipsnis.

Taigi straipsnio dėsningumas pasirodė: slopinimas svarbus, pirmųjų sluoksnių liesti negalima, o siauri viduriniai langai saugūs. Pati nauda taip ir nepasirodė.

2 etapas: Qwen3.8-Flash-Next pataisytame vLLM

Flash-Next prireikė gilesnių vLLM pakeitimų, ir jokiu jo rezultatu nepasitikėjome, kol pataisytas variklis neįrodė, kad sutampa su originalu.

Trumpai, pataisa daro tris dalykus:

  • Kartoja pasirinktus sluoksnius. Modelis eina per sluoksnius iš eilės, pasirinktą langą paleidžia K kartų ir tęsia toliau.
  • Atmintį rašo vieną kartą. Modelio atmintį apie tekstą atnaujina tik pirmasis perėjimas per langą. Papildomi perėjimai dirba su laikina kopija ir nepalieka nieko, o GDN einamoji atmintis išsaugoma ir grąžinama taip pat, kaip 27B modelyje.
  • Atsisako to, ko nemoka. Viskas, ko pataisa neaprėpia, sustoja su klaida, užuot tyliai veikę neteisingai. Tai mus apribojo 32k kontekstu.

Buvo dar vienas kabliukas. Flash-Next atsakymą dažnai pradeda „To…“, o ne raide, todėl tikėčiausias pirmas žetonas ne visada yra atsakymo variantas. Vietoj to pirmame išvesties žetone fiksavome raidžių A–J tikimybes.

Keturios patikros prieš bet kokią paiešką

Nustatėme keturias patikras ir nieko nepaleidome, kol visos keturios nepraeitos.

Keturios patikros su 1 000 MMLU-Pro klausimų. Kiekviena turi sutapti su ankstesne, kitaip paieška neprasideda.
PatikraRezultatas
Nepakeistas variklis, paleistas du kartusLygiai tos pačios raidžių tikimybės (apsiverčia 0 iš 1 000 atsakymų)
Pataisytas variklis, kartojimas išjungtasLygiai tas pats kaip nepakeistame
K=1 sluoksniuose 32–35 (tik kartojimo mechanizmas, be pakartojimų)Apsiverčia 7 iš 1 000 atsakymų (+0,5 proc. p., p=0,13) dėl vieno apvalinimo skirtumo
K=3 atmetant kartojimo rezultatąLygiai tas pats kaip K=1: atkūrimas nepalieka pėdsakų

Paskutinė patikra pirmą kartą nepraeita: sutapo 13 iš 40 atsakymų, o ne visi 40. Trumpi atsakymai atrodė gerai, o tai rodė į užklausos nuskaitymą. Po kartojimo skaitiklis likdavo ties 1, todėl kiekvienas vėlesnis sluoksnis manė esąs pakartotiniame perėjime ir praleisdavo atminties įrašymus. Vienas pataisymas, ir visos keturios patikros praeitos.

Be tos patikros kiekviena konfigūracija būtų matavusi tyliai sugadintą modelį, o visa paieška būtų skambėjusi kaip „kartojimas kenkia“. Ta viena lentelė išgelbėjo eksperimentą.

2 etapo rezultatai: lygu, paskui spąstai

Flash-Next davė tą patį tylų „nieko neįvyko“. Paieška apėmė 34 konfigūracijas su 1 000 MMLU-Pro klausimų. Pataisytas variklis visiškai deterministinis, todėl pakartotas atskaitos taškas neapvertė nė vieno atsakymo. Atskaitos tikslumas buvo 62,30 %.

Kartojimas Flash-Next niekada nepadėjo, o du regionai aiškiai pakenkė. P(gold | raidės) – kokia modelio balso tarp atsakymo raidžių dalis atitenka teisingai. Pokyčiai, palyginti su atskaitos tašku, procentiniais punktais, 4 sluoksnių langams su K=2 ir K=3, 1 000 MMLU-Pro klausimų. Kiekviena eilutė apima to regiono langus nuo blogiausio iki geriausio; sluoksniai 4–7 ir 8–11 rodomi kartu.
Kartojamas langas (sluoksniai)ΔP(gold | raidės), blogiausiaΔP(gold | raidės), geriausiaĮvertis
4–11 +0,10 proc. p. +0,20 proc. p. Triukšmo ribose
12–15 −0,25 proc. p. −0,13 proc. p. Lygu arba šiek tiek blogiau
16–19 −0,32 proc. p. −0,13 proc. p. Lygu arba šiek tiek blogiau
20–23 −1,96 proc. p. −1,44 proc. p. Aiškiai pakenkė
24–31 −0,80 proc. p. −0,18 proc. p. Lygu arba šiek tiek blogiau
32–35 −0,57 proc. p. −0,11 proc. p. Lygu arba šiek tiek blogiau
36–43 −1,21 proc. p. −0,70 proc. p. Aiškiai pakenkė
44–46 −0,22 proc. p. −0,13 proc. p. Lygu arba šiek tiek blogiau

Joks tikslumo pokytis niekur nebuvo reikšmingas; visos p reikšmės buvo 0,11 ar didesnės. Geriausias langas (sluoksniai 16–19, K=3) davė +0,7 proc. p. su p=0,39, o tai monetos metimas. Variantai taip pat nepadėjo: K=4 ir K=6 buvo lygūs arba blogesni, 8 sluoksnių langai davė +0,07 proc. p. ir +0,16 proc. p., o beta=0,5 davė +0,07 proc. p..

Vienas skirtumas nuo 27B: Flash-Next sluoksnių 4–7 kartojimą tiesiog nusipurto, o 27B modelis ten prarado iki 2,8 proc. p.

Raidžių masės spąstai

Įpusėjus atrodė, kad kažką turime. Langai sluoksniuose 8–19 P(gold), teisingos raidės tikimybę, pakėlė iki 0,35 proc. p. Neslopintas sluoksnių 16–19 kartojimas atrodė dar geriau. Truputį apsidžiaugėme.

Tai buvo miražas. Prisiminkime, kad Flash-Next mėgsta pradėti „To…“. Kartojimas tą pradžią daro mažiau tikėtiną, o kiekvieną atsakymo raidę – labiau tikėtiną, ir teisingas, ir klaidingas. Neapdorota P(gold) tai skaičiuoja kaip pažangą.

Sprendimas – žiūrėti tik į atsakymo raides: P(gold | raidės). Su neslopintu kartojimu raidės įgijo +7,75 proc. p. visos tikimybės, bet pataisytas rodiklis pasislinko tik +0,15 proc. p.. Modelis tapo labiau linkęs atsakyti raide, o ne geriau rinktis teisingą. Lentelėje aukščiau naudojamas pataisytas rodiklis.

Patvirtinimas naujais klausimais

Paėmėme du geriausius kandidatus ir juos paleidome iš naujo su 3 000 MMLU-Pro klausimų (2 000 iš jų nauji) ir su visais 198 GPQA-Diamond klausimais – sunkiu magistrantūros lygio mokslo klausimų rinkiniu. Atskaitos taškai buvo 62,93 % ir 50,51 %.

Du geriausi Flash-Next kandidatai, patikrinti dar kartą. Pokyčiai, palyginti su atskaitos tašku, procentiniais punktais; p – tikslaus McNemaro testo reikšmė. Nauji 2 000 – MMLU-Pro klausimai, kurių paieška nematė.
KonfigūracijaMMLU-Pro 3 000: Δ tikslumasNauji 2 000: Δ tikslumasNauji 2 000: ΔP(gold | raidės)GPQA-Diamond: Δ tikslumasGPQA-Diamond: ΔP(gold | raidės)
Sluoksniai 8–11, K=4 +0,30 proc. p. (p=0,51) +0,10 proc. p. +0,43 proc. p. −2,02 proc. p. (p=0,42) −0,01 proc. p.
Sluoksniai 16–19, K=3 +0,10 proc. p. (p=0,87) −0,20 proc. p. −0,36 proc. p. +1,01 proc. p. (p=0,82) +0,34 proc. p.

Nė vienas nepasitvirtino. Tarp testų nauda virto nuostoliu, ir nieko nepriartėjo prie reikšmingumo.

Ko išmokome

Kartojimas be mokymo yra tikras ir šiuose hibridiniuose modeliuose veikia švariai. Tik tokio dydžio modelių žinių testuose jis protingesnių nepadaro.

  • Mechanizmas persikelia. Slopinimas pranoksta paprastą kartojimą, pirmųjų sluoksnių kartoti negalima, o siauri langai saugūs – viskas kaip straipsnyje. Išsaugant ir grąžinant einamąją atmintį šie hibridiniai modeliai kartojasi tiksliai, ką mūsų patikros parodė bitas į bitą.
  • Nauda nepersikelia. Paties straipsnio skaičiai didėjant modeliui mažėja, o esant 27B tankiajam ir 125B ekspertų mišinio modeliui pasiekia nulį. Maža aktyvių parametrų dalis Flash-Next neišgelbėjo. Vienas spėjimas: ekspertų mišinio modelis kiekviename perėjime gali rinktis kitus ekspertus, todėl kiekvienas perėjimas dirba kitą darbą, užuot tikslinęs tą patį. Kitas: naudai reikia daugiau nei vien kartojimo. Abu – tik spėjimai.
  • Patikrinkite, už ką apdovanoja jūsų rodiklis. Neapdorota P(gold) apdovanojo modelį už atsakymą raide vietoj „To…“. Bet kokiam pirmojo žetono vertinimui su modeliu, kuris ne visada atsako raide, reikia P(gold | raidės).
  • Patikrinkite prieš matuodami. Keturios mažos patikros sugavo klaidą, kuri būtų tyliai sugadinusi visas 34 Flash-Next konfigūracijas.

Ko neišbandėme: samprotavimo užduočių su įjungtu mąstymu, kur papildomi perėjimai galėtų atsipirkti labiau nei vienos raidės atsakymas; varianto cache=last, kuris išsaugo paskutinio perėjimo atmintį vietoj pirmojo; ir langų, apimančių dvi Flash-Next sluoksnių grupes (po tris GDN sluoksnius ir vieną dėmesio sluoksnį). Jei kartojimas tokio dydžio modeliams kur nors padeda, toliau ieškotume samprotavimo užduotyse su įjungtu mąstymu.

Literatūra

  1. Chen et al. (2026). Training-Free Looped Transformers. arxiv.org/abs/2605.23872

Modeliai: Qwen3.8-27B (tankusis, hibridinis Gated DeltaNet ir dėmesio) ir Qwen3.8-Flash-Next (125B ekspertų mišinys, apie 6B aktyvių parametrų), abu su vLLM. Testai: MMLU-Pro ir GPQA-Diamond, zero-shot, mąstymas išjungtas, vertinama pirmame išvesties žetone. Su šiuo eksperimentu modeliai, duomenys ar kodas neskelbti.