Digisensus Digisensus
Tyrimai

Dalijamės savo tyrimais ASR, LLM ir kitų DI technologijų srityje

Digisensus tyrimai – tai mūsų skelbiamos studijos apie šnekos atpažinimą, didelius kalbos modelius ir kitas technologijas, kuriomis remiasi mūsų produktai.

Tyrimai

Paskelbti tyrimai

Tyrimas ltd26

Lietuvių šnekos atpažinimas: tarminių įrašų mokymo ir transkripcijų rašybos poveikis

Ar tarminiai įrašai pagerina lietuvių šnekos atpažinimą ir ar jų transkripcijos turėtų būti tarminės, ar bendrinės rašybos? Kontroliuojamas mokymo tyrimas su LIEPA-3 tekstynu: 18 mokymo paleidimų, iš anksto užregistruotas protokolas ir nepriklausomas klientų aptarnavimo testas.

  • Tarmių WER krenta nuo 41,62 % iki 31,30 % su 82 val. tarminės šnekos; tiek pat kitos šnekos pasiekia tik 40,04 %
  • Pirmos 25 valandos duoda apie du trečdalius pagerėjimo
  • Klientų aptarnavimo WER krenta nuo 44,89 % iki 39,06 % su bendrinės rašybos tarminėmis transkripcijomis

Paskelbta: Kodas (MIT), trys duomenų rinkiniai ir šeši mokyti modeliai (CC BY 4.0) bei visa ataskaita PDF formatu.

Eksperimentai

Eksperimentai

Trumpi įrašai apie vieną klausimą, kurį išbandėme ir į kurį atsakėme. Lengvesni už tyrimą: be išankstinės registracijos, o neigiamas rezultatas skelbiamas taip pat noriai kaip ir teigiamas.

Eksperimentas

Transformerių kartojimas populiariausiuose atvirojo kodo modeliuose: protingesni jie netapo

Kartojamieji transformeriai be mokymo kelis modelio vidurinius sluoksnius paleidžia daugiau nei kartą, modelio nepermokant. Išbandėme tai su vLLM dviejuose populiariausiuose atvirojo kodo modeliuose: Qwen3.8-27B ir Qwen3.8-Flash-Next, 125B ekspertų mišinio modelyje. Protingesni jie netapo, o vieni vertinimo spąstai mus vos neapgavo.

  • Dešimtys 27B konfigūracijų ir 34 Flash-Next konfigūracijos: nė viena nepranoko atskaitos taško virš triukšmo, o keli 27B langai jį reikšmingai pablogino
  • Straipsnio mechanizmas pasitvirtino: slopinimas pranoksta paprastą kartojimą, pirmųjų sluoksnių kartoti negalima, siauri langai saugūs
  • Metrikos spąstai: neapdorota P(gold) apdovanojo modelį už atsakymą raide, o ne už teisingos raidės pasirinkimą
  • Qwen3.8-27B
  • Qwen3.8-Flash-Next
  • MMLU-Pro
  • GPQA-Diamond
  • vLLM

Remkitės tuo

Kiekvieno tyrimo duomenų rinkiniai, modeliai ir kodas su licencijomis pateikiami Atviro kodo puslapyje.

Atviras kodas GitHub Hugging Face