Detail publikace

A Survey on Stability of Learning with Limited Labelled Data and its Sensitivity to the Effects of Randomness

PECHER, B.; SRBA, I.; BIELIKOVÁ, M. A Survey on Stability of Learning with Limited Labelled Data and its Sensitivity to the Effects of Randomness. ACM COMPUTING SURVEYS, 2024, vol. 57, no. 1, p. 1-40. ISSN: 0360-0300.
Název česky
Prieskum stability učenia s obmedzenými označenými údajmi a jeho citlivosti na vplyvy náhodnosti
Typ
článek v časopise
Jazyk
anglicky
Autoři
Pecher Branislav, Ing. (UPGM)
SRBA, I.
Bieliková Mária, prof. Ing., Ph.D. (UPGM)
URL
Klíčová slova

randomness, stability, sensitivity, meta-learning, large language models,
fine-tuning, prompting, in-context learning, instruction-tuning, prompt-based
learning, PEFT, literature survey

Abstrakt

Učenie s obmedzenými označenými údajmi, ako sú prompting, učenie v kontexte,
doladenie (fine-tuning), meta-učenie alebo učenie s malým počtom príkladov
(few-shot learning), sa zameriava na efektívne trénovanie modelu pomocou iba
malej množiny označených vzoriek. Tieto prístupy však vykazujú nadmernú citlivosť
na účinky nekontrolovanej náhodnosti spôsobenej nedeterministickými procesmi
počas trénovania. Táto náhodnosť negatívne ovplyvňuje stabilitu modelov, čo vedie
k veľkým rozdielom vo výsledkoch medzi jednotlivými spusteniami trénovania. Ak je
táto citlivosť ignorovaná, môže neúmyselne, ale bohužiaľ aj úmyselne, vytvárať
falošný dojem o pokroku vo výskume. Táto oblasť výskumu nedávno začala priťahovať
pozornosť a počet relevantných štúdií neustále rastie. V tomto prieskume
poskytujeme komplexný prehľad 415 prác, ktoré sa zaoberajú účinkami náhodnosti na
stabilitu učenia s obmedzenými označenými údajmi. Rozlišujeme štyri hlavné úlohy
riešené v týchto prácach (skúmať/hodnotiť; určiť; zmierniť;
porovnávať/zaznamenávať účinky náhodnosti) a uvádzame zistenia pre každú z nich.
Navyše identifikujeme a diskutujeme sedem výziev a otvorených problémov spolu
s možnými smermi na podporu ďalšieho výskumu. Hlavným cieľom tohto prieskumu je
zdôrazniť dôležitosť tejto rastúcej oblasti výskumu, ktorá doteraz nezískala
primeranú pozornosť, a ukázať významné smery pre budúci výskum.

Rok
2024
Strany
1–40
Časopis
ACM COMPUTING SURVEYS, roč. 57, č. 1, ISSN 0360-0300
Kniha
ACM Computing Surveys
Vydavatel
Association for Computing Machinery
DOI
10.1145/3691339
UT WoS
001368989600008
EID Scopus
2-s2.0-85208394765
BibTeX 
@article{BUT193234,
  author="PECHER, B. and SRBA, I. and BIELIKOVÁ, M.",
  title="A Survey on Stability of Learning with Limited Labelled Data and its Sensitivity to the Effects of Randomness",
  journal="ACM COMPUTING SURVEYS",
  year="2024",
  volume="57",
  number="1",
  pages="1--40",
  doi="10.1145/3691339",
  issn="0360-0300",
  url="https://dl.acm.org/doi/10.1145/3691339?cid=81474695895"
}
Nahoru