Detail publikace

On Sensitivity of Learning with Limited Labelled Data to the Effects of Randomness: Impact of Interactions and Systematic Choices

PECHER, B.; SRBA, I.; BIELIKOVÁ, M. On Sensitivity of Learning with Limited Labelled Data to the Effects of Randomness: Impact of Interactions and Systematic Choices. Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing. Miami: Association for Computational Linguistics, 2024. p. 522-556. ISBN: 979-8-8917-6164-3.
Název česky
O citlivosti učenia s obmedzenými označenými dátami na efekty náhodnosti: Vplyv interakcií a systematických rozhodnutí
Typ
článek ve sborníku konference
Jazyk
anglicky
Autoři
Pecher Branislav, Ing. (UPGM)
SRBA, I.
Bieliková Mária, prof. Ing., Ph.D. (UPGM)
Klíčová slova

NLP in resource-constrained settings, in-context learning, fine-tuning,
meta-learning, sensitivity, effects of randomness, stability

Abstrakt

Učenie s obmedzenými označenými dátami dokáže efektívne zvládať nedostatok
označených vzoriek, avšak je citlivé na účinky nekontrolovanej náhodnosti, ktorú
spôsobujú takzvané faktory náhodnosti (t. j. nedeterministické rozhodnutia, ako
je výber alebo poradie vzoriek). Navrhujeme a formalizujeme metódu na
systematické skúmanie účinkov jednotlivých faktorov náhodnosti, pričom berieme do
úvahy aj interakcie (závislosti) medzi nimi. Na tento účel naša metóda zmierňuje
účinky ostatných faktorov a zároveň sleduje, ako sa výkonnosť mení naprieč
viacerými spusteniami. Pri aplikácii našej metódy na viaceré faktory náhodnosti
v prístupoch učenia v kontexte (in-context learning) a doladenia (fine-tuning) na
7 reprezentatívnych úlohách klasifikácie textu a v meta-učení na 3 úlohách sme
zistili, že 1) ignorovanie interakcií medzi faktormi náhodnosti v existujúcich
prácach viedlo k nekonzistentným záverom kvôli nesprávnemu pripisovaniu účinkov
faktorov náhodnosti, ako napríklad nesprávne vyvrátenie citlivosti učenia
v kontexte na poradie vzoriek, aj pri náhodnom výbere vzoriek; a 2) Okrem
vzájomných interakcií sú účinky faktorov náhodnosti, najmä poradia vzoriek,
závislé aj od systematických rozhodnutí, ktoré v existujúcich prácach neboli
preskúmané, ako je počet tried, počet vzoriek na triedu alebo výber formátu
promptov.

Rok
2024
Strany
522–556
Sborník
Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing
Konference
Conference on Empirical Methods in Natural Language Processing, Miami, Florida, US
ISBN
979-8-8917-6164-3
Vydavatel
Association for Computational Linguistics
Místo
Miami
DOI
10.18653/v1/2024.emnlp-main.32
BibTeX 
@inproceedings{BUT193223,
  author="PECHER, B. and SRBA, I. and BIELIKOVÁ, M.",
  title="On Sensitivity of Learning with Limited Labelled Data to the Effects of Randomness: Impact of Interactions and Systematic Choices",
  booktitle="Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing",
  year="2024",
  pages="522--556",
  publisher="Association for Computational Linguistics",
  address="Miami",
  doi="10.18653/v1/2024.emnlp-main.32",
  isbn="979-8-8917-6164-3"
}
Nahoru