Detail publikace

NeurIPS 2020 EfficientQA Competition: Systems, Analyses and Lessons Learned

MIN, S.; FAJČÍK, M.; DOČEKAL, M.; ONDŘEJ, K.; SMRŽ, P. NeurIPS 2020 EfficientQA Competition: Systems, Analyses and Lessons Learned. In Proceedings of the NeurIPS 2020 Competition and Demonstration Track. Proceedings of Machine Learning Research. online: Proceedings of Machine Learning Research, 2021. p. 86-111. ISSN: 2640-3498.
Název česky
Soutěž NeurIPS 2020 EfficientQA: Systémy, analýzy a získané lekce
Typ
článek ve sborníku konference
Jazyk
anglicky
Autoři
MIN, S.
Fajčík Martin, Ing., Ph.D. (UPGM)
Dočekal Martin, Ing. (UPGM)
Ondřej Karel, Ing. (FIT)
Smrž Pavel, doc. RNDr., Ph.D. (UPGM)
a další
URL
Klíčová slova

odpovídaní na otázky, QA, ODQA, efficientQA, paměť, disková paměť, rozpočet,
korpusy pro vyhledávání 

Abstrakt

V tejto práci dokumentujeme soutěž EfficientQA z NeurIPS 2020. Soutěž se zaměřila
na zodpovídání otázek v otevřené doméně (QA), kde systémy berou otázky
v přirozeném jazyce jako vstup a vracejí odpovědi v přirozeném jazyce. Cílem
soutěže bylo vybudovat systémy, které dokážou předvídat správné odpovědi
a zároveň uspokojit přísné limity na diskovou paměť. Tyto paměťové rozpočty byly
navrženy tak, aby motivovali soutěžící prozkoumat kompromis mezi ukládáním
vyhledávacích korpusů a parametry naučených modelů. V této zprávě popisujeme
motivaci a organizaci soutěže, přezkoumáváme nejlepší výsledky a analyzujeme
předpovědi systému, abychom mohli vést diskusi o hodnocení kontroly kvality
systémov pre odpovídaní na otázky nad otevřenou doménou. 

Rok
2021
Strany
86–111
Sborník
Proceedings of the NeurIPS 2020 Competition and Demonstration Track
Řada
Proceedings of Machine Learning Research
Svazek
133
Číslo
133
Konference
Třicátá čtvrtá konference o neuronových systémech pro spracování informací, online, US
Vydavatel
Proceedings of Machine Learning Research
Místo
online
UT WoS
001230205200019
EID Scopus
2-s2.0-85162627943
BibTeX 
@inproceedings{BUT175821,
  author="MIN, S. and FAJČÍK, M. and DOČEKAL, M. and ONDŘEJ, K. and SMRŽ, P.",
  title="NeurIPS 2020 EfficientQA Competition: Systems, Analyses and Lessons Learned",
  booktitle="Proceedings of the NeurIPS 2020 Competition and Demonstration Track",
  year="2021",
  series="Proceedings of Machine Learning Research",
  volume="133",
  number="133",
  pages="86--111",
  publisher="Proceedings of Machine Learning Research",
  address="online",
  issn="2640-3498",
  url="http://proceedings.mlr.press/v133/min21a/min21a.pdf"
}
Nahoru