Detail publikace
FIT BUT at SemEval-2023 Task 12: Sentiment Without Borders - Multilingual Domain Adaptation for Low-Resource Sentiment Classification
Kesiraju Santosh (UPGM FIT VUT)
Dufková Aneta, Ing. (FIT VUT)
Smrž Pavel, doc. RNDr., Ph.D. (UPGM FIT VUT)
Tento článek představuje naši navrhovanou metodu pro SemEval-2023 Úlohu 12, která se zaměřuje na analýzu sentimentu pro jazyky s nízkými zdroji v Africe. Naše metoda využívá přístupu adaptace domény založeného na jazyce, který využívá adversárního trénování, kde malá verze Afro-XLM-Roberta slouží jako generátorový model a feed-forward síť jako diskriminátor. Zúčastnili jsme se všech tří podúloh: monolingvální (12 stop), multilingvální (1 stop), a zero-shot (2 stopy). Naše výsledky ukazují zlepšení váženého F1 pro 13 ze 15 stop s maximálním nárůstem o 4,3 bodu pro marockou arabštinu ve srovnání s referenční hodnotou. Zjistili jsme, že použití značek založených na rodině jazyků spolu s reprezentacemi vstupu na úrovni sekvence pro model diskriminátoru zlepšuje kvalitu mezi-jazykové analýzy sentimentu pro jazyky, které nebyly viděny během tréninku. Navíc naše experimentální výsledky naznačují, že trénování systému na jazycích, které jsou blízko v jazykovém stromu, zvyšuje kvalitu analýzy sentimentu pro jazyky s nízkými zdroji. Nakonec byla zachována výpočetní složitost kroku predikce na stejné úrovni, což činí přístup zajímavým z praktického hlediska. Kód přístupu lze nalézt v našem repozitáři.
@INPROCEEDINGS{FITPUB13043, author = "Maksim Aparovich and Santosh Kesiraju and Aneta Dufkov\'{a} and Pavel Smr\v{z}", title = "FIT BUT at SemEval-2023 Task 12: Sentiment Without Borders - Multilingual Domain Adaptation for Low-Resource Sentiment Classification", pages = "1518--1524", booktitle = "Proceedings of the The 17th International Workshop on Semantic Evaluation (SemEval-2023)", year = 2023, location = "Toronto (online), CA", publisher = "Association for Computational Linguistics", ISBN = "978-1-959429-99-9", doi = "10.18653/v1/2023.semeval-1.209", language = "english", url = "https://www.fit.vut.cz/research/publication/13043" }