Detail publikace
Disinformation Capabilities of Large Language Models
PIKULIAK, M.
SRBA, I.
MÓRO, R.
MACKO, D.
Bieliková Mária, prof. Ing., Ph.D. (UPGM)
large language models, disinformation generation, human evaluation, fake news
detection
Automatické generování dezinformací je často uváděno jako jedno z rizik velkých
jazykových modelů (LLM). Teoretická schopnost zaplavit informační prostor
dezinformačním obsahem může mít dramatické důsledky pro demokratické společnosti
po celém světě. Tento článek představuje komplexní studii dezinformačních
schopností současné generace LLM generovat falešné zpravodajské články
v anglickém jazyce. V naší studii jsme hodnotili schopnosti 10 LLM pomocí 20
dezinformačních narativů. Hodnotili jsme několik aspektů LLM: jak dobře umí
generovat zpravodajské články, jak silně mají tendenci souhlasit nebo nesouhlasit
s dezinformačními narativy, jak často generují bezpečnostní varování atd.
Hodnotili jsme také schopnosti detekčních modelů odhalit tyto články jako
generované LLM. Došli jsme k závěru, že LLM jsou schopny generovat přesvědčivé
zpravodajské články, které souhlasí s nebezpečnými dezinformačními narativy.
@inproceedings{BUT193294,
author="VYKOPAL, I. and PIKULIAK, M. and SRBA, I. and MÓRO, R. and MACKO, D. and BIELIKOVÁ, M.",
title="Disinformation Capabilities of Large Language Models",
booktitle="Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
year="2024",
pages="14830--14847",
publisher="Association for Computational Linguistics",
address="Bangkok",
doi="10.18653/v1/2024.acl-long.793",
isbn="979-8-8917-6094-3",
url="https://aclanthology.org/2024.acl-long.793"
}