Detail publikace
Disinformation Capabilities of Large Language Models
Pikuliak Matúš
Srba Ivan
Móro Róbert
Macko Dominik
Bieliková Mária, prof. Ing., PhD. (UPGM FIT VUT)
Automatické generování dezinformací je často uváděno jako jedno z rizik velkých jazykových modelů (LLM). Teoretická schopnost zaplavit informační prostor dezinformačním obsahem může mít dramatické důsledky pro demokratické společnosti po celém světě. Tento článek představuje komplexní studii dezinformačních schopností současné generace LLM generovat falešné zpravodajské články v anglickém jazyce. V naší studii jsme hodnotili schopnosti 10 LLM pomocí 20 dezinformačních narativů. Hodnotili jsme několik aspektů LLM: jak dobře umí generovat zpravodajské články, jak silně mají tendenci souhlasit nebo nesouhlasit s dezinformačními narativy, jak často generují bezpečnostní varování atd. Hodnotili jsme také schopnosti detekčních modelů odhalit tyto články jako generované LLM. Došli jsme k závěru, že LLM jsou schopny generovat přesvědčivé zpravodajské články, které souhlasí s nebezpečnými dezinformačními narativy.
@INPROCEEDINGS{FITPUB13150,
author = "Ivan Vykopal and Mat\'{u}\v{s} Pikuliak and Ivan Srba and R\'{o}bert M\'{o}ro and Dominik Macko and M\'{a}ria Bielikov\'{a}",
title = "Disinformation Capabilities of Large Language Models",
pages = "14830--14847",
booktitle = "Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
year = 2024,
location = "Bangkok, TH",
publisher = "Association for Computational Linguistics",
ISBN = "979-8-8917-6094-3",
doi = "10.18653/v1/2024.acl-long.793",
language = "english",
url = "https://www.fit.vut.cz/research/publication/13150"
}