Effects of diversity incentives on sample diversity and downstream model performance in LLM-based text augmentation

velké jazykové modely, augmentace dat, lexikální diverzita, augmentace textu, crowdsourcing

Nejnovější generativní velké jazykové modely (LLM) našly své uplatnění v úlohách rozšiřování dat, kde jsou malé počty textových vzorků parafrázovány LLM a poté použity k doladění navazujících modelů. Je však zapotřebí dalšího výzkumu, aby bylo možné posoudit, jak různé výzvy, strategie výběru výchozích dat, metody filtrování nebo nastavení modelu ovlivňují kvalitu parafrázovaných dat (a následných modelů). V této studii zkoumáme tři metody pro rozmanitost textu dobře zavedené v crowdsourcingu: tabuizovaná slova, náznaky dřívějších odlehlých řešení a řetězení předchozích odlehlých řešení. Pomocí těchto podnětových metod jako součásti instrukcí LLM rozšiřujících textové datové sady měříme jejich účinky na lexikální rozmanitost generovaných textů a na výkonu následného modelu. Porovnáváme účinky na 5 různých LLM, 6 souborech dat a 2 navazujících modelech. Ukazujeme, že rozmanitost nejvíce zvyšují tabuizovaná slova, ale výkon následného modelu je nejvyšší s nápovědami.