Detail publikace
DAIC-WOZ: On the Validity of Using the Therapist's prompts in Automatic Depression Detection from Clinical Interviews
Ramirez Reyes Ernesto Antonio (CIMAT)
Villatoro-tello Esaú (IDIAP)
Sánchez-vega Fernando (CIMAT)
López-monroy A. Pastor (CIMAT)
Motlíček Petr, doc. Ing., Ph.D. (UPGM FIT VUT)
zkreslení, detekce deprese, vysvětlitelnost
Automatická detekce deprese z konverzačních dat si v posledních letech získala značný zájem. Pro tento úkol se hojně využívá soubor dat DAIC-WOZ, rozhovory vedené virtuálním agentem ovládaným člověkem. Nedávné studie uvádějí zvýšení výkonu při zahrnutí podnětů tazatele do modelu. V této práci předpokládáme, že toto zlepšení může být způsobeno především zkreslením přítomným v těchto pobídkách, nikoliv navrženými architekturami a metodami. Prostřednictvím ablačních experimentů a kvalitativní analýzy zjišťujeme, že modely využívající podněty tazatele se učí zaměřovat na specifickou oblast rozhovorů, kde jsou kladeny otázky týkající se minulých zkušeností s duševními problémy, a využívat je jako diskriminační zkratky k detekci depresivních účastníků. Naproti tomu modely využívající odpovědi účastníků shromažďují důkazy z celého rozhovoru. Nakonec, abychom zdůraznili rozsah tohoto zkreslení, dosáhneme záměrným využitím skóre 0,90 F1, což je nejvyšší dosud uváděný výsledek na tomto souboru dat využívajícím pouze textové informace. Naše zjištění zdůrazňují potřebu opatrnosti při začleňování podnětů tazatelů do modelů, protože se mohou neúmyslně naučit využívat cílené podněty, místo aby se naučili charakterizovat jazyk a chování, které skutečně vypovídají o duševním stavu pacienta.
@INPROCEEDINGS{FITPUB13371, author = "Sergio Burdisso and Antonio Ernesto Reyes Ramirez and Esa\'{u} Villatoro-tello and Fernando S\'{a}nchez-vega and Pastor A. L\'{o}pez-monroy and Petr Motl\'{i}\v{c}ek", title = "DAIC-WOZ: On the Validity of Using the Therapist's prompts in Automatic Depression Detection from Clinical Interviews", pages = "82--90", booktitle = "Proceedings of the 6th Clinical Natural Language Processing Workshop", series = "Association for Computational Linguistics", year = 2024, location = "Mexico City, MX", publisher = "Association for Computational Linguistics", doi = "10.18653/v1/2024.clinicalnlp-1.8", language = "english", url = "https://www.fit.vut.cz/research/publication/13371" }