DAIC-WOZ: On the Validity of Using the Therapist's prompts in Automatic Depression Detection from Clinical Interviews

Automatická detekce deprese z konverzačních dat si v posledních letech získala značný zájem. Pro tento úkol se hojně využívá soubor dat DAIC-WOZ, rozhovory vedené virtuálním agentem ovládaným člověkem. Nedávné studie uvádějí zvýšení výkonu při zahrnutí podnětů tazatele do modelu. V této práci předpokládáme, že toto zlepšení může být způsobeno především zkreslením přítomným v těchto pobídkách, nikoliv navrženými architekturami a metodami. Prostřednictvím ablačních experimentů a kvalitativní analýzy zjišťujeme, že modely využívající podněty tazatele se učí zaměřovat na specifickou oblast rozhovorů, kde jsou kladeny otázky týkající se minulých zkušeností s duševními problémy, a využívat je jako diskriminační zkratky k detekci depresivních účastníků. Naproti tomu modely využívající odpovědi účastníků shromažďují důkazy z celého rozhovoru. Nakonec, abychom zdůraznili rozsah tohoto zkreslení, dosáhneme záměrným využitím skóre 0,90 F1, což je nejvyšší dosud uváděný výsledek na tomto souboru dat využívajícím pouze textové informace. Naše zjištění zdůrazňují potřebu opatrnosti při začleňování podnětů tazatelů do modelů, protože se mohou neúmyslně naučit využívat cílené podněty, místo aby se naučili charakterizovat jazyk a chování, které skutečně vypovídají o duševním stavu pacienta.