Výzkumníci identifikovali 15 etických rizik, včetně špatného zvládání krizí, klamné empatie a zavádějících nebo zkreslených reakcí.
Poučení nespočívá v tom, že umělá inteligence nehraje v duševním zdraví žádnou roli, ale v tom, že současné systémy nejsou bezpečnou náhradou za řádně regulovanou péči.
Vzhledem k tomu, že se stále více lidí obrací na ChatGPT a další nástroje umělé inteligence pro poradenství v oblasti duševního zdraví, vědci začínají testovat, jak se tyto systémy skutečně chovají v rozhovorech v poradenském stylu.
Tým Brownovy univerzity spolupracoval s odborníky na duševní zdraví a zjistil opakované etické problémy, a to i v případě, že modely byly vyzvány k použití uznávaných psychoterapeutických přístupů, jako je KBT nebo DBT.
Studie se zúčastnilo sedm peer poradců vyškolených v technikách kognitivně behaviorální terapie, spolu se třemi licencovanými klinickými psychology, kteří kontrolovali simulované přepisy chatů z hlediska porušení etických norem.
Testované modely zahrnovaly verze GPT, Claude a Llama.
Výzkumníci identifikovali 15 rizik v pěti širokých oblastech.
Patří mezi ně špatné porozumění kontextu, slabá terapeutická spolupráce, klamavá empatie, nespravedlivá diskriminace a selhání v oblasti bezpečnosti a krizového řízení.
Některé z problémů byly zřejmé a znepokojivé.
Chatboti někdy posilovali škodlivé přesvědčení, špatně řešili krizové situace a používali emocionálně přesvědčivý jazyk, který vytvářel dojem porozumění bez skutečného porozumění.
Na tom záleží, protože duševní zdraví není jen dalším případem použití v zákaznickém servisu.
Když lidský terapeut udělá něco vážně špatně, existují profesní standardy, regulační orgány a cesty k odpovědnosti. U poradců s umělou inteligencí tyto systémy ve skutečnosti ještě neexistují.
Studie netvrdí, že by umělá inteligence měla být z podpory duševního zdraví zcela vyloučena.
Autoři výslovně poznamenávají, že umělá inteligence může mít užitečné role, zejména tam, kde je přístup k péči špatný. Tvrdí však také, že než bude možné těmto systémům důvěřovat v kritických situacích, jsou zapotřebí mnohem přísnější etické, právní a vzdělávací standardy.
To je rozumný postoj.
Chatbot se může zdát podporující, ale znít starostlivě neznamená být klinicky bezpečný.
Zdroj: diabetes.co.uk
