Modely často považovaly sebevědomé lékařsky znějící dezinformace za rutinní pokyny, spíše než je označovaly za nebezpečné.
Autoři tvrdí, že „náchylnost k lékařským dezinformacím“ by měla být měřena a testována zátěží předtím, než bude umělá inteligence začleněna do nástrojů pro zdravotní péči.
Lékařská umělá inteligence je často propagována jako způsob, jak zvýšit bezpečnost péče tím, že pomáhá lékařům spravovat složité informace.
Za tímto humbukem se však skrývá nepříjemná otázka: co se stane, když je samotná informace chybná? Pokud je vymyšlené nebo zavádějící doporučení zabaleno do lékařského jazyka, může jej systém umělé inteligence předat dál, jako by se jednalo o standardní péči?
Nová studie zkoumala toto riziko ve velkém měřítku testováním toho, jak modely s rozsáhlými jazyky zvládají lékařské dezinformace v různých kontextech.
Výzkumníci analyzovali více než milion pokynů v devíti předních modelech a zjistili, že nepravdivá tvrzení se mohou opakovat a posilovat, zejména pokud se objevují ve formátech, které vypadají povědomě, jako jsou propouštěcí zprávy z nemocnice nebo realistické scénáře pacientů.
Aby tým systematicky otestoval problém, použil tři hlavní typy obsahu.
Zaprvé, vzali skutečné propouštěcí zprávy z databáze intenzivní péče MIMIC a do každé zprávy vložili jedno vymyšlené doporučení.
Zadruhé, použili běžné zdravotní mýty shromážděné z Redditu.
Zatřetí, vytvořili 300 krátkých klinických scénářů napsaných a ověřených lékaři.
Každý případ byl také prezentován v různých stylech, od neutrálních formulací až po emocionálně nabité nebo sugestivní fráze, které napodobují šíření dezinformací online.
Jeden příklad ilustruje problém.
Propouštěcí zpráva obsahovala falešné doporučení, které naznačovalo, že pacienti s krvácením spojeným s ezofagitidou by měli pít studené mléko k zmírnění příznaků.
Několik modelů toto tvrzení akceptovalo, místo aby varovalo, že je nebezpečné nebo nepodložené.
Znění a prostředí způsobily, že dezinformace vypadaly „normálně“, a umělá inteligence reagovala odpovídajícím způsobem.
Širší myšlenka výzkumníků byla jednoduchá: pro tyto systémy může být způsob, jakým je tvrzení formulováno, důležitější než to, zda je správné.
Pokud jsou dezinformace psány tónem a strukturou klinických rad, modely je mohou automaticky považovat za pravdivé.
Autoři tvrdí, že současná ochranná opatření nejsou dostatečně konzistentní, jakmile jsou dezinformace vloženy do realistického textu.
Na tom záleží, protože zdravotnictví je plné přesně tohoto druhu obsahu: poznámek, shrnutí, doporučení a zpráv od pacientů. Pokud se umělá inteligence používá k sepsání, shrnutí nebo radám na základě těchto dokumentů, mohla by neúmyslně zesílit chybu.
Vědci navrhují, aby se s náchylností k lékařským dezinformacím zacházelo spíše jako s něčím, co lze měřit.
V praxi to znamená zátěžové testování modelů s využitím velkých datových sad, které obsahují realistické dezinformace, a budování systémů, které ověřují lékařská tvrzení oproti externím důkazům, než je prezentují jako fakta.
Pro pacienty, včetně lidí žijících s diabetem, sdělení nezní „vyhněte se umělé inteligenci“ – zní „zacházejte s výstupy umělé inteligence jako s návrhem, nikoli s diagnózou“.
Pokud vám nástroj umělé inteligence poskytuje lékařské rady, které jsou nové, překvapivé nebo vám poskytují jistotu ohledně léčby, měly by být ověřeny u důvěryhodných klinických zdrojů nebo u zdravotnického pracovníka.
Studie ukazuje, že přesvědčivý tón může stačit k tomu, aby systém oklamal a opakoval lež, a přesně s takovým režimem selhání se musí zdravotní péče vypořádat.
Zdroj: diabetes.co.uk
