Cílem studie doktora Rosse O'Hagan a jeho kolegů z dermatologického oddělení Icahn School of Medicine v Mount Sinai bylo vyhodnotit vhodnost a přesnost odpovědí na běžné otázky pacientů o AA generované ChatGPT. Odpovědi generované ChatGPT 3.5 a ChatGPT 4.0 na 25 otázek zaměřených na běžné problémy pacientů byly hodnoceny několika ošetřujícími dermatology z hlediska vhodnosti a přesnosti. Vhodnost odpovědí obou modelů pro použití ve dvou následujících hypotetických kontextech: (1) pro webové stránky s obecnými informacemi pro pacienty a (2) pro návrhy zpráv elektronických zdravotních záznamů (EHR). Přesnost napříč všemi odpověďmi byla 4,41 z 5. Skóre přesnosti odpovědí odpovědi ChatGPT 3.5 měly průměr 4,29, zatímco ty generované ChatGPT 4.0 měly průměrné skóre přesnosti 4,53. Hodnocení se pohybovalo od 100 % odpovědí hodnocených jako vhodné pro kategorii obecných otázek až po 79 % odpovědí vhodných pro návrhy zpráv do EHR. Hodnotitelé většinou preferovali odpovědi generované ChatGPT 4.0 oproti ChatGPT 3.5. Shoda recenzentů byla u všech otázek střední, s 53,7% shodou a Fleissovým κ koeficientem 0,522 (hodnota p <0,001). Velký jazykový model ChatGPT poskytl většinou vhodné informace pro běžné dotazy pacientů. 

„Předchozí práce ukázaly, že na sociálních sítích a v tradičních vyhledávačích se nachází velké množství lékařských dezinformací. Ačkoli ne všechny odpovědi ChatGPT jsou přesné a využitelné jako spolehlivý zdroj informací pro pacienty, zdá se pravděpodobné, že postupně, jak se budou modely zdokonalovat, dojde k jejich přijetí ve veřejném i klinickém prostředí,“ uzavřeli autoři.

KLÍČOVÁ SLOVA: alopecia areata – umělá inteligence – ChatGPT

ZDROJ: O'Hagan, R, Kim, R.H., Abittan, B.J. et al. Dermatology (2023) 239 (6): 952–957.
Dostupné z:
https://doi.org/10.1159/000534005