ChatGPT недопустимо часто ошибался при диагностике детских заболеваний

Свежее исследование, проведенное тремя педиатрами из Нью-Йоркского медицинского центра Cohen Children's, оценило способность ChatGPT диагностировать детские заболевания. Результаты оказались разочаровывающими: из 100 случайных педиатрических случаев, диагностированных ChatGPT, точность составила всего 17%. Специалисты подчеркивают, что диагностика детских заболеваний особенно сложна, так как требует учета не только всех симптомов пациента, но и его возраста. В последние годы все больше людей рассматривают крупномасштабные языковые модели как потенциальный инструмент медицинской диагностики. В рамках исследования были собраны 100 случайных педиатрических случаев для диагностики с помощью ChatGPT. Для упрощения процесса, исследователи использовали одинаковый подход к каждому случаю, задавая ChatGPT вопросы о «дифференциальной диагностике» и «окончательной диагностике». Ответы чат-бота оценивались двумя педиатрами, не участвовавшими в исследовании, и классифицировались как «правильные», «неправильные» или «неполные диагнозы». Из 17 правильных ответов ChatGPT, только 11 имели клиническую связь с правильным диагнозом, но все равно содержали ошибки. Исследователи заключили, что на данный момент ChatGPT явно не может использоваться в качестве диагностического инструмента, но с более целенаправленным обучением его точность может быть улучшена.