Главное
Простыми словами
Понятность ответов в целом оценивали как хорошую, но ясный текст мог упускать условие, от которого зависит решение о лечении. Исследователи сравнивали ответы чатботов с мнением специалистов и эталонными текстами. На простых вопросах результаты были лучше, на сложных менялись в зависимости от модели и самого запроса. Обзор не проверял, как советы ИИ повлияли на здоровье пациентов.
Где обнаружили ошибки
Проблемы касались полноты ответа, оценки риска в конкретной ситуации и рекомендаций для отдельного пациента. Удачная формулировка общего понятия не означала, что та же модель правильно составит план лечения.
Сравниваемые чатботы, версии, вопросы и способы оценки различались настолько, что авторы не объединяли результаты в общий процент правильных ответов. Уверенность в совокупности доказательств оценена как очень низкая.
Что именно проверяли
Все работы оценивали ответы в определённый момент времени. Такой тест позволяет обнаружить ошибки в тексте, но не показывает, изменится ли их частота после обновления модели.
Обзор вышел онлайн 27 сентября в Journal of Oral Biology and Craniofacial Research. Авторы считают возможным использовать чатботы для ответов на типовые вопросы пациентов под контролем специалиста; самостоятельное принятие клинических решений имеющиеся данные не поддерживают.
Оригинальная публикация
Conversational artificial intelligence compared with orthodontic reference standards for orthodontic information: A systematic review of accuracy, readability, safety, and certainty of evidence
- Авторы
- Karla Nogueira Matos, Giovanna Fontgalland Ferreira, Marcos de Faria Almeida, Leonardo Matos de Faria Almeida, Renato Araujo Prates, Hugo Henrique Dos Santos Dantas Guimarães
- Издание
- Journal of oral biology and craniofacial research
- Дата оригинала
- DOI
- 10.1016/j.jobcr.2026.101552