DentalMonitoring проверили на снимках 1014 пациентов с брекетами

Простыми словами

Программа по фотографиям распознавала отклеившиеся брекеты, потерянные лигатуры и открытые клипсы. Её ответы сравнивали с оценкой ортодонтов по тем же снимкам.

Снимки специально отбирали так, чтобы в выборке было заданное число примеров с проблемой и без неё. Поэтому высокая точность на этой подборке ещё не показывает, сколько ошибок будет в обычном потоке пациентов или сократится ли лечение.

Что обнаружили

Для отклейки брекета чувствительность составила 98,4%, специфичность составила 99,6%. Для потери лигатуры получили 93,3% и 96,5%, для открытой клипсы получили 91,1% и 88,3%.

Эталон формировали три ортодонта, которые независимо оценивали те же изображения. При разногласии между алгоритмом и врачами снимки дополнительно разбирал внешний эксперт.

Случаи случайно отбирали из производственной базы по выходам алгоритма так, чтобы получить заданное число положительных и отрицательных примеров. Такая сбалансированная выборка подходит для оценки чувствительности и специфичности, но не показывает реальную частоту поломок.