Как нейросеть учится распознавать аллергию по фотографиям кожи

Представьте: каждый третий человек на планете в той или иной форме страдает от аллергии. Зуд, покраснения, сыпь — симптомы, которые сложно скрыть. А что, если ваш смартфон мог бы не просто зафиксировать их, но и подсказать, на что это похоже? Звучит как фантастика, но именно к этому ведёт развитие технологий.

Инструменты для предварительной, неинвазивной диагностики по фото — это будущее, которое уже стучится в дверь. Они могут стать помощником не только для врача в поликлинике, но и для обычного человека, который хочет понять, стоит ли ему бить тревогу.

ИИ для классификации аллергических реакций

Этой возможной революцией в диагностике занялись в МТУСИ. Магистрант Анвар Баширов под руководством заведующей кафедрой Лилии Вороновой взял за основу простую, но гениальную идею: кожные проявления аллергии видны глазу. А значит, их можно «научить» распознавать компьютер. Для этого была выбрана и адаптирована свёрточная нейронная сеть.

Команда использовала две разные архитектуры — YOLO и VGG-16. Первая отлично умеет находить и классифицировать конкретные участки на изображении (например, локализованную сыпь на руке), вторая анализирует картину в целом. Обучали систему на внушительной базе — 3345 размеченных фотографий, собранных из открытых источников, которые охватывали 28 групп заболеваний. Не самый простой пациент для обучения, согласитесь?

Как нейросеть учится распознавать аллергию по фотографиям кожи

Какие заболевания распознала нейросеть

Тестирование показало обнадёживающие результаты. Системы не стали всезнающими диагностами, но с конкретными задачами справились весьма неплохо.

Модель YOLO, ищущая конкретные очаги, показала себя настоящим виртуозом в распознавании нескольких чётких состояний:

Аквагенная крапивница (реакция на воду) — 98% точности.
Аллергический конъюнктивит — 95%.
Периоральный дерматит — и вовсе 100%.

Её «коллега» VGG-16, оценивающая общую картину, тоже не подвела. Она уверенно (свыше 90%) определила аллергический конъюнктивит, неплохо справилась с варикозной экземой (79%) и даже научилась с 60%-ной вероятностью опознавать стригущий лишай. Для системы, которая училась по фотографиям из интернета, это серьёзное достижение.

Но исследователи на этом не останавливаются. Они понимают главную сложность: многие кожные реакции внешне очень похожи. Крапивницу можно спутать с проявлениями экземы. Поэтому в будущем планируется «скормить» нейросетям не только картинки, но и контекст: информацию об обстоятельствах поражения, возможных контактах с аллергенами и другие данные. Ведь даже самый опытный врач ставит диагноз не только по тому, что видит, но и по тому, что слышит от пациента. Сможет ли алгоритм когда-нибудь повторить этот путь? Пока вопрос открыт, но первые шаги уже сделаны.