Одним из объектов прямого изучения структур микроциркуляторного русла и процессов микроциркуляции у человека в клинической практике является конъюнктива глазного яблока, или бульбарная конъюнктива (БК). БК представляет собой густо васкуляризированную ткань, покрывающую склеру глаза, с уникальной доступностью для неинвазивной визуализации [1]. Благодаря этой характеристике БК используется для оценки микрососудистых изменений при заболеваниях органа зрения [2, 3], а также при заболеваниях, которые носят системный характер, таких как серповидноклеточная анемия [4], гипертония [5], сахарный диабет [1, 5], системная склеродермия [6] и др. [5, 7]. Была обнаружена корреляция между параметрами микрососудистой гемодинамики конъюнктивы и мозгового кровотока [8, 9]. По мнению ряда авторов, микроциркуляторный бассейн БК отражает нарушения микроциркуляции всего организма в целом [3, 7] через различные механизмы, включая дисфункцию эндотелия, изменение вязкости крови, деградацию гликокаликса и/или образование микротромбов/микроагрегатов [10].
Простой и доступный метод изучения микроциркуляции (МЦ) в конъюнктиве – метод биомикроскопии БК, который дает возможность в режиме реального времени визуализировать состояние всех звеньев микроциркуляторного русла – артериол, прекапиллярных артериол, капилляров, посткапиллярных венул и венул, а также состояние кровотока в микрососудах и состояние периваскулярного пространства.
Биомикроскопия БК позволяет оценивать морфологические параметры МЦ русла конъюнктивы (калибр сосудов, извитость и ампулообразные расширения сосудов, наличие микроаневризм, плотность сосудистой сети и др.); реологические нарушения в виде внутрисосудистой агрегации форменных элементов крови (сладжей), образование микротромбов в сосудах, а также нарушения гемодинамики [6, 7].
Однако не существует единых подходов к оценке признаков, характеризующих нарушение микроциркуляции БК, что вносит значительный элемент субъективизма в диагностику и не позволяет сравнивать данные разных исследователей. На сегодняшний день оценка состояния микроциркуляции БК проводится преимущественно в баллах и полуколичественно (отсутствие или наличие какого-либо признака), и только часть показателей исследователи подвергают математической обработке [6, 11].
В медицине становятся все более востребованными цифровые технологии на базе искусственного интеллекта (ИИ). Их внедрение уже стало одним из важнейших мировых трендов в здравоохранении. Эксперты высоко оценивают потенциал искусственных нейронных сетей (ИНС) при решении самых различных задач [12]. ИНС позволяют кардинально улучшить диагностику серьезных заболеваний, разработку новых лекарств, а также в целом повысить качество услуг здравоохранения при одновременном снижении расходов [13].
Одним из чрезвычайно перспективных направлений применения ИНС в медицине являются задачи, связанные с анализом сложных изображений. Интерпретация медицинских изображений (снимков) часто представляет сложности для врача [14]:
- врачу необходимо просмотреть большое число снимков, часто сравнивая их с предыдущими исследованиями;
- ряд заболеваний на ранних стадиях характеризуются небольшими изменениями, которые можно пропустить при визуальном осмотре снимков;
- аппаратура, применяемая для получения снимков, часто имеет посторонние «шумы», которые мешают при анализе и становятся причиной неправильной интерпретации изображений или делают снимки непригодными для анализа;
- на подготовку отчетов с изображениями и их описаниями затрачивается значительное время.
Офтальмология является пионером в области медицинского ИИ за счет использования большого количества изображений в этой сфере [15]. Исследования с использованием ИИ основаны на фотографиях глазного дна, изображениях оптической когерентной томографии и изображениях с щелевой лампы [16]. Были разработаны различные алгоритмы глубокого обучения для диагностики глаукомы [17], возрастной макулярной дегенерации [18], меланомы конъюнктивы [19] и других заболеваний органа зрения [15, 16]. Кроме заболеваний глаз, по офтальмологическим изображениям глубокое обучение может использоваться для выявления некоторых заболеваний системного характера, таких как анемия [20], сердечно-сосудистые заболевания [21], диабет [22] и многие другие [18].
На сегодняшний день имеется ряд работ по применению ИИ для оценки микроциркуляции в конъюнктиве глаза, из которых большинство посвящено изучению гемодинамики [23, 24]. Также предложена модель ИИ для распознавания сахарного диабета по изображениям БК [25].
Однако применение ИНС позволяет успешно решать многие задачи, связанные с анализом изображений, при выполнении ряда условий: при наличии достаточно большого набора ранее продиагностированных изображений (обучающая выборка), а также при возможности периодического дополнения набора изображений для тестирования разработанных ИНС и (при необходимости) уточнения параметров ИНС (дообучение моделей) [26].
Цель исследования – создание интеллектуальной системы (ИС) на базе обученных нейросетевых моделей для диагностики нарушений микроциркуляции крови по изображениям бульбарной конъюнктивы.
Материалы и методы исследования
В Центре терапевтической офтальмологии (ЦТО) для выявления нарушений в системе микроциркуляции с 2013 года применяется офтальмологический капилляроскоп «ОКО» (РУ № РЗН2015/3163). Капилляроскоп оснащен оптической системой и видеокамерой для бесконтактной видеосъемки бульбарной конъюнктивы со скоростью 100 кадров/сек и увеличением в 200 крат, программным обеспечением для последующей цифровой обработки видеоизображения и возможностью архивирования данных. Устройство позволяет измерить скорость кровотока в артериолах и венулах и визуализировать морфологические и реологические нарушения микроциркуляции БК. Использование офтальмологического капилляроскопа «ОКО» дает возможность оценить эффективность и длительность проводимой терапии. Выявление признаков нарушения микроциркуляции служит поводом для углубленного обследования пациента.
Результаты видеосъемки и отдельные видеокадры, полученные при помощи капилляроскопа «ОКО», являются основой уникальной базы данных. Они помогают специалистам Центра в решении каждодневных практических задач, а также могут использоваться для обучения методикам применения капилляроскопии. Однако на практике анализ зарегистрированной видеоинформации представляет собой весьма трудоемкую процедуру, при реализации которой специалисты ЦТО вынуждены решать проблемы регистрации, обработки и анализа изображений. Именно поэтому создание интеллектуальной системы (ИС) для автоматического анализа видеокадров с помощью ИИ стало для специалистов ЦТО логичным развитием цифровых технологий капилляроскопии.
Для разработки ИС специалистами ЦТО были отобраны 500 видеокадров, представлявших изображения центральной зоны конъюнктивы наружного угла глаза. Видеокадры были разбиты на две группы: «Патология» и «Норма». В группу «Патология» вошли изображения конъюнктивы пациентов с такими заболеваниями, как гипертоническая болезнь, ИБС, ХИГМ, сахарный диабет, заболевания крови и др.
Объединение пациентов с различными заболеваниями в одну группу «Патология» обусловлено представлением ряда авторов об универсальности проявлений нарушений МЦ, которые могут быть выявлены на изображениях БК: прежде всего, плотность сосудистой сети, наличие и степень выраженности внутрисосудистой агрегации форменных элементов крови и ряд других.
В группу «Норма» вошли изображения конъюнктивы здоровых добровольцев без острых и хронических заболеваний. В обучающую выборку не включались изображения БК пациентов с воспалительными заболеваниями глаз, глаукомой, миопией средней и высокой степени, дегенеративными заболеваниями сетчатки и с другой серьезной офтальмологической патологией. В дальнейшем будет проведена статистическая обработка ряда показателей, отражающих состояние МЦ, выявляемых на изображениях центральной зоны БК в группах «Норма» и «Патология», и определена значимость каждого из них для оценки функционального состояния микроциркуляторного русла.
Для машинного обучения использовались 430 видеокадров (обучающая выборка), а для тестирования обученных ИНС – 70 видеокадров (тестовая выборка). Начальные размеры обучающей и тестовой выборок были невелики, однако они были оценены как достаточные для начальной настройки (обучения) ИНС. Возможность ежемесячного получения дополнительных изображений для групп «Патология» и «Норма» обеспечивала перспективы дообучения настроенных ИНС (при необходимости).
Проблема выбора модели ИНС для машинного обучения хорошо известна специалистам, разрабатывающим интеллектуальные системы. В ходе проведенных исследований для машинного обучения на основе сформированной обучающей выборки были отобраны модели нейронных сетей ResNet18, ResNet34, ResNeXt50, VGG19, ML.NET.Модели ResNet18 и ResNet34 – это мощные глубокие сверточные нейронные сети, появившиеся еще в 2015–2016 годах и сразу заслуженно получившие очень высокую популярность в разработках систем распознавания изображений. ResNet – сокращенное название для ResidualNetwork (дословно – «остаточная сеть»). Глубокие сверточные нейронные сети извлекают низко-, средне- и высокоуровневые признаки сквозным многослойным способом. Модели позволяют успешно обучать сотни слоев, обеспечивая при этом хорошую производительность. Кроме того, модели предоставляют разработчикам интеллектуальных систем удобные возможности дообучения по мере появления новых обучающих изображений, что является значительным достоинством при разработке ИНС на основе обучающих выборок небольшого размера.
Модель ResNext50 была разработана в 2017 году в Университете Сан-Диего. ResNeXt часто называют расширенной версией ResNet. Модель ResNeXt вводит следующее (next) измерение в архитектуры сверточных нейронных сетей – «мощность» («cardinality»). ResNeXt наследует обходную связь идентичности из ResNet и адаптирует стратегию «раздели-трансформируй-объедини» из Inception для увеличения «ширины» сети, используя несколько фильтров, работающих на одном и том же уровне разветвленной архитектуры. Мощность в этом контексте контролирует размер множества трансформаций, то есть количество ветвей. Выбор этой модели был определен тем, что некоторые из ее известных приложений находятся в области биомедицинской инженерии.
VGG – это так же, как и ResNet и ResNeXt, сверточная нейронная сеть. Модель VGG была разработана специалистами из Оксфордской группы визуальной геометрии, отсюда и название VGG. Модели VGG чрезвычайно популярны в интеллектуальных системах машинного зрения, регулярно участвуют и побеждают в конкурсах и тестированиях по распознаванию объектов на изображении. Среди наиболее эффективных сверточных нейронных сетей модели VGG отличаются простотой. Для машинного обучения распознаванию видеокадров в рамках проведенных исследований была использована модель VGG19, сверточная нейронная сеть, которая имеет 19 главных слоев (16 сверточных, 3 полносвязных), а также 5 слоев MaxPool и 1 слой SoftMax.
Помимо эффективных сверточных моделей ResNet, ResNeXt, VGG, для машинного обучения распознаванию видеокадров, полученных с помощью капилляроскопа «ОКО», была использована ML.NET – кросс-платформенная среда машинного обучения от компании Microsoft с открытым исходным кодом, которая позволяет разработчикам.NET создавать, обучать и использовать свои собственные модели машинного обучения, оставаясь в экосистеме NET.
Результаты исследования и их обсуждение. В ходе проведенных исследований было проведено машинное обучение всех пяти версий нейронных сетей с использованием 430 видеокадров из сформированной обучающей выборки. Машинное обучение показало, что все выбранные модели по праву признаны самыми эффективными для разработки интеллектуальных систем, распознающих изображения. Несмотря на малый размер обучающей выборки, все модели были успешно обучены, и при оценке качества распознавания видеокадров из обучающей выборки все 5 моделей показали максимально возможное 100%-ное распознавание.
Для тестирования обученных моделей была использована тестирующая выборка из 70 видеокадров. При распознавании видеокадров из тестирующей выборки модели нейронных сетей показали следующие результаты: ResNet18 – 90,3%, ResNet34 – 85,5%, ResNeXt50 – 93,5%, VGG19 – 83,9%, ML.NET – 82,6%. Таким образом, все 5 обученных моделей подтвердили свои высокие показатели при решении задачи автоматического распознавания видеокадров, полученных при помощи капилляроскопа «ОКО» и представлявших изображения центральной зоны конъюнктивы наружного угла глаза.
Содержательный анализ ошибок распознавания показал, что все они были связаны с неправильным распознаванием видеокадров из группы «Норма» (они были отнесены к группе «Патология»). Причиной этих ошибок является недостаточный для правильного обучения размер выборки из группы «Норма». В дальнейшем, по мере регистрации новых видеокадров, будет проводиться дообучение нейронных сетей, что позволит повысить качество автоматического распознавания. Впрочем, обученные нейронные сети уже сейчас могут быть эффективно использованы и способны обеспечить высокое качество автоматического распознавания видеокадров. Для этого достаточно объединить три лучшие (по качеству распознавания) нейронные сети – ResNet18, ResNet34 и ResNeXt50 – и использовать при распознавании видеокадров «голосование» этих сетей (видеокадр относится к той группе, на которую «указали», как минимум, две ИНС). Такая организация принятия решения при тестировании показала 95,2%-ное правильное распознавание.
Разработанная интеллектуальная система для диагностики состояния микроциркуляции человека решает задачу автоматического распознавания видеокадра всего за 2,7 секунды и уже сейчас может быть использована специалистами ЦТО в качестве «консультанта», то есть системы поддержки принятия врачебных решений.
В рамках ИС диагностики состояния микроциркуляции планируется создание подсистемы объяснения принятого решения, которое будет предоставлять врачу полную информацию о причине определенного заключения в отношении отсутствия или наличия нарушений микроциркуляции БК (значимость различных элементов информации).
Заключение
Разработана ИС диагностики состояния микроциркуляции по изображениям, полученным простым, полностью безопасным, неинвазивным и доступным методом биомикроскопии бульбарной конъюнктивы посредством капилляроскопа «ОКО». ИС позволяет автоматизировать и значительно сократить время обработки изображений, исключить субъективный взгляд и оказать поддержку в принятии решений врачом.
Кроме того, стандартный подход с использованием разработанной ИС предоставит возможность разным исследователям сравнивать полученные результаты, достоверно оценивать эффективность различных фармакологических и нефармакологических методов лечения нарушений микроциркуляции и сможет найти применение в различных областях клинической медицины.