gnckКолопроктологияKoloproktologia2073-75562686-7303Russian Association of Coloproctology10.33878/2073-7556-2023-22-2-92-102gnck-1820Research ArticleОРИГИНАЛЬНЫЕ СТАТЬИORIGINAL ARTICLESАлгоритм на основе искусственного интеллекта для системы поддержки принятия врачебного решения при колоноскопииAI-based algorithm for clinical decision support system in colonoscopyhttps://orcid.org/0000-0003-3258-7881МтвралашвилиД. А.MtvralashviliD. A.

ул. Саляма Адиля, д. 2, г. Москва, 123423, Россия

Salyama Adilya st., 2, Moscow, 123423, Russia

https://orcid.org/0000-0001-7964-2126ШахматовД. Г.ShakhmatovD. G.

ул. Саляма Адиля, д. 2, г. Москва, 123423, Россия

ул. Баррикадная, д. 2/1, стр. 1, г. Москва, 125993, Россия

Salyama Adilya st., 2, Moscow, 123423, Russia

Barrikadnaya st., 2/1, Moscow, 125993, Russia

mma02@yandex.ruhttps://orcid.org/0000-0001-5848-4050ЛикутовА. А.LikutovA. A.

ул. Саляма Адиля, д. 2, г. Москва, 123423, Россия

ул. Баррикадная, д. 2/1, стр. 1, г. Москва, 125993, Россия

Salyama Adilya st., 2, Moscow, 123423, Russia

Barrikadnaya st., 2/1, Moscow, 125993, Russia

https://orcid.org/0000-0002-4964-0848ЗапольскийА. Г.ZapolskyA. G.

пр-т Вернадского, д. 82, г. Москва, 119571, Россия

82 Vernadsky Ave., Moscow, 119571, Russia

https://orcid.org/0000-0003-1106-5486СусловаД. И.SuslovaD. I.

ул. Усачёва, д. 33 стр. 2, г. Москва, 119048, Россия

Usacheva st., 33 p. 2, Moscow, 119048, Russia

https://orcid.org/0000-0003-1281-8822БородиновА. А.BorodinovA. A.

пр-т Каменноостровский, д. 11, г. Санкт-Петербург, 197046, Россия

Kamennoostrovsky Ave., 11, Saint Petersburg, 197046, Russia

https://orcid.org/0000-0001-9780-7916СушковО. И.SushkovO. I.

ул. Саляма Адиля, д. 2, г. Москва, 123423, Россия

Salyama Adilya st., 2, Moscow, 123423, Russia

https://orcid.org/0000-0001-9294-5447АчкасовС. И.AchkasovS. I.

ул. Саляма Адиля, д. 2, г. Москва, 123423, Россия

ул. Баррикадная, д. 2/1, стр. 1, г. Москва, 125993, Россия

Salyama Adilya st., 2, Moscow, 123423, Russia

Barrikadnaya st., 2/1, Moscow, 125993, Russia

ФГБУ «НМИЦ колопроктологии имени А.Н. Рыжих» Минздрава РоссииРоссияRyzhikh National Medical Research Center of ColoproctologyRussian FederationФГБУ «НМИЦ колопроктологии имени А.Н. Рыжих» Минздрава России; ФГБОУ ДПО РМАНПО Минздрава РоссииРоссияRyzhikh National Medical Research Center of Coloproctology; Russian Medical Academy of Continuous Professional EducationRussian FederationФГБОУ ВО «Российская Академия Народного Хозяйства и Государственной Службы При Президенте Российской Федерации»РоссияFGBOU VO “Russian Academy of National Economy and Public Administration Under the President of the Russian Federation”Russian FederationАО НЦСИРоссияAO NCSIRussian FederationООО «Вейваксесс Сервис»РоссияOOO “Wayvaxess Service”Russian Federation20232106202322292102Copyright © Мтвралашвили Д.А., Шахматов Д.Г., Ликутов А.А., Запольский А.Г., Суслова Д.И., Бородинов А.А., Сушков О.И., Ачкасов С.И., 20232023Мтвралашвили Д.А., Шахматов Д.Г., Ликутов А.А., Запольский А.Г., Суслова Д.И., Бородинов А.А., Сушков О.И., Ачкасов С.И.Mtvralashvili D.A., Shakhmatov D.G., Likutov A.A., Zapolsky A.G., Suslova D.I., Borodinov A.A., Sushkov O.I., Achkasov S.I.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.ruproctology.com/jour/article/view/1820ЦЕЛЬ ИССЛЕДОВАНИЯ

ЦЕЛЬ ИССЛЕДОВАНИЯ: оценка возможности применения технологии машинного обучения для помощи врачу в выявлении новообразований толстой кишки при колоноскопии.

МАТЕРИАЛЫ И МЕТОДЫ

МАТЕРИАЛЫ И МЕТОДЫ: из архива видеозаписей колоноскопии отобрано 1070 исследований с новообразованиями 5 типов — гиперпластический полип, зубчатое образование, аденома с низкой степенью дисплазии, аденома с высокой степенью дисплазии, инвазивный рак. Отобрано 9838 информативных кадров, включая 6543 с новообразованиями. Новообразования были размечены в графическом редакторе. Проведено машинное обучение на полученном дата-сете с использованием нейросетевого алгоритма YOLOv5.

РЕЗУЛЬТАТЫ

РЕЗУЛЬТАТЫ: обученный алгоритм позволил определять новообразования с точностью 83,2% и чувствительностью 77,2% на тестовой выборке собранного дата-сета. Проанализированы наиболее частые причины ошибок алгоритма.

ЗАКЛЮЧЕНИЕ

ЗАКЛЮЧЕНИЕ: размеченный дата-сет позволил создать на основе технологии искусственного интеллекта алгоритм, определяющий новообразования толстой кишки в видеопотоке записи колоноскопии. Дальнейшая разработка позволит создать систему поддержки принятия врачебного решения при колоноскопии.

AIM

AIM: to estimate the implementation of the original method that uses artificial intelligence (AI) to detect colorectal neoplasms.

MATERIALS AND METHODS

MATERIALS AND METHODS: we selected 1070 colonoscopy videos from our archive with 5 types of lesions: hyperplastic polyp, serrated adenoma, adenoma with low-grade dysplasia, adenoma with high-grade dysplasia and invasive cancer. Then 9838 informative frames were selected, including 6543 with neoplasms. Lesions were annotated to obtain data set that was finally used for training a convolution al neural network (YOLOv5).

RESULTS

RESULTS: the trained algorithm is able to detect neoplasms with an accuracy of 83.2% and a sensitivity of 77.2% on a test sample of the dataset. The most common algorithm errors were revealed and analyzed.

CONCLUSION

CONCLUSION: the obtained data set provided an AI-based algorithm that can detect colorectal neoplasms in the video stream of a colonoscopy recording. Further development of the technology probably will provide creation of a clinical decision support system in colonoscopy.

колоноскопияискусственный интеллектмашинное зрениемашинное обучениесистема поддержки принятия врачебного решенияаденомаракновообразованиеcolonoscopyendoscopyartificial intelligencecomputer visionmachine learningadenomacancerneoplasmReferencesКаприн А.Д., Старинский В.В., Шахзадова А.О. Злокачественные новообразования в России в 2021 году (заболеваемость и смертность). М.: МНИОИ им. П.А. Герцена − филиал ФГБУ «НМИЦ радиологии» Минздрава России. 2022; 252 с.Kaprin A.D., Starinsky V.V., Shakhzadova A.O. Malignant neoplasms in Russia in 2021 (morbidity and mortality). Moscow: P.A. Herzen Moscow State Medical Research Institute − Branch of the Federal State Budgetary Institution «NMIC of Radiology» of the Ministry of Health of Russia. 2022; 252 p. (in Russ.).Winawer SJ, Zauber AG. Incidence reduction following colonoscopic polypectomy. Am J Gastroenterol. 2011;106:370. PMID: 21301465. doi: 10.1038/ajg.2010.387Winawer SJ, Zauber AG. Incidence reduction following colonoscopic polypectomy. Am J Gastroenterol. 2011;106:370. PMID: 21301465. doi: 10.1038/ajg.2010.387Tribonias G, Theodoropoulou A, Konstantinidis K, et al. Comparison of standard vs high-definition, wide-angle colonoscopy for polyp detection: a randomized controlled trial. Colorectal Dis. 2010;12:e260–e266.Tribonias G, Theodoropoulou A, Konstantinidis K, et al. Comparison of standard vs high-definition, wide-angle colonoscopy for polyp detection: a randomized controlled trial. Colorectal Dis. 2010;12:e260–e266.Hassan C, Piovani D, Spadaccini M, et al. Variability in adenoma detection rate in control groups of randomized colonoscopy trials: a systematic review and meta-analysis. Gastrointest Endosc. 2023;97(2):212–225.e7. doi: 10.1016/j.gie.2022.10.009Hassan C, Piovani D, Spadaccini M, et al. Variability in adenoma detection rate in control groups of randomized colonoscopy trials: a systematic review and meta-analysis. Gastrointest Endosc. 2023;97(2):212–225.e7. doi: 10.1016/j.gie.2022.10.009van Rijn JC, Reitsma JB, Stoker J, et al. Polyp miss rate determined by tandem colonoscopy: a systematic review. Am J Gastroenterol. 2006 Feb;101(2):343–50. PMID: 16454841. doi: 10.1111/j.1572-0241.2006.00390.xvan Rijn JC, Reitsma JB, Stoker J, et al. Polyp miss rate determined by tandem colonoscopy: a systematic review. Am J Gastroenterol. 2006 Feb;101(2):343–50. PMID: 16454841. doi: 10.1111/j.1572-0241.2006.00390.xKashiwagi K, Inoue N, Yoshida T, et al. Polyp detection rate in transverse and sigmoid colon significantly increases with longer withdrawal time during screening colonoscopy. PLoS One. 2017 Mar 22;12(3):e0174155. PMID: 28328936; PMCID: PMC5362195. doi: 10.1371/journal.pone.0174155Kashiwagi K, Inoue N, Yoshida T, et al. Polyp detection rate in transverse and sigmoid colon significantly increases with longer withdrawal time during screening colonoscopy. PLoS One. 2017 Mar 22;12(3):e0174155. PMID: 28328936; PMCID: PMC5362195. doi: 10.1371/journal.pone.0174155Sui Y, Wang Q, Chen HH, et al. Comparison of adenoma detection in different colorectal segments between deep-sedated and unsedated colonoscopy. Sci Rep. 2022 Sep 12;12(1):15356. PMID: 36097050; PMCID: PMC9468171. doi: 10.1038/s41598-022-19468-ySui Y, Wang Q, Chen HH, et al. Comparison of adenoma detection in different colorectal segments between deep-sedated and unsedated colonoscopy. Sci Rep. 2022 Sep 12;12(1):15356. PMID: 36097050; PMCID: PMC9468171. doi: 10.1038/s41598-022-19468-yWang Y, He X, Nie H, et al. Application of artificial intelligence to the diagnosis and therapy of colorectal cancer. Am J Cancer Res. 2020;10(11):3575–98Wang Y, He X, Nie H, et al. Application of artificial intelligence to the diagnosis and therapy of colorectal cancer. Am J Cancer Res. 2020;10(11):3575–98Perone CS, Cohen-Adad J. Promises and limitations of deep learning for medical image segmentation. J Med Artif Intel. 2019;2.Perone CS, Cohen-Adad J. Promises and limitations of deep learning for medical image segmentation. J Med Artif Intel. 2019;2.Lui TKL, Leung WK. Is artificial intelligence the final answer to missed polyps in colonoscopy? World J Gastroenterol. 2020 Sep 21;26(35):5248–5255. PMID: 32994685; PMCID: PMC7504252. doi: 10.3748/wjg.v26.i35.5248Lui TKL, Leung WK. Is artificial intelligence the final answer to missed polyps in colonoscopy? World J Gastroenterol. 2020 Sep 21;26(35):5248–5255. PMID: 32994685; PMCID: PMC7504252. doi: 10.3748/wjg.v26.i35.5248Luo Y, Zhang Y, Liu M, et al. Artificial Intelligence-Assisted Colonoscopy for Detection of Colon Polyps: a Prospective, Randomized Cohort Study. J Gastrointest Surg. 2021 Aug;25(8):2011–2018. Epub 2020 Sep 23. PMID: 32968933; PMCID: PMC8321985. doi: 10.1007/s11605-020-04802-4Luo Y, Zhang Y, Liu M, et al. Artificial Intelligence-Assisted Colonoscopy for Detection of Colon Polyps: a Prospective, Randomized Cohort Study. J Gastrointest Surg. 2021 Aug;25(8):2011–2018. Epub 2020 Sep 23. PMID: 32968933; PMCID: PMC8321985. doi: 10.1007/s11605-020-04802-4Wallace MB, Sharma P, Bhandari P, et al. Impact of Artificial Intelligence on Miss Rate of Colorectal Neoplasia. Gastroenterology. 2022 Jul;163(1):295–304.e5. Epub 2022 Mar 15. PMID: 35304117. doi: 10.1053/j.gastro.2022.03.007Wallace MB, Sharma P, Bhandari P, et al. Impact of Artificial Intelligence on Miss Rate of Colorectal Neoplasia. Gastroenterology. 2022 Jul;163(1):295–304.e5. Epub 2022 Mar 15. PMID: 35304117. doi: 10.1053/j.gastro.2022.03.007Xu H, Tang RSY, Lam TYT, et al. Artificial Intelligence-Assisted Colonoscopy for Colorectal Cancer Screening: A Multicenter Randomized Controlled Trial. Clin Gastroenterol Hepatol. 2023 Feb;21(2):337–346.e3. Epub 2022 Jul 19. PMID: 35863686. doi: 10.1016/j.cgh.2022.07.006Xu H, Tang RSY, Lam TYT, et al. Artificial Intelligence-Assisted Colonoscopy for Colorectal Cancer Screening: A Multicenter Randomized Controlled Trial. Clin Gastroenterol Hepatol. 2023 Feb;21(2):337–346.e3. Epub 2022 Jul 19. PMID: 35863686. doi: 10.1016/j.cgh.2022.07.006Areia M, Mori Y, Correale L, et al. Cost-effectiveness of artificial intelligence for screening colonoscopy: a modelling study. Lancet Digit Health. 2022 Jun;4(6):e436–e444. Epub 2022 Apr 13. PMID: 35430151. doi: 10.1016/S2589-7500(22)00042-5Areia M, Mori Y, Correale L, et al. Cost-effectiveness of artificial intelligence for screening colonoscopy: a modelling study. Lancet Digit Health. 2022 Jun;4(6):e436–e444. Epub 2022 Apr 13. PMID: 35430151. doi: 10.1016/S2589-7500(22)00042-5Завьялов Д.В., Кашин Н.В., Нестеров П.В., и соавт. Алгоритм уточняющей диагностики и внутрипросветного эндоскопического удаления эпителиальных новообразований толстой кишки. Колопроктология. 2021;20(1):17–22. doi: 10.33878/2073-7556-2021-20-1-17-22Zavyalov D.V., Kashin N.V., Nesterov P.V., et al. Algorithm of clarifying diagnostics and intraluminal endoscopic removal of epithelial neoplasms of the colon. Koloproktologia. 2021;20(1):17–22. (in Russ.). doi: 10.33878/2073-7556-2021-20-1-17-22Бакулин И.Г., Расмагина И.А., Скалинская М.И., и соавт. Применение искусственного интеллекта для анализа эндоскопических изображений при воспалительных заболеваниях кишечника. Терапия. 2022;7:7–17. doi: 10.18565/therapy.2022.7.7-14Bakulin I.G., Rasmagina I.A., Skalinskaya M.I., et al. The use of artificial intelligence for the analysis of endoscopic images in inflammatory bowel diseases. Therapy. 2022;7:7–17. (in Russ.). doi: 10.18565/therapy.2022.7.7-14Wan J, Chen B, Yu Y. Polyp Detection from Colorectum Images by Using Attentive YOLOv5. Diagnostics (Basel). 2021 Dec 3;11(12):2264. PMID: 34943501; PMCID: PMC8700704. doi: 10.3390/diagnostics11122264Wan J, Chen B, Yu Y. Polyp Detection from Colorectum Images by Using Attentive YOLOv5. Diagnostics (Basel). 2021 Dec 3;11(12):2264. PMID: 34943501; PMCID: PMC8700704. doi: 10.3390/diagnostics11122264

The authors declare that there are no conflicts of interest present.