Цель данного исследования заключается в построении и валидации модели CCNet-DGNN (CGN) с направленным графовым нейронным сетью с перекрестным вниманием (Cross Cross Attention) путем интеграции клинических оценок традиционной китайской и западной медицины для групп высокого риска рака легких и многомодальных данных КТ-снимков легких для точного прогнозирования прогрессирования легочных узлов. Метод основан на данных 4432 пациентов с легочными узлами, где сдвоенный CCNet извлекает пространственно-временные характеристики двух КТ, многослойный перцептрон извлекает структурированные клинические и визуальные признаки, а согласование многомодальных признаков достигается посредством измерения сходства. Построена DGNN для интеграции извлеченных признаков, вершины которой представляют извлеченные многомодальные признаки, а ребра — пути информационного потока между модальностями. Задача классификации решается совместной оптимизацией функции потерь перекрестной энтропии и косинусного сходства для прогнозирования прогрессирования узлов в легких. Результаты: построенная модель CGN показала хорошие прогнозные характеристики на тестовой выборке, площадь под ROC-кривой (AUC), точность, чувствительность, специфичность, коэффициент каппа и F1-меры составили 0.830, 0.843, 0.657, 0.712, 0.417 и 0.544 соответственно; по сравнению с одномодальными моделями AUC увеличилась на 36%-48%, а по сравнению с упрощенными моделями без модулей – на 2%-22%, что подтверждает эффективность многомодального слияния и проектирования модулей; добавление информации из традиционной китайской медицины повысило AUC на 5%, что подтверждает ценность интеграции данных из западной и китайской медицины. Визуализация с градиентно-взвешенной картой активации показала, что внимание модели сосредоточено в основном на области узлов и эффективно улавливает динамические связи между клиническими данными и визуальными особенностями. Заключение В данной работе предложена модель CGN с комбинацией механизма перекрестного внимания и направленной графовой нейронной сети, обеспечивающая эффективное интегрирование и структурное согласование многомодальных данных; интеграция данных из традиционной китайской и западной медицины дополнительно обеспечивает информационное дополнение и значительно улучшает точность прогнозирования прогрессирования легочных узлов, что может предоставить поддержку принятия решений для интеллектуального скрининга и индивидуального управления группами высокого риска рака легких.

легочные узлы;прогнозирование прогрессирования;интеграция многомодальных данных;механизм перекрестного внимания;направленная графовая нейронная сеть;группы высокого риска рака легких;клинические оценки традиционной китайской и западной медицины