El objetivo de este estudio es construir y validar un modelo CCNet-DGNN (CGN) basado en atención cruzada dirigida (Cross Cross Attention) y redes neuronales gráficas dirigidas (Directed Graph Neural Network) mediante la integración de evaluaciones clínicas de medicina occidental y tradicional china en poblaciones con alto riesgo de cáncer de pulmón y datos multimodales de múltiples imágenes de tomografía computarizada (CT) para predecir con precisión la progresión de nódulos pulmonares. Método: basándose en datos de 4432 pacientes con nódulos pulmonares, el CCNet gemelo extrae características espaciotemporales de dos exploraciones CT, mientras que la red neuronal perceptrón multicapa extrae características clínicas estructuradas y de imagen, alineando las características multimodales mediante una métrica de similitud. Se construye un DGNN para fusionar las características extraídas, en donde los nodos representan las características multimodales y las aristas representan las rutas de flujo de información entre las modalidades. Finalmente, se utiliza una estrategia de optimización conjunta de pérdida de entropía cruzada y pérdida de similitud coseno para completar la tarea de clasificación, logrando predecir la progresión de los nódulos pulmonares. Resultados: el modelo CGN construido mostró un buen desempeño predictivo en el conjunto de prueba, con un área bajo la curva (AUC), precisión, sensibilidad, especificidad, coeficiente kappa y valor F1 de 0,830, 0,843, 0,657, 0,712, 0,417 y 0,544 respectivamente; en comparación con modelos unimodales, el aumento del AUC fue del 36% al 48%, y en comparación con modelos simplificados sin ciertos módulos, el aumento del AUC fue del 2% al 22%, lo que valida la eficacia de la fusión multimodal y el diseño del módulo; la incorporación de información de la medicina tradicional china aumentó el AUC en un 5%, validando el valor de la integración de datos de ambas medicinas. El análisis de visualización mediante mapas de activación ponderados por gradientes reveló que la atención de decisión del modelo se concentra principalmente en la región del nódulo y captura eficazmente las relaciones dinámicas entre los datos clínicos y las características de imagen. Conclusión: este estudio propone un modelo CGN que combina un mecanismo de atención cruzada con una red neuronal gráfica dirigida para lograr una integración eficiente y alineación estructural de la información multimodal; además, la integración de datos de medicina occidental y tradicional china proporciona un complemento informativo que mejora la precisión de la predicción de la progresión de nódulos pulmonares, ofreciendo soporte para la toma de decisiones en el cribado inteligente y manejo personalizado de poblaciones de alto riesgo de cáncer de pulmón.
关键词
nódulo pulmonar;predicción de progresión;fusión de datos multimodales;mecanismo de atención cruzada;red neuronal gráfica dirigida;poblaciones de alto riesgo de cáncer de pulmón;evaluaciones clínicas de medicina occidental y tradicional china