Cette étude vise à construire et valider un modèle CCNet-DGNN (CGN) combinant un mécanisme d'attention croisée dirigée (Cross Cross Attention) et un réseau de neurones graphiques orienté (Directed Graph Neural Network), en intégrant les informations cliniques issues des évaluations de la médecine occidentale et traditionnelle chinoise chez des populations à haut risque de cancer du poumon, et des données multimodales issues de multiples scanners thoraciques (CT), afin de prédire avec précision la progression des nodules pulmonaires. Méthodes : Basé sur les données de 4432 patients atteints de nodules pulmonaires, un CCNet jumeau extrait les caractéristiques spatio-temporelles de deux examens CT successifs, tandis qu’un perceptron multicouche extrait les caractéristiques structurées issues des évaluations cliniques et des images, alignées via une mesure de similarité multimodale. Un DGNN est construit pour fusionner ces caractéristiques extraites, où les sommets représentent les caractéristiques multimodales extraites et les arêtes représentent les chemins de flux d’informations entre modalités. L’optimisation conjointe de la perte d'entropie croisée et de la similarité cosinus permet d’accomplir la tâche de classification pour prédire la progression des nodules. Résultats : Le modèle CGN construit a montré de bonnes performances prédictives sur l’ensemble de test avec des valeurs AUC, précision, sensibilité, spécificité, coefficient kappa et F1 respectivement de 0,830, 0,843, 0,657, 0,712, 0,417 et 0,544. Par rapport aux modèles unimodaux, l'AUC a augmenté de 36% à 48%, et par rapport aux modèles simplifiés sans certains modules, l'AUC a augmenté de 2% à 22%, validant ainsi l’efficacité de la fusion multimodale et du design des modules ; l’intégration des informations issues de la médecine traditionnelle chinoise a augmenté l’AUC de 5%, démontrant la valeur de la fusion des données des deux médecines. L’analyse de visualisation par cartographie pondérée par les gradients a révélé que l’attention décisionnelle du modèle est principalement concentrée sur la région des nodules et capture efficacement les relations dynamiques entre données cliniques et caractéristiques d’imagerie. Conclusion : Le modèle CGN proposé combine un mécanisme d’attention croisée et un réseau neuronal graphique orienté, permettant une fusion efficace et un alignement structurel des informations multimodales ; l’intégration des données issues de la médecine occidentale et traditionnelle chinoise permet un complément d’informations, améliorant ainsi la précision de la prédiction de la progression des nodules pulmonaires, apportant un support décisionnel pour le dépistage intelligent et la gestion personnalisée des populations à haut risque de cancer du poumon.

nodule pulmonaire;prédiction de progression;fusion de données multimodales;mécanisme d’attention croisée;réseau neuronal graphique orienté;populations à haut risque de cancer du poumon;évaluations cliniques en médecine occidentale et traditionnelle chinoise