Ziel dieser Studie ist der Aufbau und die Validierung eines CCNet-DGNN (CGN)-Modells mit gerichteter Kreuz-Attention (Cross Cross Attention) und Directed Graph Neural Network durch die Integration klinischer Bewertungsinformationen aus westlicher und traditioneller chinesischer Medizin bei Hochrisikopatienten für Lungenkrebs sowie multimodaler Daten mehrerer Computertomographie(CT)-Aufnahmen zur präzisen Vorhersage des Fortschreitens von Lungenknötchen. Methode: Basierend auf Daten von 4432 Patienten mit Lungenknötchen extrahiert das Zwillings-CCNet die zeitlich-räumlichen Merkmale von zwei CT-Untersuchungen, während ein mehrschichtiges Perzeptron strukturierte klinische Bewertungs- und Bildgebungsmerkmale extrahiert und multimodale Bildmerkmale durch Ähnlichkeitsmessung ausgerichtet werden. Ein DGNN wird aufgebaut, um die extrahierten Merkmale zu integrieren, wobei die Knoten die extrahierten multimodalen Merkmale darstellen und die Kanten die Informationsflusspfade zwischen Modalitäten repräsentieren. Schließlich wird eine gemeinsame Optimierungsstrategie aus Kreuzentropieverlust und Kosinusähnlichkeitsverlust verwendet, um die Klassifikationsaufgabe abzuschließen und so das Fortschreiten der Lungenknötchen vorherzusagen. Ergebnisse: Das erstellte CGN-Modell zeigte gute Vorhersageleistungen im Testdatensatz mit einer Fläche unter der ROC-Kurve (AUC), Genauigkeit, Sensitivität, Spezifität, Kappa-Koeffizient und F1-Wert von 0,830, 0,843, 0,657, 0,712, 0,417 und 0,544 bzw. Im Vergleich zu unimodalen Modellen stieg die AUC um 36 % bis 48 %, im Vergleich zu vereinfachten Modellen ohne Module um 2 % bis 22 %, was die Wirksamkeit der multimodalen Fusion und des Module Designs bestätigt; die Einführung von Informationen aus der traditionellen chinesischen Medizin erhöhte die AUC um 5 %, was den Wert der Integration westlicher und chinesischer Medizin bestätigt. Die Visualisierungsanalyse mittels gradientengewichteter Aktivierungskarten ergab, dass die Entscheidungsaufmerksamkeit des Modells hauptsächlich auf dem Knotenbereich konzentriert ist und effektiv die dynamische Beziehung zwischen klinischen Daten und Bildmerkmalen erfasst. Fazit: In dieser Arbeit wird ein CGN-Modell vorgeschlagen, das den Mechanismus der Kreuzaufmerksamkeit mit einem gerichteten Graph-Neuronalen Netzwerk kombiniert, um eine effiziente Fusion und strukturelle Ausrichtung multimodaler Informationen zu erreichen; gleichzeitig ermöglicht die Integration von Daten aus westlicher und chinesischer Medizin eine Informationskomplementierung und verbessert effektiv die Genauigkeit der Vorhersage des Fortschreitens von Lungenknötchen, was eine Entscheidungsunterstützung für das intelligente Screening und das individualisierte Management von Hochrisikopatienten bei Lungenkrebs bietet.

Lungenknötchen;Fortschrittsprognose;multimodale Datenfusion;Mechanismus der Kreuzaufmerksamkeit;gerichtetes Graph-Neuronales Netzwerk;Hochrisikopopulation für Lungenkrebs;klinische Bewertungen der westlichen und chinesischen Medizin