تهدف هذه الدراسة إلى بناء والتحقق من نموذج CCNet-DGNN (CGN) الذي يستخدم الانتباه المتقاطع ذو الاتجاهات (Cross Cross Attention) وشبكة الرسم البياني الموجه (Directed Graph Neural Network) من خلال دمج تقييمات سريرية من الطب الغربي والطب الصيني التقليدي لمجموعات عالية الخطورة لسرطان الرئة وبيانات صور الأشعة المقطعية (CT) متعددة الوسائط لتوقع تقدم عقيدات الرئة بدقة. الطريقة تعتمد على بيانات 4432 مريضًا بعقيدات رئوية، حيث يستخدم CCNet التوأمي لاستخلاص الخصائص الزمنيّة والمكانية لفحصين CT ويتم استخراج البيانات الهيكلية للمعاينات السريرية والسمات التصويرية عبر شبكات متعددة الطبقات، ومن ثم تتم محاذاة الخصائص متعددة الوسائط عن طريق قياس التشابه. يُبنى DGNN لدمج الخصائص المستخلصة، تمثل الرؤوس مجموعات الخصائص والروابط تمثل تدفق المعلومات بين الوسائط. تُستخدم استراتيجية تحسين مشتركة بين خسارة الإنتروبيا المتبادلة وخسارة التشابه الكوني لإتمام مهمة التصنيف بهدف توقع تقدم العقيدات. النتائج أظهر نموذج CGN أداءً جيدًا في مجموعة الاختبار مع قيم AUC، الدقة، الحساسية، النوعية، معامل كابا، ومؤشر F1 تساوي 0.830، 0.843، 0.657، 0.712، 0.417، و0.544 على التوالي، مع تحسن في AUC بنسبة 36%-48% مقارنة بالنماذج أحادية الوسائط، وتحسن بنسبة 2%-22% مقارنة بالنماذج المبسطة التي أزالت بعض الوحدات، مما يثبت فعالية دمج الوسائط وتصميم الوحدات؛ كما أدى دمج المعلومات من الطب الصيني إلى زيادة AUC بنسبة 5% مما يثبت قيمة الدمج بين الطبين. تحليل تصور خريطة التفعيل المرجح بالحدود أظهر أن نموذج القرار يركز بدرجة كبيرة على منطقة العقيدات ويستطيع التقاط العلاقة الديناميكية بين البيانات السريرية وسمات الصور. الخلاصة يقترح هذا البحث نموذج CGN الذي يجمع بين آلية الانتباه المتقاطع وشبكة الرسم البياني الموجه لتحقيق دمج فعال لمحاذاة البيانات متعددة الوسائط، ويلعب دمج البيانات من الطب الصيني والغربي دورًا في تعزيز التكامل المعلوماتي وتحسين دقة توقع تقدم عقيدات الرئة، مما يقدم دعمًا للقرار في فرز ومتابعة الأشخاص ذوي المخاطر العالية لسرطان الرئة بشكل ذكي وشخصي.
关键词
عقيدات الرئة;توقع التقدم;دمج البيانات متعددة الوسائط;آلية الانتباه المتقاطع;شبكة الرسم البياني الموجه;المجموعة عالية المخاطر لسرطان الرئة;التقييمات السريرية للطب الصيني والغربي