近日，醫學部生物醫學工程學院雷柏英、汪天富教授團隊在知名期刊IEEE Transactions on Medical Imaging（影響因子8.9）上發表題為“FAMF-Net: Feature Alignment Mutual Attention Fusion with Region Awareness for Breast Cancer Diagnosis via Imbalanced Data”的學術論文。深圳大學博士生柳懿垚為第一作者，教授汪天富、特聘教授雷柏英為通訊作者，深圳大學為第一作者單位和通訊單位。

多模式超聲圖像中乳腺癌的自動準確分類對于提高患者的診療效果、節約醫療資源至關重要。在深入研究中，多模態超聲圖像的融合經常遇到諸如錯位、互補信息利用有限、特征融合的可解釋性差以及樣本類別不平衡等挑戰。為解決上述問題，團隊引入了一種特征對齊相互關注融合方法（FAMF-Net），該方法能有效融合未對準的多模態乳腺超聲圖像，并優化了不平衡數據上的乳腺腫瘤分類效果。具體而言，該方法通過平移變換在類激活圖（CAM）上應用區域感知對齊（RAA），解決圖像錯位問題，實現了更好的特征交互融合。其次，引入了一種互注意力融合（MAF）機制，以交互方式融合B模式特征和剪切波彈性圖像特征，針對兩種模態的邊緣和顏色特征進行針對性優化，從而實現了兩種模態特征的可解釋和有效融合。最后，設計了一種基于強化學習的動態優化策略（RDO）來調整損失函數的權重，減輕數據不平衡對分類性能的不利影響。該方法的有效性在團隊基于臨床獲得的數據集和公開數據集均得到了驗證。

上述研究依托于廣東省生物醫學信息檢測與超聲成像重點實驗室和醫學超聲關鍵技術國家地方聯合工程實驗室開展，并得到了國家自然科學基金、廣東省自然科學基金、深圳市自然科學基金、博士后基金、粵港科技合作資助計劃、香港研究資助局一般研究基金等項目的資助。

原文鏈接：https://ieeexplore.ieee.org/abstract/document/10742894