信息科学技术学院网络安全与智能系统科研创新团队、软件工程专业教师刘婧与清华大学深圳国际研究生院联合研究成果《Negative-Sensitive Framework With Semantic Enhancement for Composed Image Retrieval》在计算机科学领域国际权威期刊《IEEE TRANSACTIONS ON MULTIMEDIA》(中科院一区、TOP期刊、IF 7.3)在线发表。该成果由泰山学院、清华大学、复旦大学联合完成,清华大学深圳国际研究生院为第一完成单位和通讯作者单位。
本文提出了一种用于挖掘匹配样本和不匹配样本之间的自适应边界的语义增强负敏感框架(NSFSE)。模型可以基于分布情况动态优化阈值,探索正相关和负相关的内在特征,进一步促进准确的相似学习。在NSFSE中,利用对局部词特征注入跨模态亲和度后的文本引导注意力机制,探索潜在的与语义相关的视觉相似性和跨模态相似性,并在CIRR、FasdionIQ和Fashon200K三个代表性数据集上进行了大量实验和综合分析,证明了其有效性。
该高水平论文的发表是学院有组织科研工作取得的又一重要成果,不断提升了教师的科研水平和实力,为实现科研新突破、培育高水平科研成果奠定了基础。