目的遮挡行人重识别因可见区域缺失和遮挡噪声干扰,导致特征判别性不足、鲁棒性差。现有方法多局限于单视图表征,存在通道判别性建模不充分、显著区域过拟合等问题。方法提出一种融合通道注意力增强、显著性引导擦除与门控正则化的多视角学习框架。该方法首先采用挤压激励残差网络(squeeze-and-excitation residual network,SE-ResNet)作为骨干网络,通过通道注意力机制自适应增强判别性特征。进而,设计Top-k显著性引导软擦除模块,利用类激活图定位关键区域并进行平滑抑制,迫使网络发掘多样化辅助特征,以缓解过拟合。此外,引入门控正则化机制,对特征通道选择概率施加熵约束,提升选择过程的稀疏性与稳定性。在训练阶段,通过加权融合多视图特征并借助特征对齐损失实现信息协同;推理阶段仅需单视图特征即可完成高效检索。结果在4个代表性数据集上的实验表明,所提方法均取得领先性能。其中,在专门针对遮挡行人重识别的数据集Occluded-REID(occluded person re-identification)上,平均精度均值(mean average precision,mAP)与首位命中率(rank-1 accuracy,Rank-1)分别达到83.4%与92.8%;在大型多场景复杂数据集MSMT17(multi-scene multi-time)上,分别达到71.4%与89.6%,较先进方法MVIIP(multi-view information integration and propagation)有显著提升。在基于DukeMTMC(Duke multi-target multi-camera)构建的合成遮挡数据集P-DukeMTMC和经典通用行人重识别基准数据集Market-1501上,所提方法同样表现优异,验证了其针对合成与自然遮挡的普适性。结论所提方法在遮挡与多场景任务中均表现出良好的适应性、鲁棒性和泛化能力,适用于复杂监控场景下的行人检索。
目的多模态情感识别旨在融合文本、视觉与语音等模态信息识别对象情感状态。然而,模态间固有的异质性问题使得情感语义与模态特有噪声纠缠,限制模型的可解释性。而且,现有融合策略难以充分捕捉模态间情感语义特征的细粒度关联,导致融合表示判别性不足。为此,提出一种多模态情感识别的可解释可逆解耦与自适应融合方法。方法设计IAMD(invertible attention mask-based disentanglement)模块,构建各模态特征表示与情感语义因子之间的可逆映射,并结合注意力掩码将隐式特征解耦为跨模态一致性的共享特征与保留各模态独有属性的特有特征。构建MIC(mutual information constraint)机制,使用互信息约束共享特征、特有特征和情感标签间的依赖关系,增强语义一致性建模同时减少模态噪声冗余。提出SGAFF(semantic-guided adaptive feature fusion)模块,利用共享特征的上下文信息对特有特征进行语义引导,实现共享与特有引导双分支的自适应融合。结果在CMU-MOSI(Carnegie Mellon University Multimodal Opinion-level Sentiment Intensity)数据集上,相较于DLF(disentangled language focused)模型,本文模型在平均绝对误差(mean absolute error,MAE)降低了2.4%,七分类准确率(7-class accuracy,Acc-7)提升了2.9%;在CMU-MOSEI(Carnegie Mellon University Multimodal Opinion Sentiment and Emotion Intensity)数据集上,相较于TMBL(Transformer-based multimodal binding learning)模型,MAE降低了2.6%,皮尔逊相关系数(Pearson correlation coefficient,Corr)提升了1.7%;在UR-FUNNY(University of Rochester-FUNNY)数据集上,相较于MISA(modality-invariant and specific analysis)模型,F<sub>1</sub>值(F<sub>1</sub>-score)提升了5.6%。结论所提方法实现了情感语义信息与模态特有噪声的可解释解耦,并促进跨模态情感语义特征的细粒度交互。该方法适用于模态异质性较复杂的多模态场景及对情感识别指标有较高要求的任务。本文代码已开源至https://doi.org/10.57760/sciencedb.j00240.00138。
目的面向低空无人机巡检、夜间搜救和应急监测中的机载红外感知链路,研究如何将高动态红外图像转换为固定八位输入时保留当前场景中的有效灰度层次,并设计适合数字信号处理器多核并行运行的处理方式。方法将高动态红外图像转换为八位图像时,先依据当前帧实际出现的灰度内容确定需要保留的层次,再结合像素数量和灰度级占用安排输出灰度空间,通过连续曲线压缩高热区域所在的亮端,保持主体和阴影过渡的连续层次,并保留低对比目标已有的灰度差异。映射曲线形成后保存为当前帧查找表,像素转换通过查表完成。在端侧实现中,将查找表作为多个核心共同读取的只读数据,在德州仪器TMS320C6678八核数字信号处理器上按图像区域并行完成转换。结果构造高热、坏点、阴影和联合干扰四类复杂场景,采用峰值信噪比、结构相似性、色调映射图像质量和目标有效灰度覆盖率评价处理结果,并与三种动态范围压缩方法比较。四种目标检测框架下,该方法在交并比阈值0.5~0.95上的平均精度均值(mean average precision,mAP@[0.5:0.95])相对于各框架中最佳对比方法提高2.9~3.7个百分点。TMS320C6678端侧实验在640×512分辨率下进行,单帧总时间由原始算法的78.33 ms降至端侧硬件加速算法的6.10 ms,帧率由12.77帧/s提高至163.93帧/s,加速比达到12.84。结论本文所提出方法按照当前场景实际出现的灰度内容重新分配固定八位输出中的灰度层次,并把每帧生成的映射关系保存为查找表供多个核心复用,在保持红外图像有效层次的同时,为机载视觉处理提供了适合多核端侧实时运行的转换方式。
目的可编辑三维服装资产在数字时尚、虚拟试衣、游戏动画和三维内容创作中具有重要应用价值。现有文本驱动服装编辑方法多分别处理几何与纹理,局部编辑时直接生成完整服装表示易引起非目标参数漂移、目标修改不准确和仿真不稳定。为此,本文提出文本驱动的三维服装几何与纹理编辑框架。方法本文构建两阶段顺序式框架。给定穿衣人物图像和文本编辑指令,本框架首先将用户指令拆分为几何与纹理编辑指令。几何编辑分支在参数化缝纫图空间中确定可编辑字段,由语言模型生成字段级编辑计划,再通过确定性程序完成路径、范围及方向检查和非目标变化回滚,经缝合与物理仿真生成三维网格。纹理编辑分支依次接入现有图像编辑模型、服装区域提取和图像引导纹理迁移模块,实现颜色、材质或图案编辑。此外,本文构建了GeometryEdit-10K数据集,并在GeometryEdit-1200上开展定量评价。结果在GeometryEdit-1200上,本文方法的L1范数倒角距离(L1-norm Chamfer distance,CD-L1)为3.501,阈值为1.0的F分数(F-score at a threshold of 1.0,F@1)为0.820;较AIpparel,前者下降48.9%,后者提高23.1%。目标命中率为0.568,非目标漂移率为0.013;较ChatGarment,二者分别提高55.2%和降低97.9%。纹理实验表明,在所测试样例和所采用指标下,本文流程获得了更好的编辑方向一致性。结论本文提出的字段约束局部编辑流程能够改善目标字段执行并减少非目标字段变化,增强局部几何编辑的可控性。通过顺序衔接现有纹理生成与迁移模块,该框架能够形成由服装结构编辑到外观编辑的完整流程。
目的实时语义分割在自动驾驶、视频监控和增强现实等场景中具有重要应用价值,但现有方法在保持高推理速度的同时,往往难以同时保证边界细节的精确刻画和全局语义的一致性。针对这一问题,该文提出一种边缘-主体特征增强网络。方法首先通过多分支协同架构与模块化注意力机制,有效提升模型对边界区域、语义信息及多尺度结构的建模能力。首先,提出边缘-主体特征解耦模块,实现边缘与主体特征的结构性分离与互补增强;其次,设计多尺度感知金字塔模块,结合多尺度平均池化与深度可分离空洞卷积,显著提升多尺度上下文建模能力并缓解空洞卷积伪影;最后,构建特征注意力融合模块,融合细粒度结构特征与语义特征,通过注意力机制强化关键区域表达。结果实验结果表明,在Cityscapes数据集上,所提算法在保持65 frame/s(FPS)推理速度的同时,平均交并比(mean intersection over union,mIoU)达到79.5%;在CamVid数据集上,mIoU达到83.0%,速度保持在108.1FPS,显著优于现有主流方法。结论所提方法在精度与效率之间实现了良好平衡,适用于对实时性和高精度均有较高要求的语义分割任务。https://www.scidb.cn/s/RJnYNr