目的场景文本图像超分辨率是一种新兴的视觉增强技术，用于提升低分辨率文本图像的分辨率，从而提高文本可读性。然而，现有方法无法有效提取文本结构动态特征，导致形成的语义先验无法与图像特征有效对齐并融合，进而影响图像重建质量并造成文本识别困难。为此，提出一种基于文本结构动态感知的跨模态融合超分辨率方法以提高文本图像质量和文本可读性。方法首先构建文本结构动态感知模块，通过方向感知层和上下文关联单元，分别提取文本的多尺度定向特征并解析字符邻域间的上下文联系，精准捕获文本图像的结构动态特征。其次，设计语义空间对齐模块，利用文本掩码信息促进精细化文本语义先验的生成，并通过仿射变换对齐语义先验和图像特征。在此基础上，通过跨模态融合模块结合文本语义先验与图像特征，以自适应权重分配的方式促进跨模态交互融合，输出高分辨率文本图像。结果在真实数据集TextZoom上与多种主流方法进行对比，实验结果表明所提方法在ASTER、CRNN和MORAN三种文本识别器上的平均识别精度为62.4%，较性能第二的方法有2.6%的提升。此外，所提方法的PSNR和SSIM的指标分别为21.9和0.789，分别处于第一和第二的位置，领先大多数方法。结论所提方法通过精准捕获文本结构动态特征来指导高级文本语义先验的生成，从而促进文本和图像两种模态的对齐和融合，有效提升了图像重建质量和文本可读性。<p>目的场景文本图像超分辨率是一种新兴的视觉增强技术，用于提升低分辨率文本图像的分辨率，从而提高文本可读性。然而，现有方法无法有效提取文本结构动态特征，导致形成的语义先验无法与图像特征有效对齐并融合，进而影响图像重建质量并造成文本识别困难。为此，提出一种基于文本结构动态感知的跨模态融合超分辨率方法以提高文本图像质量和文本可读性。</p><p>方法首先构建文本结构动态感知模块，通过方向感知层和上下文关联单元，分别提取文本的多尺度定向特征并解析字符邻域间的上下文联系，精准捕获文本图像的结构动态特征。其次，设计语义空间对齐模块，利用文本掩码信息促进精细化文本语义先验的生成，并通过仿射变换对齐语义先验和图像特征。在此基础上，通过跨模态融合模块结合文本语义先验与图像特征，以自适应权重分配的方式促进跨模态交互融合，输出高分辨率文本图像。</p><p>结果在真实数据集TextZoom上与多种主流方法进行对比，实验结果表明所提方法在ASTER、CRNN和MORAN三种文本识别器上的平均识别精度为62.4%，较性能第二的方法有2.6%的提升。此外，所提方法的PSNR和SSIM的指标分别为21.9和0.789，分别处于第一和第二的位置，领先大多数方法。</p><p>结论所提方法通过精准捕获文本结构动态特征来指导高级文本语义先验的生成，从而促进文本和图像两种模态的对齐和融合，有效提升了图像重建质量和文本可读性。</p>

本综述探讨了基于人脸视频的心率变异性（heart rate variability，HRV）估计技术，突出了其在健康监测和疾病诊断中的无创性和实时监控的优势。首先，解析了HRV的生理学基础和核心参数的定义，阐明了其在医疗保健领域的应用潜力。接着，详细介绍了人脸视频采集的技术细节、数据预处理流程，重点讨论了HRV参数估计的多种方法，包括传统信号处理技术和深度学习算法。分析表明，深度学习技术在HRV估计方面因其强大的模式识别能力，能够有效提取复杂视觉特征和处理非线性生理信号，在提高估计精度方面展现出显著优势。本综述还对比了传统方法和深度学习方法在不同应用场景中的表现，指出了各自的优势与局限性，并总结了基于人脸视频HRV估计技术的实际应用案例，如健康评估、情绪识别、精神压力评估、疲劳检测和心血管疾病早期预警等。因此，本综述提出了未来研究的方向，包括降低头部运动和环境光变化的干扰、优化模型选择及减少对训练数据的依赖等，以促进HRV估计技术的发展。本综述旨在提供基于人脸视频的HRV估计技术的全面视角，为学术界和工业界的技术创新和应用拓展提供重要参考。

目的视觉定位广泛地应用于自动驾驶、移动机器人和增强现实等领域，是计算机视觉领域的关键技术之一。现有的室内视觉定位数据集在重复纹理、对称结构和相似场景等方面不能完全反映出实际应用中的挑战，以及缺少相应指标反映视觉定位在实际应用中的问题。针对这些问题，本文提出一个基于全景相机的大尺度室内视觉定位基准数据集。方法本文选取了4种在实际应用中具有代表性的视觉定位场景，使用全景相机对选取场景进行分时段稠密采集，获取不同时间段下的室内全景数据。本文设计一种面向大尺度场景的全景建图算法对采集的数据进行高效准确地重建；同时设计一种基于建筑计算机辅助设计（computer-aided design，CAD）图的尺度恢复算法以恢复重建的真实尺度。本文通过激光测量和渲染对比方式对所提大尺度室内视觉定位数据集的精度进行定量和定性分析。此外，本文设计一种新的视觉定位算法评估指标——注册率和误定位率曲线，结合常用评估指标和本文所提指标对当前视觉定位算法进行全面地评估和分析。结果本文所提出的室内大场景视觉定位数据集总覆盖面积超过2万平米。评估结果显示当前最先进的方法在本文所提的数据集上仍有很大的提升空间。注册率和误定位率曲线反映出当前视觉定位算法无法有效地避免误定位问题，在保持较低误定位率的条件下，当前最先进算法的注册率在多个场景下不到50%。结论本文所提的室内视觉定位数据集和指标有助于更为全面地评估视觉定位算法，有助于研究人员对比和改进算法，有助于推动视觉定位在实际室内应用场景中的发展。数据集获取链接https：//github.com/zju3dv/PanoIndoor。

风格化数字人是在计算机图形学、视觉艺术和游戏设计等领域中迅速发展的一个领域。近年来，数字人物的设计和制作技术取得了显著的进步，使得数字人物能够具有更加逼真的外观和行为，同时也可以更好地适应各种艺术风格和情境。本文围绕风格化数字人任务，围绕数字人的风格化生成、多模态驱动与用户交互三个核心研究方向的发展现状、前沿动态、热点问题等进行系统性综述。针对数字人的风格化生成，从显式三维模型和隐式三维模型两种数字人的三维表达方式对于方法进行分类，其中，显式三维数字人风格化以基于优化的方法、基于生成对抗网络的方法、基于引擎的方法为主要分析对象，隐式三维数字人风格化从通用隐式场景风格化方法以及针对人脸的隐式风格化进行回顾。针对数字人的驱动，根据驱动源的不同，本文从显式音频驱动，文本驱动和视频驱动三个方面进行回顾。根据驱动实现算法的不同，本文从基于中间变量、基于编码-解码结构等方面进行回顾，此外算法还根据中间变量的不同可分为基于关键点、三维人脸和光流的方法。针对数字人的用户交互，目前主流的交互方式是语音交互，本文对于语音交互模块从自动语音识别和文本转语音合成两方面进行了回顾，对于数字人的对话系统模块，从自然语言理解和自然语言生成等方面进行了回顾。在此基础上，展望了风格化数字人研究的未来发展趋势，为后续的相关研究提供参考。

目的多模态心脏磁共振（Cardiac Magnetic Resonance，CMR）图像预测非缺血性扩张型心肌病（Non-Ischemic Dilated Cardio Myopathy，NIDCM）的预后对临床中心力衰竭或心源性猝死等不同应用中发挥着重要作用。由于各个模态CMR图像对同一疾病的感兴趣区域（Regions Of Interest，ROI）不同，使得不同模态图像间的信息互补性和相关性关系复杂，导致多模态CMR图像在对NIDCM预后时表征困难。同时由于预后任务标注困难，可用于训练预后模型的有标注数据规模小，导致模型容易陷入局部最优。针对这两点挑战，提出了一种基于混合匹配蒸馏与对比互信息估计的模型，用于小样本上的多模态CMR图像对NIDCM预后。方法本文的预后模型有两种不同的设计，解决深度学习网络中多模态CMR图像的表征困难和模型容易陷入局部最优的问题。首先将不同模态CMR图像组合为不同的模态对，并提取对应的图像特征。由于不同模态对的预后目标一致而图像特征分布之间存在差异，因此设计一种混合匹配蒸馏网络，利用逻辑分布一致性将不同图像特征分布关联匹配，以此约束深度学习网络中多模态特征的提取和引导联合表征。然后在不同模态对之间设计一种互信息的对比学习策略，从而估计出多模态分布上的潜在的分类边界，以此作为预后模型的正则化项，避免模型在有限的数据上陷入局部最优。结果实验在一个NIDCM临床数据集上分别与最新的6种方法进行了比较。F1值和Acc值达到81.25%和85.61%；为了验证模型的泛化性，在一个脑肿瘤公共数据集上也分别与最新的4种方法进行了比较，F1值和Acc值达到85.07%和87.72%。结论本文所提出的基于混合匹配蒸馏与对比互信息估计的预后网络模型对多模态CMR图像进行了有效表征，同时利用多模态之间的潜在互信息增强深度学习模型在小样本场景下的模型优化，最终使得多模态CMR图像的对NIDCM预后结果更加准确。