浪潮信息申请视觉语言理解专利，提升计算机视觉的视频语言理解能力lg...

摘要：金融界2024年3月23日消息，据国家知识产权局公告，浪潮电子信息产业股份有限公司申请一项名为“一种视觉语言理解方法、装置、设备及可读存储介质“，公开号CN117746441A，申请日期为2024年2月。专利摘要显示，本发明涉及计算机视觉领域，具体公开了一种视觉语言理解方法、装置、设备及可读存储介质，通过在训练视觉理解模型时根据样本数据集通过视觉模态和文本模态之间的互信息构建视觉文本跨模态共识信息，以进行基于视觉文本跨模态共识信息的视觉文本跨模态编码，以视觉文本跨模态共识信息为桥梁将视觉语言中蕴含的知识学习到模型中，使模型更好地理解图像或视频的内容和上下文信息，引导模型聚焦图像或视频与其对应的语言信息中的重要部分，解决了传统视觉语言模型或视频语言模型均存在的由视觉模态和文本模态语义不对齐导致的学习损失较大的问题，提升了计算机视觉的视频语言理解能力，进而精确响应视觉语言相关问题。