专利名称 ---【 动态多模态视频描述生成方法 】

基本信息
申请号
CN201711433810.6
申请日
2017.12.26
公开(公告)号
CN108200483A
公开(公告)日
2018.06.22
申请(专利权)人
中国科学院自动化研究所
申请人地址
100190 北京市海淀区中关村东路95号
发明人
张兆翔;郝王丽;关赫; 专利类型 发明专利
摘要
本发明属于视频描述领域,具体涉及一种动态多模态视频描述生成方法。旨在捕捉视听模态的共振信息以产生理想视频描述,另外,解决视频中的听觉模态受损或者缺失的情况。本发明提出的多模态视频描述生成系统通过视听觉模态的特征编码阶段共享LSTM内部记忆单元的权值或者共享外部记忆单元,对视听觉之间的时域依赖性进行建模,捕捉视听模态的共振信息;另外,本发明基于听觉推理系统根据已知视觉模态信息推理出对应的听觉模态信息。通过本发明可以快速有效的生成视频描述。
主权项
1.一种动态多模态视频描述生成方法,其特征在于,包括以下步骤:步骤S1:提取视频中所对应的视觉CNN特征和听觉MFCC特征,并判断听觉MFCC特征是否受损或者消失;如损失或消失执行步骤S2,否则执行步骤S3;步骤S2:将所述视觉CNN特征通过基于编码?解码方式的听觉推理模型进行推理得到完整的听觉MFCC特征;步骤S3:利用所述视觉CNN特征和听觉MFCC特征,基于视听觉之间的时域依赖性,通过多模态编码器进行编码以及视听两个模态的交互融合,得到融合特征,将融合特征通过解码器迭代地解码后生成视频描述。

 

IPC信息
IPC主分类号
H04N21/84(2011.01)I
IPC分类号
H04N21/84(2011.01)I;H04N21/466(2011.01)I;H04N21/44(2011.01)I

 

法律状态信息
法律状态公告日
2018.07.17
法律状态
实质审查的生效 法律状态信息
实质审查的生效 IPC(主分类):H04N 21/84 申请日:20171226
法律状态公告日
2018.06.22
法律状态
公开 法律状态信息
公开

 

代理信息
代理机构名称
北京瀚仁知识产权代理事务所(普通合伙) 11482
代理人姓名
郭文浩;陈晓鹏

 

被引专利信息
引用阶段 被引时间 专利号 申请人 公开时间

 

被引非专利信息
引用阶段 被引时间 被引文档类型 被引文档信息
相似专利

[发明专利] 一种多旋翼自动控制无人机系统
发明人:廖小罕; 岳焕印; 刘见礼; 胡俊 申请日:2019-05-24

[发明专利] 基于北斗卫星的深海潜标实时大容量数据传输系统
发明人:汪嘉宁; 张祥光; 王凡 申请日:2019-05-21

[发明专利] 一种基于GNSS载波相位观测值的电离层监测与建模方法
发明人:涂锐;卢晓春;成芳;张鹏飞;张兴刚 申请日:2016-08-25

[发明专利] 激光远场焦斑高精度动态诊断装置及诊断方法
发明人:段亚轩;李晶;陈永权;赵建科;刘尚阔;田留德;李坤;王涛;薛勋;赵怀学;潘亮 申请日:2016-04-11

[实用新型] 激光远场焦斑高精度动态诊断装置
发明人:段亚轩;李晶;陈永权;赵建科;刘尚阔;田留德;李坤;王涛;薛勋;赵怀学;潘亮 申请日:2016-04-11

相似科技成果

基于多维光纤光栅传感技术的光纤动态称重系统
主题词:[ ] 单位名称:中国科学院上海光学精密机械研究所

基于多维光纤光栅传感技术的光纤动态称重系统
主题词:[ ] 单位名称:中国科学院上海光学精密机械研究所

基于多维光纤光栅传感技术的光纤动态称重系统
主题词:[ ] 单位名称:中国科学院上海光学精密机械研究所

基于多维光纤光栅传感技术的光纤动态称重系统
主题词:[ ] 单位名称:中国科学院上海光学精密机械研究所

基于多维光纤光栅传感技术的光纤动态称重系统
主题词:[ ] 单位名称:中国科学院上海光学精密机械研究所

     分享到:0


| 联系我们 | 网站地图 | 版权声明 |

版权:中国科学院 主办:中国科学院科技促进发展局 承办:中国科学院成都文献情报中心 蜀ICP备05003827号-12

建议使用1024×768 分辨率 IE6.0以上版本浏览器