查看原文
其他

视频知识图谱如何更懂你?



如果你喜欢周星驰电影,在手机中“刷”得越多,就会发现周星驰相关影视出现的频率也越多。
 
为什么视频越来越懂你?这背后有很多技术支撑,其中之一就是应用了知识图谱。
 
百度智能云基于百度中文领域最大的通用知识图谱,专门构建了面向多媒体(包括视频)的知识图谱应用,相比传统的基于感知的视频理解,能大大提升视频标签的效果,进而有效提升百度信息流的推荐效果。


 

推动视频新发展


知识图谱的技术发展已有多年历史,本质来说是将碎片化的信息以结构化(图形化)的方式呈现,核心是语义网络。
 
随着人工智能发展,尤其是底层深度学习的技术不断演进,知识图谱迎来了较大的飞跃。但与行业通用的知识图谱相比较,面向多媒体类(尤其是视频类的)知识图谱有诸多特殊之处。
 
当下通用知识图谱技术较为成熟,面向的是通用领域,以常识性知识为主,形态通常为结构化的百科知识,强调的是知识的广度,使用者一般是普通用户。
 
而视频场景下的多媒体知识图谱,具有严格和丰富的数据模式。多应用在特定领域如广电媒体、短视频分发厂商等,对知识深度与完备性要求高,目标用户是行业中不同级别的操作人员。所面临的业务场景也不同,所以对精准度要求更高,可用于复杂的分析应用或者决策支持。
 
可以想象一下具体场景。如何在影视视频中提取明星的姓名、影片名称、年代、电影类型和具体场景?如何仅根据一个关键词,就能搜索到所有在主题上与之直接相关的视频,甚至是间接相关的视频?
 
这些都是知识图谱擅长解决的问题。
 

业内独有多模态技术


与业内主流的方案相比较,百度智能云依托百度积淀的 AI 技术,围绕视频领域构建了知识图谱及基于知识图谱的理解技术,有如下优势所在:
 
· 提高构建效率
通过低资源学习、人机协同构建,大幅提升知识图谱的构建效率。并通过跨行业的多层次迁移学习,提升在不同行业的可迁移性。
 
· 研发了多模态预训练技术
以此为基础实现了知识增强的视频语义理解技术,包括:视频语义分析(视频拆条、视频标签、事件场景理解等)、视频语义计算(跨模态检索、跨模态生成) 。该技术突破传统基于感知的视频内容分析的局限,实现对视频的深度语义理解,并显著提升效果。
 
· 覆盖面广
覆盖了40多个种类,涵盖人物、影视综艺动漫、音乐、游戏、商品、体育等主要垂类。
 
尤其是在多模态技术应用中,百度智能云走在了业内前沿,这主要来源于对 AI 技术的沉淀和对通用知识图谱的技术积累和实践,毕竟百度知识图谱是中文知识图谱的领先者,覆盖最广,拥有超过50亿实体、5500亿事实。
 

让视频更更更懂你


知识图谱应用到视频行业之后,极大地提高了视频的利用率。
 
典型的应用场景是:帮助媒资类平台做好视频分析和推荐。比如与一些短视频应用平台或者是手机、智能电视等生产制造厂商合作,利用从影视片段中分析出的演员、场景、关键词等信息,通过知识图谱技术,推理出该影视剧标题,帮助这些厂商做好视频分发和推荐。
 
例如,在与酷开网络智能电视合作中,百度智能云知识图谱技术集合了全网海量影视内容的结构化信息,能够输出和视频内容相关的剧集名称、所属系列、演员和角色名称、影片类型、影片地区等信息。即便是游戏垂类视频,百度知识图谱也能联想出相关信息,可以根据视频内容输出“和平精英”、“穿越火线”、“我的世界”等标签。
 
百度智能云的知识图谱技术与智能内容推荐系统等系统结合起来,能够帮助酷开网络的电视端信息流形成千屏千面的个性化影视,极大地提高用户的体验。
 
另一类典型的应用场景是:能帮助媒资平台将大量的“沉睡”视频,也就是通常说的“冷数据”重新激活。也就是根据这些媒资的内容,重新打标签,对媒资内容进行知识化的理解与组织,构建面向媒资管理场景的知识图谱,形成一个大型的垂类知识图谱网络,为上层的不同应用提供服务。相比过去基于音视频、人脸识别的技术,能更进一步地理解媒资。
 

未来关键突破点


百度智能云的视频知识图谱应用在百度好看视频、百度视频搜索和百度信息流中等,效果明显。
 
以视频推荐为主,在纯视觉领域,相比较传统的人脸识别、OCR 分析、抽取关键词等技术,应用知识图谱之后增益大大提升。目前为止,百度智能云也是视频领域为数不多具有知识图谱能力的厂商。
 
而在信息流分发上,融合加入并应用视频知识图谱之后,分发效果也显著提升。
 
当然,视频知识图谱还在不断改进中,首先是如何以更低的成本,更快速的构建,形成最快的迁移,全面降低行业迁移成本。其次是加强与其他技术的融合,如与图像、视觉和语音等融合等,多方面技术相互融合形成综合解决方案快速提升和解决客户的问题。
 
除了在视频领域之外,百度智能云的知识图谱还广泛应用在广电媒体、医疗、法律、金融等专业领域和行业。
 
以通用知识图谱为根基,百度智能云还将不断提升多模态理解技术,进一步提高视频知识图谱的行业覆盖率、构建效率和可执行率等,全面帮助用户提高视频等媒资的利用率以及个性化推荐,全面提升用户体验,促进行业智能化转型。

长按识别二维码

了解媒体内容分析详细信息


联系购买或合作可点击“阅读原文”。


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存