新媒体运营视频检索思维导图

视频检索含有更丰富的内容,但与图像数据一样,原始的视频数据也是非结构化的

在检索前要对其结构化,是解决基于内容视频检索问题的关键

为此需要解决的关键技术主要有关键帧抽取与镜头分割等

视频信号的结构化主要包括视频分割和视频结构重构两部分

视频分割用于将连续的视频流分割为可供检索的视频单元(镜头)

而视频结构重构则用于对分割产生的大量镜头建立更高层的组织结构,以便于浏览检索

根据应用背景不同,对视频流的分割可以采用不同的标准

在实际应用中多是以视频流中的自然分界

镜头场景的切换作为视频流的分割依据

关键帧起着与关键词类似的作用,人们常用关键帧来标识场景、故事等高层语义单元

比帧高级一些的视频基本单元是镜头,通常视频流中的镜头由在时间上连续的视频帧组成

它代表一个场景中在时间上和空间上连续的动作,对应着摄像机的一次记录的启停操作

镜头之间可存在多种类型的过渡方式,最常见的是切变

表现为在相邻两帧间发生突变性的镜头转换

此外,还存在一些较复杂的过渡方式,如淡入、淡出等

即基于镜头的方法、基于内容分析的方法、基于运动分析的方法、基于镜头活动性的方法和基于聚类的方法

镜头分割方法分为非压缩域和压缩域两类。 非压缩域方法主要是基于直方图的方法

压缩域方法基于视频帧图像的压缩基础,切分的依据是比较前后视频帧图像的压缩变换后的系数

当满足一定条件时即把它们切分为两组镜头

就是将语义相关的镜头组合聚类到一起,故事情节是一种比镜头具有更高抽象层次的结构

虽然可靠准确的镜头边界探测与关键帧抽取对于成功的视频分析很重要

但情节更符合人们在观看视频时对内容的理解方式

寻求视情节的描述方式应该是今后的视频检索技术的发展方向

目前基于内容的图像检索技术主要且只利用了图像本身包含的客观视觉特征

而人们对图像的描述以及对图像之间相似性的判断并非仅仅建立在图像的视觉特征之上

实际上图像检索者往往事先对所需图像仅存在一个主观的概念性描述

它建立在图像所描述的对象、事件以及行为特征之上

一般情况下,检索者的主要检索依据是图像的高层语义

即图像所表达的对象、行为、场景或者感情色彩,而不是图像的颜色、纹理、形状等细节特征

因此,基于高层语义信息的图像检索才是最具利用价值的图像语义检索方式

利用语义进行图像检索的研究主要包括图像语义的层次模型

语义知识表示、图像语义提取方法和检索系统设计等

计算机视觉、数字图像处理和模式识别技术,包括心理学、生物视觉模型等科学技术的新发展和综合运用

由于声音是人类所能感觉到的媒体,因此声音具有物理和心理两种属性,并且是相互关联的

物理属性与波形有关,包括声强、频率、声波复合、谐波结构等属性

心理属性则与人类的感觉有关,且因人而异,包括强度、音调、音色、音量、和谐等属性

自然界的声音极其广泛,如音乐声、风雨声、动物叫声、机器轰鸣声等

要从数以千万计的音频数据中提取所需的信息,常规的基于文本检索方法很难实现

只有从广泛的音频数据中提取特征信息,才能对不同音频数据进行分类和检索