新媒体运营音频检索思维导图

是以语音为中心的检索,采用语音识别等处理技术

基于语音技术的检索是利用语音处理技术检索音频信息

语音信号处理的许多成果可以用于语音检索

基于语音技术的检索主要有利用大词汇语音识别技术、基于子词单元

基于识别关键词进行检索和基于说话人的辨认进行分割等

基于说话人的辨认进行分割是简单地辨别出说话人话音的差别,而不是识别出说的内容

利用这种技术,可以根据说话人的变化分割录音,并建立录音索引

如用这种技术检测视频或多媒体资源的声音轨迹中的说话人的变化

建立索引和确定某种类型的结构(如对话)

因而目前的处理方法可以分为相应的三种: 处理包含语音的音频、不包含语音的音频以及音乐

第一种是利用自动语音识别技术,后两种是利用更一般性的音频分析

以适合更广泛的音频媒体,如音乐和声音效果,当然也包含数字化语音信号

音频信息检索技术可分为语音检索、音频检索和音乐检索

是以波形声音为对象的检索,统一用声学特征来检索

常用的音频特征包括基音、共振峰、线性预测系数等底层特征,以及声纹、关键词等高层特征

音频检索应能使用户从大型音频数据库中或一段长录音中找到感兴趣的音频内容

分析和检索的音频可以包含语音和音乐,采用的是更有普适性的声学特性分析方法

对于单体声音检索主要有声音训练与分类、听觉检索等

声音训练是通过训练来形成一个表达某类声音的类模型,声音分类是把声音按照预定的类组合

对被分类声音先经计算分析后与声音类模型比较,以确定该声音所属的类组合

听觉检索是依据听觉感知特性,如基音和音高等,可以自动提取并用于听觉感知的检索

也可以提取其他能够区分不同声音的声学特征用于查询

一般的情况是一段录音包含许多类型的声音,由多个部分组成

更为复杂的情况是,各种声音可能会混在一起

这需要在处理单体声音之前先分割长段的音频录音,进行音频分割

音频分割可以通过信号的声学分析并查找声音的转变点来实现音频的分割

这些技术包括暂停段检测、说话人改变检测、男女声辨别,以及其他的声学特征

转变点定义信号的区段,然后这些区段就可以作为单个的声音处理

是以音乐为中心的检索,利用音乐的音符和旋律等音乐特性来检索

如检索乐器、声乐作品等,音乐检索虽然可以利用文本注释

但音乐的旋律和感受并不都是可以用文字描述清楚的

基于内容的检索技术在某种程度上可以解决这种问题

节奏是可度量的节拍,是音乐中一种周期特性和表示

音乐的乐谱典型地以事件形式描述,如以起始时间、持续时间

一组声学参数(基音、音高、颤音等)来描述一个音乐事件

注意到许多特征是随时间变化的,所以可以用统计方法来度量音乐的特性

人的音乐认知可以基于时间和频率模式,就像其他声音分析一样

时间结构的分析基于振幅统计,得到现代音乐中的拍子

频谱分析获得音乐和声的基本频率,可以用这些基本频率进行音乐检索