曲麻莱| 八达岭| 亳州| 东山| 敦化| 清苑| 鸡东| 元坝| ope滚球 3344555.com 濠江| dafabet网页 峨眉山| 兰州| 乌兰| 韦德1946 色达| 叶县| 大兴| br88 南乐| 沁水| 大奖彩票 呼和浩特| betway88 九州娱乐官方网站 高陵| 博管理 光泽| 登封| 竹溪| 陆丰| dafabet黄金娱乐场 betway必威 广东| 嘉鱼| 闻喜| 万博体育1.0 青铜峡| 宜都| 台中县| 泾县| 南通| 嘉义市| 寰宇浏览器打不开 沾益| 富宁| 万博app2.0 dafa888 黟县| 广西| 沙县| 云浮| 高港| bifa88 兴安| 乐天堂fun88 宁城| 深泽| opebet官网 疏附| w88手机版 dafabet手机版中文 小河| 资阳| 白城| 哈密| bwin88 平阳| 罗平| bwin必赢 bwin网站 沧州| 南丰| 贡嘎| 1xbet吧 常熟| 泰顺| 浙江| 万博官方体育 888大奖娱乐 多伦| 桦南| 华山| 贵阳| betway 大发时时彩下载 陈仓| 云龙| 台北县| 长寿| 铁力| 惠阳| 牙克石| 周口| 宽城| 通化县| 罗田| ca888亚洲成唯一官网 沽源| 吉安市| 宿州| 成安| 大厂| 两当| 望江| 陕西| 优德88 安平| br88 清涧| ca888 武安| 开封县| 赣县| wanbet 高平| 曲江| 诏安| manbetx 王益| 永德| 韦德1946 内江| 黔江| 余江| 梓潼| 万博2.0苹果下载 3344111 阿图什| 3344555 息烽| 安丘| 万荣| 武鸣| w88 孝昌| 嘉荫| 新泰| 优德88中文 无为| 狗万体育网站 常山| ca88 兴隆| bwin88 清流| 新城子| 高雄县| 密云| ca888亚洲城唯一官方 惠农| 金川| 眉县| 万博app下载 茌平| 宜宾市| 万博体育官网多少 临武| 道县| 西乡| 佳县| 新野| 冠县| dafa888casino uedbet官网体育 荣县| 富裕| 万博manbetx体育 达州| 八一镇| betway必威 邕宁| 修水| BR88 黄山市| 必发88手机版 伊春| 绍兴县| 山东| 即墨| 榆中| 明溪| 大奖888娱乐 蒲县| 万博体育彩票 优德88 www.3344444.com 元坝| 合作| 阿拉善右旗| 无为| 柏乡| bwin888 吴江| 云安| betway必威亚洲 麻阳| 木里| 88bf娱乐 安平| dafa888bet manbetx 万博体育manbetx 克拉玛依| 盘锦| 加格达奇| 博管理 BR88官网 嘉鱼| 榆树| 墨脱| 安庆| 陵水| 亚洲城网页版网址多少 晋州| 亚洲城兑换积分的网址 得荣| dafabet888娱乐场 manbet 乐陵| 田林| fun88手机版 万博限额封号 科尔沁左翼后旗| w88win 仙游| 杜尔伯特| 马关| 普陀| 临澧| 优德88 石门| 冠亚彩票 白云| 铁山港| 阳江| 达县| 通城| 费县| bwin必赢 韦德1946网址 九州体育 betway88 manbetx uedbet体育 莘县| 优德88 嘉兴| 马边| 仙游| 永昌| 宜春| 安溪| 冠亚娱乐 临沧| 灌南| 安远| 铜山| 罗定| 韦德1946 平湖| betway88 bwin必赢 昌宁| 1xbet吧 长白| 黄陂| 札达| 费县| 开封县| 望奎| 优德88中文 门源| bwin网站 betway 平乡| 乐平| 六盘水| 鲁甸| 新版ued官网 石门| betway88 巴东| 大奖网 br88ap 手机寰宇浏览器官网 万博体育地址 礼县| 白云矿| w88手机版 bwin娱乐 vinbet 冠亚彩票 兴县| 楚州| manbetx官网 昔阳| ManBetX世界杯 隆尧|

学习右玉精神 助力脱贫攻坚 智力扶贫完美收官

2018-12-12 01:47 来源:时讯网

  学习右玉精神 助力脱贫攻坚 智力扶贫完美收官

  冠亚彩票要认真总结聚力服务的战略布局。观影现场不乏一些家长带着孩子前来观影,影片中角色全程无尿点的疯狂抖包袱,让不同年龄层观众看得不亦乐乎。

40年来中国人民勇于探索、真抓实干、凭着一股开拓创新的拼劲,一股自力更生的韧劲,把中国建成了世界第二大经济体,中国的面貌、中国人民的面貌发生了翻天覆地的变化。作为国家主流媒体,央视非常愿意与福建省鼎力合作,依托强大的媒体影响力和品牌塑造力,助力福建省取得脱贫攻坚战役的决定性胜利。

  国家发改委价格监测中心预计,后期全球原油市场供需较为宽松,石油输出国组织原油供应政策、中东地缘政治局势和美国对伊朗制裁的变化是影响国际油价的主要因素。  9月28日,全新融媒体国际传播频道长城精品频道正式开播。

  四、驱动融资方式双轮发展的便利性。  原因一:铁摄入不足导致贫血  女性肌肤的健康,很大程度上取决于血液循环的质量,而血红蛋白是其中最要紧因素。

二是鼓励全民参与创作正能量内容,与腾讯微视深度合作,向网友征集具有时代精神和正能量的乐活短视频,并挑选优质内容在节目中播放。

  要淬真火。

  虽然企业发展前景广阔,但融资难却阻碍了企业成长的步伐。一、强化意识,组织学习。

  180㎡岛心瞰景大宅,比豪宅更大尺度中国房企57强“星河地产”,以不凡鉴非凡,8年匠心钜制星河国际。

    消化不良的人,经常喝点醪糟汤,喝点酸奶,吃点泡菜等,是有利于胃肠康复的。”桑德斯在推特上公开了当时现场的视频,并且留言称:“我支持暂停阿科斯塔通行证的决定,我绝不会容忍这种已经被录像清晰记录下来的不当行为。

  孩子活泼好动,两个月前在上课期间摔了一跤,一头撞上了桌脚,额头出现了大包,脸部大面积擦伤出血并红肿。

  冠亚娱乐“花总”:酒店别把事情当公关危机处理上海璞丽酒店回应称,事发至今,酒店进行了深入的调查。

  湖北襄阳广德寺广德寺的这棵银杏树龄已经上千年,曾受到明清两代皇帝的赐封。  发布会现场以最好听的语文宣传片开场,充分展示了中央广播电视总台播音员主持人、技术人员和教育部权威专家共同打造中小学语文示范诵读库这道文化大餐的历程。

  冠亚br88 寰宇浏览器打不开 大奖888

  学习右玉精神 助力脱贫攻坚 智力扶贫完美收官

 
责编:
炼数成金 门户 商业智能 芯片 查看内容

学习右玉精神 助力脱贫攻坚 智力扶贫完美收官

fun88娱乐 专项整治分为动员部署、自查自纠、专项检查三个阶段。

2018-1-22 11:23| 发布者: 炼数成金_小数| 查看: 52809| 评论: 0|原作者: 吴臻志|来自: 机器之心

摘要: 语音识别(语音转文字),包括语音命令,语音听写和语音转录。语音命令往往比较短,例如“发短信给xxx”,“打开电视机”等等。语音听写则是对近场清晰语音的人对机听写,需要有一定的实时性。可以识别完整的一句话 ...

网络 算法 神经网络 深度学习 芯片

目前,语音文本类深度学习应用主要分为几个大的方面:
1. 语音识别(语音转文字),包括语音命令,语音听写和语音转录。语音命令往往比较短,例如“发短信给xxx”,“打开电视机”等等。语音听写则是对近场清晰语音的人对机听写,需要有一定的实时性。可以识别完整的一句话或一段内容。语音转录做的是人人对话(例如会议)时的速录员的工作,可以是非实时的录音,可以采用更复杂的处理技术。目前语音识别大类,尤其是后两者主要还是依靠调用云端API实现。在终端化上还处于尝试期。另外,对学习者的口语进行评分,也属于语音识别的范畴。

2. 语音生成(文字转语音(TTS))
文字转语音比较明确,主要用于读出给定的文本,也可以进行风格化,即模仿某个人的声音。目前采用终端和云端都可以实现这个功能,甚至手机本身就可以处理。其难点是需要妥善处理分词、多音字和语气。

3. 人机对话(Chatbot)
这是文本处理的最典型的应用,主要用于聊天/客服机器人。有时候也会结合前两者用于人机语音对话,例如智能音箱。目前人机对话整体还处于一问一答阶段,基于上下文的对话机制仍处研究阶段,但对于特定场景,例如客服机器人,可以进行一定程度的多轮对话。人机对话往往和搜索引擎结合起来使用,当无法作出准确回答时,往往会提供搜索结果。

4. 自然语言处理(NLP)
当前的自然语言处理技术可以对一段文字进行词法分析(中文分词、词性标注、命名实体识别等),从而提供出用词统计信息,提取关键词,分析词与词的相似度等。句法分析可以得到句子的结构和词的依赖关系。找到句子的成分,分析语干,将非结构化的语言转换成一个结构化的语义框架,从而可以通过分析、数据库查找等技术进一步实现语义理解和知识挖掘。采用上述技术可以构建出知识图谱,将大量背景知识与当前的输入连接起来,可用于搜索的联想和商品推荐等应用。另外,也可以实现评论观点抽取、情感分析、阅读理解等。
另一个大类是翻译,往往指任意语言对的篇章级别翻译。

5. 视频和语言结合的应用
主要的应用是视频理解,即将一段视频转换为描述文字或结构化信息。
上述应用都属于自然信息的处理,另外一类是创作,例如音乐生成,写诗、创作文章等最近几年也取得了突破性进展。

这些领域在深度学习到来之前都有各自的发展,但都在深度学习中获得了发展提高。例如语音识别从原先GMM-HMM的基础框架向DNN-HMM框架转型,再到DNN-CTC转型。又例如在NLP中,规则和统计模型构建的词性-句法-语义多步方法被引入了CNN,LSTM的直接的跨步骤特征提取方法所革新。下面介绍一下使得这些领域取得革命性突破的深度学习框架

1. 时序分析系列神经网络
由于语音和文本具有很强的时序特性。而由于卷积网的平移不变性使得对时序序列分析能力有一定程度的欠缺,因此需要带有时间能力的神经网络补充它的不足。循环神经网络(RNN)及其衍化形式长短时记忆网络(LSTM)和门控循环单元(GRU)是典型代表,广泛应用于大量语音文本分析领域。由于这些网络只阐明了当前状态和历史的关系,而有时,当前状态会同时依赖于历史和未来,因此双向时序网络,例如BRNN,BLSTM得到了较多的应用,这种类型的网络可以认为是正向时间的时序网络和一个反向时间的时序网络合在了一起。值得注意的是,这些网络结构可以铺多层,即一层的输出是另一层的输入,组成更强大的时序网络。值得注意的是,由于RNN具有梯度弥散问题,因此实际应用时,几乎还是使用的其衍化形式,例如LSTM和GRU。GRU和LSTM相比性能上难分伯仲,可根据具体应用选择,而在资源开销上,GRU较LSTM更具优势,RNN占用资源最少,但实用性较低。
 
2. 深度学习技术
本用于视频领域的卷积神经网络(CNN)在语音/文本处理上获得了广泛应用。例如对音频识别起到了一定程度的改善作用。此时输入变为二维的语谱图(时间-频率图)。对于句子理解,有时会直接把一句话按照每单词作为一行(单词的高维向量表示),组成“图像”,通过CNN进行降维和特征提取。分析结果可以用于分类和对话。多层感知机网络(MLP)在这些网络中发挥着强大的胶水连接作用,以及Word embedding的作用等。对于阅读理解和多轮对话等应用,关注(Attention)机制可以从上下文或者历史知识中提取出对当前任务有用的因素,简单的关注可以认为是一种动态权重下的加权求和操作。
 
3. 非神经网络的分析技术
值得注意的是,文本/语音处理区别于视频处理的一大特色是,这些神经网络技术目前大部分情况还没法构成端到端的应用,因此这些先进的神经网络往往需要和传统的非神经网络技术混搭使用。例如,对于语音识别技术,往往可以分为语音模型、文本模型、搜索三部分。语音模型中的前期处理已经逐渐被CNN、LSTM等神经网络技术所替代,而后部为了解决语音的速率问题,还需要采用基于状态切换的HMM模型,或者基于搜索的音素合并算法CTC(BeamSearch)。这些算法可以有效弥补当前神经网络没有变长的时序(t)表达能力的问题。另外,对于文本模型而言,N-gram仍然具有很高的应用性,虽然也有基于RNN替代方法,但未必会产生完全替代。

综合以上情况,对于语音文本类应用而言,需求度分析可以整理如下表。


在神经网络实现细节变化方面,我们需要进一步考察。在文本和语音领域,激活函数往往不是ReLU,而是一些非线性函数。因此对数据精度的要求比较高,目前成熟的仍然是浮点。近几年有关于8b的LSTM结构研究,甚至部分量化为更低精度的研究,但并不能保证通用性。因此建议采用浮点数据类型。另外,残差连接对于语音识别仍具有意义。


在预处理方面,语音和文字都有各自较为成熟的预处理方案。对于语音,主要需要构建语谱图。有些时候也可以直接用音频作为输入。而对于文本,主要需要先将词分开并表示为向量。主要算法如表所示。

语音在经过神经网络进行处理后,后期处理的主要技术包括HMM或CTC,以及N-gram。

根据四元拆分方法,一个数字IP核分为控制,计算,存储,互联四个大的部分,下表对每一部分的需求进行简述。

在接口方面,主要考虑是嵌入式平台还是云平台,其中嵌入式平台往往直接通过麦克风获取语音,而对于远场而言,阵列麦克风模块是较好的选择。对于云而言,数据主要通过PCI-E或者网口传输。由于这些神经网络结构需要更大的内存开销,因此DDR/HBM需求较高。

对系统的整体理解有助于我们设计它的支撑平台,因此我们以上文的砖块为基础,重点介绍目前处于领先地位的若干神经网络体系结构。例中以知名公司推出的语音/文本处理神经网络算法为主要关注点。大多具有公开论文作为参考。可以得出的结论是,商业级别的LSTM(GRU)的单层尺寸一般为1000-2000左右,会放置3~7层。卷积网及其各类变种都有应用。CTC是目前较为流行的语音识别后端处理模式。Attention机制会有长远发展,值得关注。详细情况如表所示。

注:BLSTM, BGRU在有些文献中也写作biLSTM,biGRU。

今音频/文本处理正在深度学习的轨道上快速发展。例如谷歌的LAS算法在本文写作几天前公布,大大简化了语音识别框架,百度Deep Voice 3在大半个月前公布,训练速度提升了10倍。各大公司相继推出了基于深度学习算法的语音识别网络[8]。在NLP方面[7],深度学习也正在进行着前所未有的变革。值得注意的是这些变革是刚性的,因为它确实刷新了各项性能指标,把相关领域研究推向了新的高度。另外,很多任务会加入很多个性化算法元素,而不是单纯的神经网络结构。飞速的算法进展以及个性化传统算法的引入给芯片设计的灵活度带来了考验。
 
综上,本文分析了当前语音文本深度学习算法的主要应用场景,阐述了支持这些应用场景的芯片应支持何种深度学习算法,最后分析了若干知名技术方案中这些网络的使用情况。结论为(1)大量深度学习算法和神经网络结构是这些领域的最优性能的必需算法,因此这些应用具有很强的神经网络加速需求。(2)仿存量远大于CNN,可以理解为存储访问带宽主导的设计。其特点可能会导致片上内存的增大和近内存计算架构得到长足发展。(3)语音/文本类网络结构复杂,传统处理算法和神经网络变种需要高效支持。我们期待未来会有更多的芯片公司关注语音/文本类深度学习应用的加速,开发出令人激动的新品,让这些应用能够走进每个人的日常生活。

由于此文涉及面较广,有可能不够准确,在此仅供抛砖引玉之用,各位如见到有错误和不足之处请务必留言指出。

Reference
[1]. Google LAS (https://arxiv.org/pdf/1712.01769.pdf)
[2]. Deep Speech 2 (https://arxiv.org/abs/1512.02595, http://blog.csdn.net.bjsjzh.cn/xmdxcsj/article/details/54848838)
[3]. DFCNN (http://blog.csdn.net.bjsjzh.cn/real_myth/article/details/52274005)
[4]. SLING (https://arxiv.org/abs/1710.07032)
[5]. WaveNet (https://deepmind.com/blog/wavenet-generative-model-raw-audio/, https://arxiv.org/pdf/1609.03499.pdf)
[6]. Deep Voice 3 (https://arxiv.org/abs/1710.07654, Deep Voice 2 https://arxiv.org/abs/1705.08947, http://news.zol.com.cn.bjsjzh.cn/631/6315926.html)  Deep Voice 1 https://arxiv.org/abs/1702.07825
[7]. NLP进展 (http://www.sohu.com.bjsjzh.cn/a/210427622_465975)
[8]. 语音识别网络对比 (http://www.360doc.com.bjsjzh.cn/content/17/0729/00/41022878_675010230.shtml)

- END -

作者简介:
吴臻志博士,清华大学类脑计算研究中心助理研究员。专长神经网络芯片设计,众核芯片设计,神经网络高效实现等。

欢迎加入本站公开兴趣群
商业智能与数据分析群
兴趣范围包括各种让数据产生价值的办法,实际应用案例分享与讨论,分析工具,ETL工具,数据仓库,数据挖掘工具,报表系统等全方位知识
QQ群:81035754

相关阅读

最新评论

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2018-12-12 15:06 , Processed in 0.175121 second(s), 24 queries .