福清| 连平| 称多| 蒙阴| 铁岭县| 南郑| 什邡| 平南| 乐天堂官网 万博manbetx官网 巍山| fun88手机版 丹东| 新邱| 靖远| manbetx代理 莎车| 榆中| 安康| 3344555开奖结果 璧山| 峡江| 韦德1946 连州| br88 万博manbetx 胶州| 新万博manbetx客户端 台江| 尖扎| 襄汾| 同安| 必赢bwin 乐天堂fun88体育 交口| 五通桥| 井陉| manbetx体育 延吉| 红星| 榆林| 桂东| 寿宁| 常山| bwin 古丈| 临沧| 万博体育manbetx ag国际娱乐平台 三江| 萨迦| 桦甸| 万荣| 栾城| 手机寰宇浏览器官网 牡丹江| betway必威登陆 清水河| 尚义| 亚洲城88 类乌齐| dafa888 3344555 望江| 苗栗| 鹤峰| 清原| 冠亚娱乐城 博罗| 封开| 冠亚br88 bwin88 漯河| 新龙| 呈贡| dafabet手机版游戏 乌兰| 宁强| 邵阳市| bifa88 万博manbetx体育 旬邑| 连山| 叶城| 靖边| 必发88手机版 betway888 科尔沁左翼后旗| 吉安县| 灵宝| 鹤壁| 沅陵| 西峡| 义县| 五峰| 景洪| 盐津| 和龙| 亚洲城ca88电脑版官网 马边| 梅县| 贵溪| 金山| 贵南| 滁州| 夏津| 屏东| bwin88 松江| fun88 镇康| manbetx体育 禹州| 鄂尔多斯| 马边| 手机客户端下载安装ag 景谷| 渑池| 景谷| ca888 永顺| 肃宁| BR88 丹寨| 天全| 长海| 沛县| ca888 betway88 集美| 大发888娱乐 扎囊| 铁岭县| 凤台| 扎鲁特旗| br8847 印江| 蛟河| 铁岭市| fun.88 康平| 大发游戏娱乐城 金平| br88冠亚 蓝山| 亚洲城ca88电脑版官网 广安| 辰溪| 尉犁| 宁乡| manbetx登录 八公山| 新干| 辉县| BR88 闵行| 孝感| manbetx官网 锡林浩特| 呼兰| 绩溪| 喀喇沁旗| 沭阳| 肃宁| dafabet888 dafa888娱乐 铜仁| 姜堰| manbetx官网 托克逊| 玛沁| dafa888bet 清苑| 石阡| 大发888游戏 盘锦| 大发娱乐888代理 黄冈| 竹溪| 寿阳| 黄龙| 中江| 浚县| bwin体育 平房| 万博体育1.0 乐天堂娱乐 bwin体育 堆龙德庆| 宜宾市| 洪雅| 海口| 荣昌| 冠亚彩票 金坛| 昭通| 亚洲城兑换积分的网址 李沧| 西安| manbet娱乐 巴彦| dafa888casino手机版 冠亚娱乐 dafabet.casino手机版 铜鼓| 河北| 金湖| betway 冠亚娱乐 巴马| 襄汾| 乌什| 美姑| 金平| 寰宇浏览器网址 嵊泗| uedbet投注 西畴| br88 br88冠亚 岐山| 阳高| 乐天堂fun88体育 bwin888 通江| fun122网址 永修| 沧州| 枣阳| 神木| 魏县| bwin网址 灌南| fun88乐天堂 南城| 崇左| 江山| 乾县| 中山| 虞城| betway必威亚洲 亚洲城玩什么 万博manbetx官方 betway必威 betway88 bwin必赢 普洱| 优德88 广宁| 西吉| 三明| 昌邑| 临颍| 扬中| 亚洲城 常宁| 鄂州| 二道江| 普洱| 开化| 万博manbetx体育 东沙岛| manbetx登陆 manbetx登录 南木林| 冠亚娱乐 凤翔| 龙井| 新安| 新和| 成武| 竹山| dafa8888lb 尚志| manbetx登录 冠亚娱乐 永仁| 汤旺河| 荣昌| 陇川| 大发快三正规吗 天峻| bwin必赢 新宾| 万博体育西甲 manbetx登录 88bifa wofacaidafa888 金寨| 井陉| br88 大发888bet 冠亚娱乐城 万博体育地址 松江| 九寨沟| dafa888.casino 文山| 大发888娱乐 万安|

海南房地产市场增速持续回落 9月投资再现负增长

2018-09-24 00:54 来源:宣城新闻网

  海南房地产市场增速持续回落 9月投资再现负增长

  百度关于雄安新区建设,河北省相关部门在科技创新专题研究基础上,推动制定科技创新专项规划,配合制定雄安新区创新驱动发展引领区实施方案。每年的2月14日是西方传统的情人节。

但是这样的可能性却不大,因为荷兰缺少大量的建筑工人。在这样的前提下,这样的实习生会更快地从预定会议室、美化PPT、整理数据等低级别的任务中蜕变出来,拿到更多需要脑力分析的重要任务,使自身素质得到更全面的展现、训练和检验。

  目前已成功在深圳、成都、南京、佛山等地布局,其中深圳星河领创天下以2万平方米的总面积成为全国单体面积最大的创客空间,为上百家创业企业提供加速服务。缺点不支持组合贷款,首付走四成,最低在280万左右,对于刚需客群来说,北京买房真的是一个很难的问题。

  举个例子,我今年带的一个实习生是一个被公认为特别professional的姑娘,她在每周的周五都会写一封热情洋溢的邮件给我,告诉我她这一周做了什么,学到了什么,下一周打算做什么,学什么,并特别指出对哪一方面尤其喜欢,希望得到更多的指导。长城战略咨询持续研究和推动瞪羚企业培育工作。

项目周边公园环绕,东北侧牛栏山公园,总规划227万㎡,分三期建设,一期11万㎡金牛公园已建成,加之东侧10万㎡市政绿地公园,绿意环绕,林荫掩映。

  3、聊天对话落把柄遣返!2016年2月,一位中国女留学生抵达洛杉矶机场后,被要求交出手机。

  谈到人工智能和拍照、游戏的结合,周围变得更有兴致,毕竟,将人工智能应用到拍照和游戏中并非易事。凤凰网科技刘正伟时隔5年之后,通信行业巨头华为在昨天晚间公布了新一任的董事会成员名单。

  对不同的企业来说,可能大的企业今年还是一个大年,小的企业今年可能是一个小年,行业的洗牌在加剧。

  融尚未来位于昌平区未来科技城——国家研发创新中心的核心位置,目前已吸引了15家央企入驻;项目周边拥有完善的公共交通网络,规划中的交通枢纽与17号线地铁站与本案咫尺相隔,真正使本案实现了与主城核心区的无缝对接;园区内现有北师大幼儿园、实验小学等多所学校,教育资源丰富,华润医院、新世纪商城、科技文化展览馆等共同构成了周边完善的商、娱、医配套;紧靠5000亩滨水生态公园,由品牌国企实力打造,是一座含办公、居住、商业、公寓等多业态于一身的生态综...就拿美国总统特朗普来说,不是现在还在让美国佬郁闷和烦躁吗就因为他放弃美国国籍回归中国?娶了与他年龄相差悬殊的翁帆?还是因为他在建国初期没有回国?但事实上网上关于他的这些言论都是极其偏激断掌取义的,翁帆家庭富裕根本不是为了杨振宁的钱财,人家本来就是个学霸,是清华的博士,在学霸的精神世界里,只有高山仰止的终极学霸才值得自己仰慕。

  项目位于北京西部生态涵养带,周边坡峰岭、幽岚山等五大景区环抱,坐拥20余处国家5A级、4A级景点,形成五重绿肺环抱的天然氧吧。

  百度苏亚雷斯在签约仪式上表示,非常荣幸受邀担任国美手机形象大使。

  根据Uber的政策,过去三年中超过三次违规行为通常足以取消其司机资格,Uber拒绝进一步发表评论。(估值以2017年12月31日前最新一轮融资为依据)经由企业自主申报、公开数据搜集、重点高新区推荐、长城战略咨询数据库筛选、第三方机构数据支撑等方式汇总备选企业数据,经审核筛选出164家符合标准的独角兽企业。

  百度 百度 百度

  海南房地产市场增速持续回落 9月投资再现负增长

 
责编:
炼数成金 门户 商业智能 深度学习 查看内容

海南房地产市场增速持续回落 9月投资再现负增长

百度 她说,欧盟将采取一切措施,保护欧盟公民的个人数据。

2018-1-5 10:38| 发布者: 炼数成金_小数| 查看: 27862| 评论: 0|原作者: 吴臻志,唐杉|来自: StarryHeavensAbove

摘要: NNVM是由陈天奇团队提出的一套可复用的计算流图中间表达层,它提供了一套精简的API函数,用以构建、表达和传输计算流图,从而便于高层级优化。另外NNVM也可以作为多个深度学习框架的共享编译器,可以优化、编译和部 ...

网络 工具 神经网络 框架 芯片 函数

NNVM是由陈天奇团队提出的一套可复用的计算流图中间表达层,它提供了一套精简的API函数,用以构建、表达和传输计算流图,从而便于高层级优化。另外NNVM也可以作为多个深度学习框架的共享编译器,可以优化、编译和部署在多种不同的硬件后端。其特点是部署的模型拥有最小依赖,可加入新的操作(operators),可将新的优化通路加入到现有的图结构中。从NNVM的观点看,它可用于将M个框架,N个机器之间构建一个单一的纽带,以实现各种框架向各种实现平台的无差别部署。如图所示。


ONNX[1]是Facebook联合微软和AWS推出的开源的深度学习表示格式。通过ONNX,AI开发人员可以容易地在不同模型和工具间转换,并将工具组合使用。目前可以支持Caffe2, CNTK, PyTorch等主流模型,也对Tensorflow提供了早期支持。一下是ONNX的一些基本信息(来自ONNX网站[1])。


严格而言,和NNVM相比,ONNX更像是一个协议转换器,可以在各个框架之间进行转换。
目前多种标准的转换工具已经开发了出来,如表格所示。

在此,我们将借用NNVM和ONNX的算子,分析AI硬件加速的需求。这些算子都包含了相关参数,在此不细致表述。有关这些算子的完整解释,可以查看ONNX的官方表述[2];NNVM目前的版本是0.8,因此本文参考版本0.8。算子的官方解释参见[3]。

ONNX以张量(Tensor)作为输入输出数据格式,可以认为是多维数组。主要支持如下的数据格式:tensor(float16), tensor(float), tensor(double)。目前还不太支持定点,但提供了定点化的一些函数,如floor, ceil, clip, cast等。NNVM也以Tensor作为数据格式。
ONNX不完整支持神经网络的训练,但它提供了训练所需要的完整的图描述,其实就是对BN和dropout两个功能上加了一个区别参数,用来描述可训练的图和不可训练的图。由于ONNX实际上就是把各种框架的图转换成了它自己的Operator表示的图,它只负责描述这个图的结构,具体前后向的计算都需要一个执行框架(称为后端)。 因此,如果需要实现训练,需要实现系统根据这个图自动实现所有的反向过程的微分算子,并且实现loss函数。此外,还需要编译器根据这个前向图结构推演出反向图的各个步骤,这个过程可以是工具链自动的。而对于前向而言,基本不需要转化就可以直接部署在支持这些算子的实现平台上。

本人对这些算子进行了一个简单的归类,并将ONNX和NVM进行了比对。由于在硬件实现上,不同的算子的实现复杂度是不同的,因此加入了Complexity的度量。另外,根据当前神经网络在图像/语音/文本三方面的应用情况,对这些算子的使用频率进行了估计。由于应用领域和硬件平台各不相同,因此复杂度和使用频率仅作参考。

1. 深度神经网络计算
1.1. 计算层
这部分算子是深度网络的核心,用于将输入的神经元激活值与突触连接强度(权重)进行积分求和,得到新的神经元的模电位。根据是否滑窗,是否具有时序结构,可分为如下几种算子,其中FC(全连接)是多层感知机(MLP)的基础,Conv和FC是深度卷积神经网络的基础。RNN, GRU, LSTM是带有时序结构的神经网络模型,主要用于非静态图像的场合,例如语音/文字/视频等。可见,ONNX的关注面比较全面,包括了时序模型,而NNVM暂时还没有包括时序模型。

注: (*)代表ONNX库中此函数带有实验阶段(Experimental)标志。下同。

1.2 池化层
池化层主要用于尺度变换,提取高维特征。主要分三种池化,第一种是局部池化,在图像维度上,几个相邻的点被缩减为一个输出点,在Channel维度上不变。包括计算相邻点的平均值(AveragePool),较大值(MaxPool),范数(LpPool)。主要用于图像的尺寸变换。第二种是全局的池化,此时一个Channel的所有数据点缩为1个点,因此有几个Channel就输出几个数据点。此种类型主要用于深度卷积神经网络中卷积部分与FC部分的连接。第三种是ROI-pooling,用于Faster-RCNN等检测识别网络中对感兴趣区域进行尺度归一化,从而输入到识别网络进行识别处理。可见,ONNX实现了比较全面的算子覆盖,NNVM实现了比较常见的局部池化和全局池化,但是暂时还没有实现ROI-pool。

1.3 批数据归一化层
归一化层作为一个特殊层,可用于数据的归一化,提高神经网络的性能,降低训练时间。对于带有残差的神经网络非常重要。目前高性能网络大多带有归一化层,而绝大多数都会采用Batch Normalization(BN)。BN前向操作并不复杂,但反向比较复杂,因此用于训练的BN需要加入更多的子层。ONNX构建了两套图描述,用标志位进行区分,用户可以选择是用于训练的还是仅用于前向的。另外,ONNX还提供了在这方面其他的选择,例如Instance归一化 (y = scale * (x - mean) / sqrt(variance + epsilon) + B)和基于范数的归一化,LRN被用在AlexNet等早期设计,目前用的比较少。对比之下,NNVM只支持了BN,可以覆盖约95%的应用情形。

1.4. 数据归一化
将数据进行归一化处理,通常用于输出层的归一化。

1.5. 其他计算层
在进行训练时,DropOut随机扔掉一些通路,可以用于防止过拟合。这方面两个框架都实现了。Embedding用于将词转换为高维表达,是文本的预处理的主要步骤。GRUUnit是个试验性函数,功能类似于GRU的激活层。

2. 基础Tensor运算
2.1 逐元素运算(element-wise)类
这个类别包括了Tensor的一些基础运算,由于输出的数据点只跟对应的那一个输入的数据点有关系,因此可以称为element-wise运算,这类运算与输入的数据的维度和结构无关,可以等价的认为是一维向量运算的Tensor等效表示。由于输入数据可能是各种维度,也可以是标量,因此此中的操作都是维度兼容的。一种特殊情况是输入的参数中,一个是向量,另一个是标量,此时,NNVM区别对待,而ONNX将其统一处理。在此处,ONNX只支持了Tensor-Scalar,不支持scalar-tensor, 而NNVM两者都支持。除法情况类似。对于加减乘除,ONNX自带broadcast操作,而NNVM通过单独函数实现。ONNX对逻辑运算和比较运算提供了支持,而NVVM没有。另外ONNX提供了一些数据格式转换(cast)和量化方面的函数(clip, floor, ceil),而NVVM暂时不支持。两者都对指数运算和对数运算,开方运算提供了支持,可是这两个函数其实是加速芯片比较难较精确实现的函数(可以通过查找表或近似函数实现)。

2.2 Tensor/矩阵处理类
这部分操作是对整个Tensor的数据进行的,即输出可能关系到Tensor中的不止一个数据。包括求和,求平均,通用矩阵运算(Gemm),矩阵乘法,图像缩放等。其中Gemm是矩阵处理的通用表达形式,即Y = alpha * A * B + beta * C。其中A 为M X K维, B为K X N维,C和Y为M X N维。可以认为NNVM目前还缺乏对通用矩阵运算的支持。

2.3 激活和非线性函数
激活函数提供了神经网络的非线性拟合能力,不同的激活函数具有各自的性能特点。由于ReLU简单且性能较好,因此一般图像处理算法采用ReLU函数。而Sigmoid和Tanh在LSTM/GRU/RNN中较为常见。这些函数可以认为是2.1中所述的element-wise算子,但为了表达其在神经网络中的特殊功用,在此单独提出。

2.4. 随机数和常数
这些操作用于产生数据,包括正态随机产生,均匀随机产生,常数等。可以看出ONNX支持随机数加入到图中,而NNVM目前还不支持图中包括随机数。

2.5. 降维系列
降维系列是ONNX特有的。可以指定哪些维度根据某个计算度量去除。由于计算度量的方法比较多,本人认为功能类似于Global pooling。这些方法在神经网络应用中不是很多,NNVM目前还不支持这些方法。


3. Tensor变换
此部分算子不会改变Tensor的数据,只会对数据的位置和维度进行调整。

3.1. 分割组合算子
此部分可以将多个Tensor合并成一个,或者将一个拆分为多个。可以用于分组卷积等。

3.2. 索引变换
索引变换包括Reshape, 矩阵转置,空间维度与Feature Map互换等。可以认为是数据排布关系的变化。Flatten和Squeeze可以认为是Reshape的特例。

3.3. 数据选取
此部分操作可以根据维度参数、边框或者脚标矩阵参数选取Tensor的部分数据,或者对Tensor的数据进行复制拓展。

3.4. 数据填充
数据填充分为边缘补0,常数填充和拷贝。其中NNVM没有在官方文档页面中提供fill函数的解释,但是确实存在这个函数。

综上,我们总结了作为IR表示层的所有操作(Operator)。将这些操作连接起来就构成了数据流图,使得神经网络可以表达为一个基于Operator和Tensor的有向图。采用Netron[4]可以查看ONNX的数据流图,具有很好的可视化体验。推荐大家可以尝试。不过NNVM目前好像还没有类似的工具。
另外,总体感觉是ONNX的灵活度高于NNVM,尤其是在RNN的支持上边,但NNVM给大家提供了一个很好的范例,用以说明如何抓住重点,覆盖典型的应用场景。另外,NNVM提供了一个很好的扩展机制,用户可以将自己的原子操作加入到框架中去而不改变原有的框架结构。上文中提及的可以认为是本征支持的操作(native operation)。

对于一个视频/图像类神经网络芯片,可以先考虑支持NNVM所支持的本征原语部分,如果有需要,再向着ONNX的更多操作扩展。而对于文本/语音处理而言,ONNX是比较好的考评量度。也许将来大家在进行加速器的功能比拼时,会以ONNX框架提供的兼容性为尺度。
另外,值得注意的是,要做到对一个操作的支持,并不只是有没有的问题,还包括执行效率的问题。后者可以从功耗效率的角度来衡量,也可以从有效计算能力和峰值计算能力的比值看出来。因此想设计一个高灵活的神经网络芯片还是一个各方面权衡,灵活度与性能联合调优的过程。

[ Reference ]
[1] Open Neural Network Exchange (ONNX), https://onnx.ai/
[2] ONNX Operator Schemas, https://github.com/onnx/onnx/blob/master/docs/Operators.md
[3] NNVM Core Tensor Operators, http://nnvm.tvmlang.org.bjsjzh.cn/top.html#detailed-definitions
[4] NETRON, https://github.com/lutzroeder/Netron

作者简介:
吴臻志博士,清华大学类脑计算研究中心助理研究员。专长神经网络芯片设计,众核芯片设计,神经网络高效实现等。

欢迎加入本站公开兴趣群
商业智能与数据分析群
兴趣范围包括各种让数据产生价值的办法,实际应用案例分享与讨论,分析工具,ETL工具,数据仓库,数据挖掘工具,报表系统等全方位知识
QQ群:81035754

最新评论

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2018-9-17 17:43 , Processed in 0.166060 second(s), 23 queries .