宏观 华财讯 证券 产经 消费 科技 房产 酒业 银行 保险 智慧家

计算机视觉应用背后 对深度学习框架有怎样的挑战

2018年07月19日 13:39 来源:TechWeb.com.cn
分享: 微信

【TechWeb报道】7月19日消息,现今伴随人工智能在技术上的不断突破,一些领域如计算机视觉,已开始与各个行业进行了深度融合。例如保险行业已通过人脸识别这种新时代的认证方式,来对用户身份信息进行识别与审核。

而在计算机视觉背后,是以深度学习为依托进行的展开,目前深度学习较为成熟分别是人脸识别、物体检测、物体跟踪等方面的应用。而在应用的背后,深度学习计算的优化亦成为了重中之重,毕竟深度学习的模型是迅速迭代的,开发者要针对每一个模型尝试不同的模型和算法,从而对其参数和网络结构进行调整。

但大模型的训练要耗费上数天乃至数月的时间,所以若想实现模型的快速迭代,高效的训练和推理的方式显得尤为重要。因此模型优化虽然费时费力,但却是个高回报的投入。

深度学习框架的现状与挑战

众所周知,深度学习对人工智能的发展起着至关重要的影响,但深度学习也是一项极具挑战的工作。其一是深度学习领域以大规模标注数据为支撑进行的展开,必须要以数据为前提才能利用现有的统计学模型。

其二是需要先进的网络模型的创新,记得在2015年,微软夺冠ImageNet计算机视觉识别挑战时,曾揭开过152层的神经网络模型,比VGG网络深8倍,并使用“残差学习”理论来指导神经网络结构的设计。但如此深的模型,自然也对系统提出了很高要求。

虽然目前硬件和网络的发展极为迅速,GPU、芯片等硬件的发展也提供了比以往更为强大的计算能力,同时网络连接也为深度学习带来了全新的发展机遇。但遗憾的是,系统方面所出现的瓶颈问题却尚未得到解决,如何将不同模型高效地映射到相应的硬件上并定制优化,是深度学习目前面临的挑战之一。

对于微软而言,其愿景是让每个人都能用上人工智能,解放从业者不必要的工作量,因此若想让人工智能变得更为大众化,系统优化上的工作自然落在了微软的肩上。

深度学习优化三大挑战

在此前一次媒体交流的活动中,微软亚洲研究院资深研究员伍鸣曾指出,目前深度学习计算的优化主要面临三大挑战:扩展性、局部计算以及内存的使用效率。

扩展性方面,微软通过远程直接数据存取(RDMA)以及NVLink(英伟达开发并推出的一种总线及其通信协议)等高速的网络硬件能力,设计出了一个讨巧的零拷贝通信机制,让计算能力能够线性增加。也为深度学习开发人员带来更大的想象空间。

此外优化算法是求解目标函数中极为重要的一环,需要设计并行与分布式优化算法。但开发者通常更关注于神经网络结构和算法的本身,并不擅长指导其在分布式环境中去具体执行,为此微软开发了一套能够实现自动优化的系统软件,能够自动把模型做分布式的执行。

利用RDMA优化分布式的深度学习训练,微软有效提高了多机训练的吞吐量和收敛速度,在不同应用类型下,取得了2-8倍的加速效果。

(红色是微软的数据,蓝色是原始数据)

在局部计算方面,目前很多深度学习模型背后有着大规模的数据流图,在这其中有很多非常小的算子组成,这些算子在GPU上启动执行时都存在着内存开销。为了减少这些系统开销避免影响计算效率,微软设计了一个能自动内核融合的方式。

在个标准循环神经网络LSTM模型的例子,微软通过把整个模型所有的算子融合成一个内核函数,从而基本消除了所有框架本身的额外开销。跟原始的TensorFlow相比快了10倍之多,而与TensorFlow开发的编译优化系统XLA相比,也有很大程度的提升。

最后在内存使用效率上,如GPU或者定制硬件加速器,这些硬件的内存资源有限,很可能限制模型的规模。微软的解决方法是利用模型量化和压缩去减小它的体积,或是如果模型很大,可以将其放在host内存中,使数据分段地传输到GPU里,但对于不同的模型任务或应用,需要挑选最合适的方法。同时也对TensorFlow做了一些改进,将接口更为便捷的开放给开发者进行尝试,以此来实现不同的压缩和量化方法。

微软的意图很明显,就是将技术更好的对外进行输送,帮助开发者、企业能够更聚焦在自家业务方面,而不是去关注底层系统到底是如何运行的。

通过这些巨头的不断努力,或许终有一天大多深度学习框架都将具备互通统一特性,就好比当年的数据库,最早数据库有很多类型,但最后伴随Relationalalgebra(关系代数)为基础的数据库的诞生,让所有数据库模型都成为一种统一的模型。而在人工智能方面,从系统角度来看,这必然是未来的大趋势之一。

正如微软印度公司人工智能部门总经理桑达尔·斯理尼万森所说,微软要让所有个人和机构都使用上人工智能。未来即使是非人工智能或是机器学习方面的专家,也能将最新的人工智能技术融入到自家所研发的产品当中。

(责任编辑:CF001)

推荐阅读 相关文章

AI独角兽CEO被告上法庭了

钱在哪儿,官司就在哪儿。...

来源:投中网

国家网信办等七部门联合公布《生成式人工智能服务管理暂行办法》

国家网信办有关负责人并就《办法》相关问题回答了记者提问。...

来源:网信中国微信公众号

“Chat”并不是全部,中国AI发展要走深向实

华为有两个着力点:第一,打造强有力的算力底座,来支撑中国人工智能产业的发展。第二,真正让人工智能服务好千行百业,服务好科研创新。...

来源:观察者网

苹果何以3万亿

如果说iPhone是苹果起飞的原点,那在如今“AI的iPhone时刻”,市场也在等待着下一个3万亿。...

来源:北京商报

七牛云赴港IPO,云计算“价格战”打响,何以破局

差异化成为创新创业云计算企业突围的法宝,七牛云能找到这样一条不同寻常的路?...

来源:蓝鲸

人工智能将如何重塑未来教育?

人工智能技术与教育数字化领域深度融合将为教育的未来带来更多可能性,...

来源:人民网

环球市场:背靠华尔街巨头的新交易所上线 比特币重新站上2.8万美元

①拜登之子的刑事案件被轻松解决,引发特朗普公开抨击; ②美国国会两党共同提议设立国家AI委员会; ③全球围观中东国资“买买买”,24小时...

来源:财联社

“ChatGPT+”生态渐近?OpenAI或将推出AI模型商店

①这一商店,让开发者可以上架他们基于OpenAI技术搭建的产品; ②企业AI平台公司Aquant、在线教育服务商可汗学院都有兴趣加入这个商...

来源:财联社

苹果股价3万亿美元,瑞银则下调评级:iPhone销量将走下坡路

①在周二的报告中,瑞银分析师David Vogt及其团队将苹果股票评级从“买入”下调至“中性”; ②Vogt认为,iPhone需求将出现疲...

来源:财联社

达里奥:AI“美妙又危险” 唯一风险在于……

①达里奥表示,AI是一项令人难以置信的技术,它将创造巨大的力量; ②唯一的风险在于使用它的人。...

来源:财联社

拿下“问界”商标!华为到底造不造车?

华为不单独造车,意欲与车企一起造好车。...

来源:时代周报

苹果发布首款头显,概念全线大跌

6日早盘,A股小幅震荡,主要股指涨跌互现,白马蓝筹股相对强势,上证50指数盘中一度直线拉升涨逾1%,创业板指则再创1年多来新低。...

来源:凤凰网财经

望尘科技敲开上市大门:产品阵营单薄、仅靠三款游戏盈利,《足球大师》运营接近尾声

2022年底,手机游戏开发商、发行商及运营商望尘科技通过港交所主板上市聆讯。这是望尘科技第三次冲击上市,此前其曾于2021年6月及2022年...

来源:蓝鲸财经

国美电器收到破产清算呈请,国美零售称债权债务尚未确认

国美零售日前发布公告称,其附属公司国美电器近日收到法院破产清算申请,申请人主张追讨货款470.6万元,但这些债权债务并未有生效法律文书予以确...

来源:蓝鲸财经

张勇亲自出手给阿里云“紧紧弦”

每年“双11”后,阿里通常会进行组织架构调整,2022年的重点是阿里云。...

来源:北京商报

游戏厂商苦捱寒冬,年内512款游戏获批,近6成杳无音信

回顾全年512款版号获批游戏的情况,大部分至今未能正式上线,其中不少游戏甚至很可能等不到上线的那一天。...

来源:时代财经

国美电器新增一则被执行人信息,标的超9677万元

天眼查App显示,近日,国美电器有限公司、西安市国美电器有限公司、新疆国美电器有限公司新增一则被执行人信息,执行标的9677万余元,执行法院...

来源:蓝鲸财经

囤药潮下,医药电商的红与黑

近期,随着疫情防控政策的进一步优化,居民对于看病问诊、防疫物资、相关药品等的需求出现井喷,部分人在寻医用药焦虑下开启了囤药潮,进一步加剧了买...

来源:蓝鲸财经

新年促销被指去库存,苹果在中国卖不动了?

12月27日,苹果中国官网开启了新一轮的“立减活动”,2022年12月30日-2023年1月2日,用指定支付方式购买符合条件的产品可享立减优...

来源:北京商报

知网回应被罚:诚恳接受,坚决服从,公布15项整改措施

据“CNKI知网”12月26日披露,自5月13日国家市场监督管理总局对知网涉嫌垄断立案调查以来,我们全力配合,深刻反省,全面自查。今天,我们...

来源:新京报

舜宇光学科技与诚瑞光学打响“专利战”,手机镜头出货量不断下滑之下如何破局?

年关将至,光学巨头舜宇光学科技与诚瑞光学的“专利战”却打得不可开交。...

来源:蓝鲸财经

年关将近在线婚恋诈骗再起,“珍爱”路上如何为个人信息上锁?

作为承载脱单重任的婚恋平台,成为不法分子借以实施犯罪的抓手,利用头部婚恋平台的高知名度和消费者希望结缘的精准心理进行诈骗的情况已屡见不鲜。据...

来源:蓝鲸财经

被罚8760万后知网知错

耗时长达半年的知网涉嫌垄断案终于尘埃落定。...

来源:北京商报

知网因滥用市场支配地位被罚

2022年5月,市场监管总局依据《反垄断法》对知网涉嫌实施垄断行为立案调查。...

来源:人民网

芯片寒冬下逆势而行!三星明年或扩大其最大半导体工厂产能

韩国芯片制造商三星电子计划于明年增加其平泽P3工厂的芯片产能,而其对手企业正纷纷选择缩减投资。...

来源:财联社

联系方式

中华网新媒体 财经频道
互动/投稿邮箱:
finance@zhixun.china.com
网上不良信息举报电话:010-56177181
财经频道联系电话:(010)56176102