潼关县最新新闻消息

法律在线

精度、效率两难全,NAS 如何为自身找到最优解?_科技

发布日期:2020-08-07 05:03   来源:未知   阅读:

文字整理 | 班瀚文

近期,神经网络结构搜索 (NAS)引起了学界和工业界的高度关注。目前,NAS已在很多任务(尤其是CV相关任务)上得到应用,针对NAS的研究也逐渐深入。那么NAS未来的发展趋势会是怎样的呢?

为此,VALSE Webinar 2020-17期邀请了王云鹤(华为诺亚方舟实验室)、欧阳万里(悉尼大学)、常晓军(蒙纳士大学)、纪荣嵘(厦门大学)、严骏驰(上海交通大学)等五位领域专家,王云鹤担任主持人,围绕主题“高精度+高效率:NAS的发展趋势” 开展了深入探讨。该论坛主要分为5个议题,本文是该次讨论的文字实录。

1

NAS 是否物超所值?

王云鹤:NAS在很多任务上都得到了应用,尤其是计算机视觉相关的任务上。NAS搜索出来的模型都达到了业界最好的性能。但是,NAS所带来的性能提升与他的成本相比,是否是物超所值的呢?

欧阳万里:目前可以看到,随着硬件综合成本的降低、运转速度更快的新算法的不断开发,综合考虑,我们相信NAS会越来越物超所值。这个技术刚开始是比较花钱的,例如刚开始去买的各种新潮的硬件设备一样,开始价格可能感觉还不够便宜,但再过五年以后就不一样了。目前NAS是类似这样的一个发展过程。

对比几年以前的NAS和现在的NAS的准确率,在ImageNet上是有改善的,但是还没有到比人工设计要好很多的状态。回顾2012年发展的深度学习,做任务的时候,深度学习并不比人工设计的好多少,那么过了几年事情是怎么发展的,深度学习至少会证明它是有效的。NAS在里面是否会有效?我认为这应该是promising(前景非常乐观的)发展。

常晓军:我对这个问题对于工业界上的影响,我思考也挺多的。如果我们花了两三天,但只是把效果从95%提升到97%,对于工业界,这个提升的好处到底有多少,比如视频搜索的话,95%和97%的准确率,这其中的差别用户是感受不到的。未来是否有必要提出一个新的评价指标,来综合考虑精度的提升以及搜索效率,这是我一直在思考的问题。

返回