注意力机制想要觉醒AI,总共分几步?

编辑:网盛棋牌首页 时间:2020-09-11 热度:8381℃ 来源:网盛棋牌首页 责编: 网盛棋牌首页

  一场疫情,让所有线下会议按下了暂停键,AI也不例外。

  但一年一度的顶会却不能不开,于是在4月26日,ICLR 2020(国际表征学习大会)就采取虚拟会议的形式,让所有网友得以共襄盛举。

  值得一提的是,本次ICLR 大会接受了2594篇论文中的687篇,吸引了来自近90个国家的5600多名参与者,比2019年的2700人翻了一倍还多。不过,受疫情影响,这次大会也没有评选最佳论文。

  既然如此,有没有出现什么新鲜事物,值得我们思索和探究的呢?

  那就不得不提到图灵奖获得者、蒙特利尔学习算法研究所主任Yoshua Bengio,在其特邀报告中着重强调的AI觉醒。

  此前我们科普过,通用人工智能有多么遥远。怎网盛棋牌首页么短短几年功夫,人工智能就要觉醒了?这就不得不从被Bengio视作机器学习大杀器的注意力机制说起了。

  将意识注入机器:注意力机制再添重任

  脑极体的资深读者应该对注意力机制并不陌生。在图像处理、语音识别、自然语言处理等机器学习任务中,近两年来都会引入注意力模型。

  这么受业界欢迎,它的特点自然很突出:

  一是可以让神经网络学会只关注特定的部分,大幅度提升任务的效果与效率,在神经机器翻译、预训练语言模型、图像识别等任务中都表现出了前所未有的成效。2015年Bahdanau 等人提出注意力机制之后,就被ICLR 录用,如今它的各种变式已经成为机器翻译算法的标配。

  二是降低机器学习的成本,同时增加可解释性。大家都知道深度学习神经网络的模型训练,往往依靠大规模的数据集,不仅数据获取成本很高,训练的算力、时间也不菲,而注意力机制的选择性,能够直接为训练提质增效,并且还能为序列数据建立了权值和映射,从而让输入和输出能够联系起来,避免了算法的黑箱性。

  既然注意力机制并不是什么新鲜事物,为什么Bengio特意在其报告《与意识相关的深度学习先验》中,将注意力机制奉为圭臬,甚至成了AI的希望?

  简单来说,Bengio认为注意力机制能够帮助机器学习模型获得有意识的推理。

  此前,诸多算法创新(如自监督学习、元学习、多任务学习、迁移学习等)都是在帮助机器学习获得无意识,也就是与人类直觉、习惯、先验经验等类似的能力。

  有了这种能力,AI可以很快地执行一些直觉型的任务,让人感到非常智能。比如当AI被训练学会了一些隐性知识以后,能够将这些知识内化,在遇到新事物时不需要重新训练,就能够很快适应。举个例子,当AI记住路况之后,它能够自如地跟乘客聊天,同时也不耽误自己随时响应交通状况、安全驾驶。这是不是已经超越许多人类驾驶员了呢?

转载请注明来源:“ http://www.cercheminotmp.com/meirong/2020/0911/436.html ”。