机器学习技术通常以视觉系统为基础进行信息处理,现在为了超越这一局限,科学家们开始从嗅觉当中汲取灵感。
如今的人工智能系统(包括受到神经元与神经系统连接而启发的人工神经网络),已经能够很好地完成具有已知约束条件的任务,此外,这些系统往往还需要配合大量计算能力与可观的训练数据集才能起效。凭借这些特质,它们在对弈、特别是围棋领域获得了出色表现,能够检测图像中是否存在车辆,并成功区分猫与狗等不同视觉对象。不过宾夕法尼亚大学计算神经科学家Konard Kording指出,“但它们在创作音乐或者撰写短篇小说方面却表现得相当糟糕。显然,如今的人工智能系统在以有意义的方式进行推理时面临着重大的挑战。”
为了克服这些局限性,一部分研究小组正在回归从大脑中寻求新答案的方法。更令人称奇的是,其中一些研究人员选择了看似不太可能的起点:嗅觉。科学家们希望更好地理解有机体如何处理化学信息,并发现了似乎有望解决人工智能问题的相关编码策略。此外,嗅觉回路与其它更为复杂的大脑区域间存在惊人的相似性,而后者则可能指引我们构建起更强大的智能机器。
计算机科学家们现在正着手在机器学习环境当中对上述发现进行消化。
侥幸与革命时至今日,最为先进的机器学习技术至少在某种程度上仍然依赖于视觉系统模拟结构,即以信息为基础进行分层摄取。当视觉层接收到感官数据时,其首先会选择小的但定义明确的特征,包括边缘、纹理、颜色等与空间映射相关的元素。神经科学家David Hubel与Torsten Wiesel在上世纪五十年代到六十年代发现,视觉系统中的特定神经元与视网膜中的特定像素位置属于一一对应关系,这一重大发现亦使他们成功拿下诺贝尔奖。
当视觉信息通过皮层神经元进行传递时,边缘、纹理与颜色等细节信息汇集在一起共同形成愈发抽象的输入表达:例如对象为人脸,且面部特征显示其身份为Jane。网络中的每一层都有助于有机体实现这一最终判断目标。
深层神经网络会以类似的分层方式运作,并给机器学习与人工智能研究带来了一场深远的革命。为了都会这些网络识别人脸等物体,研究人员会向网络当中传入数以千计的样本图像。该系统会加强或削弱各人工神经元之间的连接,从而更准确地判断特定像素集合所形成的更为抽象的人脸图形。在充足样本的支持之下,其能够识别新图像当中包含的人脸对象,以及此前从未见过的场景中的人脸模式。
研究人员在此类网络当中取得了巨大成功,除了图像分类方面,其亦可在语音识别、语言翻译以及其它机器学习应用领域带来良好表现。华盛顿大学计算神经科学中心的研究人员Charles Delahunt表示,“我喜欢将深层网络视为货运列车。其非常强大,但要求我们提供平坦的路面,从而铺设轨道并建立庞大的基础设施。但我们都很清楚,生物系统并不需要这些——它们能够解决很多深层网络如今尚无法解决的难题。”
下面再来聊聊人工智能领域的热门话题:自动驾驶汽车。在汽车立足新环境进行导航时,周边环境将始终不断变化,且充满噪音与模糊性因素。如此一来,受到视觉系统启发的深度学习技术可能无法正常发挥作用。事实上,基于视觉的松散方法恐怕也不能很好地解决问题。在这方面,麻省理工学院的生物物理学家Adam Marblestone表示,视觉处理所代表的是一种在根本层面以偶然性为基础的洞察获取能力,这是一种“历史的侥幸”。正是这种侥幸让科学家们获得了目前人工智能领域最为成熟的系统,即基于图像的机器学习应用方向。
加州索尔克生物研究所的计算机科学家Saket Navlakha则提醒称,“每种类型的刺激都会以不同的方式进行处理。举例来说,视觉与嗅觉就采用完全不同的信号类型。因此,大脑可能会使用多种不同的策略来处理不同类型的数据。我认为除了研究视觉系统如何运作之外,研究人员还有很多其它课题需要探索。”
图:索尔克研究所计算机科学家Saket Navlakha开发出一种基于飞蝇的嗅觉回路算法,希望改善机器学习技术在相似搜索与新型检测任务中的表现。
他和其他一些研究人员们发现,昆虫的嗅觉回路可能会带来一些值得参考的经验。直到上世纪九十年代,哥伦比亚大学的生物学家Linda Buck与Richard Axel才发现用于处理气味受体的基因,这标志着嗅觉研究工作正式起步。从那时开始,嗅觉系统开始变得极具特色,并指导着更多研究人员探索苍蝇与其它昆虫对气味的处理方式。一部分科学家认为,其能够轻松解决视觉系统所不能处理的多种常见计算挑战。
Delahunt解释称,“我们之所以关注嗅觉,是因为这是一套有限的系统,因此能够以相对完整的方式实现表征。这是个值得为之奋斗的好机会。”
英国赫特福德大学计算神经科学家Michael Schmuker补充称,“人们现在已经能够利用视觉完成一些奇妙的任务。也许我们也能够通过嗅觉实现同样神奇的效果。”
随机与稀疏网络嗅觉与视觉在很多层面存在着本质性的区别。首先,气味是一种非结构化信息,其不存在边缘; 换言之,我们无法在空间当中对具体对象进行分组。气味属于具备不同组成及深度的混合物,我们难以将其归类为彼此相似或不同。因此,研究人员在探索中往往并不清楚应该对哪些特征加以关注。
这些气味将由浅层三层网络进行分析,该网络在结构上比视觉皮层复杂得多。此外,嗅觉区域的神经元会随机对整个受体空间进行采样,而非关注层次结构中的特定区域。研究人员们利用索尔克研究所神经生物学家Charles Stevens提出的所谓“反映射(antimap)”机制。在像视觉皮层这样的映射系统当中,神经元的位置将提示其所携带的信息类型。但在嗅觉皮层的反映射体系下,情况则并非如此。相反,信息会在整个系统中分布,且对相关数据的读取需要立足一些极低数量的神经元进行采样。更具体地讲,研究人员需要通过高维空间内的稀疏信息表达来实现反映射。
采取与果蝇相同的嗅觉回路,研究人员利用50个各自对不同分子具有敏感性的投射神经元接收受体输入。单一气味会激发多个不同神经元,而每个神经元都代表着不同的气味。这是一组信息的重叠表示,并在本示例中以50维空间表现。在此之后,该信息会被随机投射至200个所谓凯尼恩(Kenyon)细胞中,该细胞通过编码识别对应的特定气味。(对哺乳动物而言,其体内的梨状皮质细胞即负责处理此项任务。)其将形成40倍规模扩展,从而确保神经反应模式以更敏锐的方式实现气味区分。
Navlakha表示,“我们假设有1000个人齐聚于某一房间当中,并尝试根据业余爱好对其进行分类组织。当然,在这个拥挤的空间内,大家或许能够找到一些方法将其划分成不同的团队。但在实际场景中,人们相当于分散在广阔的足球场上,研究人员需要学会处理这些额外的空间并构建起数据。”
飞蝇的嗅觉回路构建完成之后,其需要找到一种切实可行的方法以利用非重叠神经元识别不同气味。这套模型通过数据“稀疏化”实现这一点。在2000个凯尼恩细胞当中,只有约100个(占总体数量的5%)对于特定气味具有高活性(其它活性较低的细胞处于静默状态),并为各气味提供唯一的标注。
简而言之,虽然传统的深层网络(同样是从视觉系统中获取线索)在“学习”时会不断改变其连接强度,但嗅觉系统似乎通常不会以这种对投射神经元与凯尼恩细胞间连接进行调整的方式进行自我训练。
随着研究人员在新世纪中对嗅觉系统的不断探索,他们开发出相应算法以确定更高维度的随机嵌入与稀疏性对计算效率造成的实际影响。英国苏塞克斯大学的Thomas Nowotny与加利福尼亚大学圣迭戈分校的Ramón Huerta两位科学家甚至建立起另一种与机器学习模型间的连接方式,并将其命名为支持向量机(support vector machine)。他们认为,自然与人工系统对信息的处理方式在形式上是等同的,二者都会利用随机组织与维度扩展的方式有效表达复杂数据。在这方面,人工智能与生物进化在同一类解决方案上实现了独立融合。
图:苏塞克斯大学信息学教授Thomas Nowotny发现了嗅觉系统与一类所谓支持向量机的模型之间的相似之处。以此为基础,他进一步探索嗅觉的实现原理并希望借此指导更多潜在的人工智能应用方向。
凭借着这种连接方式,Nowotny和他的同事持续探索嗅觉与机器学习技术之间的关系,希望寻求二者之间更深层次的联系。2009年,他们表示最初用于识别气味的昆虫嗅觉模型也可成功识别手写数字。此外,除去其中的大部分神经元——用以模拟脑细胞的死亡与无替换过程——并不会对其表现造成太大影响。Nowotny表示,“这套系统中的某些部分可能会中断,但系统整体仍能够继续工作。”在他看来,未来火星探测器等设备有望采用这种硬件类型,从而在恶劣的条件下长期保持运行。
不过在相当长的一段时间内,研究人员并没有投入太多精力来跟进这些发现——直到最近,才有部分科学家重新审视嗅觉的生物结构,希望深入了解如何改善机器学习在某些具体问题上的表现。
硬连线知识与快速学习Delahunt和他的同事们重复了Nowotny提出的实验,以飞蛾的嗅觉系统为基础,并将其与传统的机器学习模型进行了比较。在样本数量少于20个的情况下,基于飞蛾的模型能够更好地识别手写数字; 但随着训练数据的增加,其它模型则表现出更为强大且准确的判断能力。Delahunt指出,“机器学习方法擅长在具备大量数据的前提下提供非常精确的分类器,而昆虫模型则非常擅长利用少部分数据快速进行粗略分类。”
在学习速度方面,嗅觉系统的效果似乎更好,因为在这种情况下,“学习”的目的不再是寻找对于特定任务而言最佳的特征与表达。相反,其基本目标会简化为识别哪一组随机特征与正确结果间存在相关性,而哪些不存在相关性。中国南方医科大学的生物学家Fei Peng表示,“只需一次点击即可完成训练,这样的能力当然令人神往,对吧?”
实际上,嗅觉策略相当于把一些最基本、最原始的概念引入到模型当中,就像是把对真实世界中的某些一般性理解硬性接入我们的大脑之内。在此之后,结构本身即可执行一些简单且无需指令引导的先天性任务。
其中一项最引人注目的例子来自Navlakha去年在他实验室中得出的研究成果。他与加州大学圣迭戈分校的计算机科学家Stevenes及Sanjoy Dsgupta一道,希望找到一种以嗅觉激发的相似性搜索方式。正如YouTube网站能够根据用户目前正在观看的内容生成侧边栏推荐视频列表一样,有机体也必须有能力在识别气味时进行快速且准确的比较。一只飞蝇会很快意识到其应该趋近成熟水果的味道,而远离醋酸等刺激性气味的来源。但考虑到其所处的环境复杂且充满干扰因素,因此其不可能遇到完全相同的气味。一旦检测到新的气味,飞蝇会据此回忆起其此前遇到过的最相似的气味,从而选择出适用的行为反应。
Navlakha创建出一种基于嗅觉的相似性探索算法,并将其应用于图像数据集的处理领域。他和他的团队发现,他们的算法在实际表现上远优于传统非生物学方法,有时其降维效能甚至可达两到三倍。(在这些较为标准的技术中,往往通过关注一些基本特征或维度来进行对象比较。)Navlakha解释称,基于飞蝇的方法“可利用低于传统方法约一个数量级的计算量获得类似的准确度,因此其将能够在成本或者性能方面带来质的飞跃”。
Nowotny、Navlakha以及Delahunt的实验结果表明,基本未经训练的网络已经可用于执行分类计算与其它类似的任务。在这类编码方案中构建出的系统也能够更容易地完成后续学习工作。举例来说,其可用于涉及导航或记忆的任务,且在这种情况下,系统能够无需更多学习时间或大量示例即可顺利应对条件的变更(例如道路阻塞)。
Peng和他的同事们已经开始研究这个问题,即通过创建一套蚂蚁嗅觉模型以决定如何从一系列重叠的图像当中找到熟悉的路线并实现导航功能。
在目前正在接受审查的工作当中,Navlakha采用了类似的、基于嗅觉的方法进行新奇检测——即在接触过数千个类似物体之后,成功识别出新的、具有关联性的物体。
而Nowotny则在研究如何利用嗅觉系统处理混合物。他已经发现机器学习技术在此类应用方向上面临的挑战。举例来说,有机体会将某些气味视为来自单一对象,而某些气味则源自混合物:某些人能够在摄入数十种化学物质后,准确判断出其嗅到的是一朵玫瑰; 或者可能会闻到来自附近面包店的同等数量的化学物质并意识到其分别来自咖啡与牛角面包。Nowotny和他的团队发现,人们在进行嗅闻时不会刻意对气味进行分离; 相反,咖啡与牛角面包间的气味识别将以非常迅速的交替方式完成。
这种洞察能力对人工智能技术而言同样非常重要。举例来说,在酒会上的嘈杂环境中对多段同时进行的对话进行分离往往极为困难。如果房间中存在多位发言者,那么人工智能可以通过将声音信号切换为极小的时间窗加以解决。而如果系统识别出来自某一发言者的声音,其可能会尝试抑制来自其他发言者的输入信息。通过这样的交替,神经网络即可顺利解析对话内容。
迈入昆虫机器人的时代在上个月发表在科学论文预发表网站arxiv.org上的一篇文章指出,Delahunt和他来自华盛顿大学的同事J. Nathan Kutz所创造出的“昆虫机器人”进一步推动了这项研究的进展。他们利用其基于飞蛾的模型输出结果作为机器学习算法的输入内容,并借此实现了系统对图像分类能力的大幅改进。Delahunt表示,“其为机器学习算法提供了强大的素材。飞蛾神经给我们带来一系列不同类型的结构,而这种迥异于传统的结构有助于机器学习算法的提升。”
图:华盛顿大学的Charles Delahunt(图左)与J. Nathan Kutz(图右)将飞蛾嗅觉网络的结构移植到机器学习环境当中,从而创造出他们所谓的“昆虫机器人。”
一部分研究人员还希望利用嗅觉研究来确定如何在更深层的网络当中对多种学习形式加以协调。Peng表示,“但截至目前,我们在这方面只能说是略有涉猎。目前我还不太确定要如何借此改进深度学习系统。”
除了实现基于嗅觉的架构之外,这一领域中的另一大重要课题在于如何对系统输入进行明确定义。在刚刚发表在《科学进展》杂志上的一篇论文当中,由索尔克研究所的Tatyana Sharpee所领导的小组正想方设法对气味做出描述。具体来讲,不同图像在一定程度上存在着共性,即要求立足“视觉空间”对像素间的距离进行表达。但这种所谓距离概念对于嗅觉则完全不适用,且多种具有不同化学结构的气味在表达与判断方面可能被认为彼此相近。
图:索尔克研究所神经生物学家Tatyana Sharpee最近发现,气味可以映射至双曲线空间之内。她希望了解这种洞察结论能否帮助研究人员找到为深度学习系统构建最佳输入数据的办法。
Sharpee和她的同事们希望根据在自然界中共同发现的频率进行气味分子定义(出于研究的目的,他们检查了气味分子在各类水果及其它样品中共同作用的频率)。在此之后,他们将气味分子结合起来构建图谱,包括观察哪些分子倾向于共同作用,而哪些分子之间保持着泾渭分明的隔离性。他们发现,这就像是将城市点位映射到地球上一样,气味分子的映射呈现在一个双曲线空间之内,其中的负曲率球体则为马鞍状。
Sharpee推测,将这种具有双曲线结构的输入馈送至机器学习算法内,有助于对结构性较低的对象进行分类。她解释称,“深度学习当中存在着一项起始性的假设,即输入内容应该以欧几里德几何度量完成。我认为可以尝试将此项指标改为双曲线指标。”也许这样的结构能够进一步优化深度学习系统。
共同点解析就目前来讲,嗅觉系统的大部分研究成果仍然处于理论阶段。Navlakha与Delahunt的工作必须进一步扩展至更为复杂的机器学习问题当中,方能确定嗅觉模型是否有能力切实发挥作用。Nowotny表示,“我认为这是一项新兴挑战,我们期待观察其能够走多远。”
令研究人员们感到振奋的是,嗅觉系统在结构上确实与许多物种大脑内的其它区域表现出惊人的相似度,特别是与记忆及导航相关的海马体,以及负责运动控制的小脑。嗅觉是一种古老的系统,其历史可以追溯到细菌生物对化学物质的感受,且所有生物都会利用某种形式的嗅觉探索周边环境。
Marblestone指出,“这似乎更接近我们提出的所谓皮层概念的进化源点。”嗅觉很可能为一切生物的学习体系提供了共同点。神经学家Ashok Litwin-Kumar认为,“嗅觉系统为我们提供了一套非常保守的架构,且广泛适用于各类生物体对多种物体的识别方式。其中一定存在着某些非常基础的原理,因此值得加以深入探索。”
嗅觉回路有望成为尝试理解海马体与小脑工作原理的、更为复杂的学习算法及计算方案的解读起点,甚至有可能引导我们将相关见解应用于人工智能领域。研究人员已经开始关注注意力以及记忆等各类认知过程,希望借此找到能够改进当前机器学习架构与机制的方法。在这方面,嗅觉有可能提供一种更为简单的方式,用以建立这些连接。Marblestone认为,“这是一个有趣的关键切入点,并可能成为下一代神经网络的实现基础。”
,
最新评论