工程师设计了基于离子的设备,其运行方式类似于节能的脑突触
基于离子的技术可以为神经网络AI系统实现大脑学习过程的节能模拟。
世界各地的团队正在建立一种称为神经网络的更加复杂的人工智能系统,该系统以某种方式模仿大脑的布线,以执行诸如计算机视觉和自然语言处理之类的任务。
使用最新的半导体电路来模拟神经网络需要大量的内存和高功耗。现在,麻省理工学院的一个团队已朝着另一种系统迈进了一步,该系统使用了物理模拟设备,可以更有效地模拟大脑过程。
麻省理工学院教授Bilge Yildiz,Ju Li和Jesúsdel Alamo以及麻省理工学院和布鲁克海文国家实验室的其他9位研究人员在论文《自然通讯》中描述了这一发现。该论文的第一作者是夏霞瑶,他是前麻省理工学院的博士后,目前在GRU能源实验室从事储能工作。
神经网络试图模拟在大脑中进行学习的方式,这是基于逐渐增强或减弱的神经元之间的连接(称为突触)而建立的。该物理神经网络的核心组件是电阻开关,其电导率可以电气控制。这种控制或调节模拟了大脑中突触的增强和减弱。
麻省理工学院和布鲁克海文国家实验室开发的新系统,可以通过使用模拟离子电子设备模拟突触,为物理神经网络提供更快,更可靠和更节能的方法。
在使用常规硅微芯片技术的神经网络中,这些突触的模拟是一个非常耗能的过程。为了提高效率并实现更雄心勃勃的神经网络目标,近年来,研究人员一直在探索许多物理设备,这些物理设备可以更直接地模仿突触在学习和遗忘过程中逐渐增强和减弱的方式。
迄今为止,对于这种模拟突触,大多数候选模拟电阻装置要么在能量使用方面效率很低,要么在一个装置到另一个装置或一个周期到下一个周期的执行不一致。研究人员说,新系统克服了这两个挑战。“我们不仅要解决能源方面的挑战,而且还要解决普遍存在于现有概念中的与重复性相关的挑战,”核科学与工程学,材料科学与工程学教授伊尔迪兹(Yildiz)说。
“我认为当今构建[神经网络]应用程序的瓶颈是能效。训练这些系统特别是在无人驾驶汽车等边缘应用上花费太多的精力,”电气工程和计算机科学系Donner教授del Alamo说。他补充说,许多这样苛刻的应用程序对于当今的技术来说根本不可行。
在新的模拟突触中,显示为H +的氢离子(质子)可以在氢存储材料(R)和活性材料(A)三氧化钨之间来回迁移,穿过电解质层(E)。离子的移动受通过金电极(S和D)施加的电压的极性和强度控制,这反过来会改变设备的电阻。从而模拟内存。
这项工作中的电阻开关是一种电化学装置,由三氧化钨(WO3)制成,其工作方式类似于电池的充电和放电。伊尔迪兹解释说,离子(在这种情况下为质子)可以迁移到材料的晶格中或从材料的晶格中迁移出来,具体取决于施加电压的极性和强度。这些变化会一直存在,直到被反向施加的电压改变为止(就像突触的增强或减弱一样)。
“这种机制类似于半导体的掺杂,”同时还是核科学与工程学,材料科学与工程学教授的李说。在该过程中,通过将外来离子引入硅晶格,可以将硅的电导率改变许多个数量级。他说:“传统上,这些离子是在工厂植入的。”但是,有了新的设备,这些离子就会以动态的,持续的过程被泵入和泵出晶格。研究人员可以通过控制电压来控制有多少“掺杂”离子进入或流出,并且“我们已经证明了很好的可重复性和能效,”他说。
Yildiz补充说,这个过程“非常类似于生物大脑突触的工作方式。在那里,我们不是在使用质子,而是在与其他离子(例如钙,钾,镁等)相互作用,通过移动这些离子,您实际上会改变突触的抵抗力,这是学习的要素。”她说,在其装置中的三氧化钨中发生的过程类似于在生物突触中发生的电阻调节。
“我们在这里展示的内容,”伊尔迪兹说,“即使它不是一种优化的设备,其电导率的单位面积能耗也接近于大脑中的电导率变化。”她说,试图用传统的CMOS型半导体完成相同的任务将耗费一百万倍的能量。
Li表示,选择用于演示新器件的材料是因为它们与当前的半导体制造系统兼容。但是它们包含的聚合物材料限制了设备的耐热性,因此该团队仍在寻找该设备的质子传导膜的其他变化形式,以及为长期运行而封装其氢源的更好方法。
Yildiz说:“要在这种设备的材料层面上做很多基础研究。”正在进行的研究将包括“如何将这些器件与现有的CMOS晶体管集成的工作”。他说:“所有这一切都需要时间,这为创新提供了巨大的机会,也为我们的学生发展职业提供了巨大的机会。”
参考:姚霞辉,康斯坦丁·克留金,陆文杰,穆拉特·昂恩,Seungchan Ryu,Dongha Kim,Nicolas Emond,Iradwikanari Waluyo,Adrian Hunt,JesúsA. del Alamo,Ju Li和Bilge的“用于物理神经网络的质子固态电化学突触”耶尔迪兹(Yildiz),2020年6月19日,自然通讯。DOI:
10.1038 / s41467-020-16866-6
这项研究包括布鲁克海文国家实验室和麻省理工学院的研究人员,得到了Skoltech计划,麻省理工学院的智商和美国国家科学基金会的支持。