实时人类脑波的图像重建[视频]

图1。每对从测试对象观察的视频和基于脑活动的神经网络生成的相应图像呈现来自观看的视频的帧。

来自俄罗斯公司神经毒品和莫斯科物理学研究所的研究人员已经找到了一种可视化一个人的大脑活动，作为模仿他们实时观察到的实际图像。这将使由脑信号控制的新的行程后康复设备。该团队将其研究作为Biorxiv的预印刷品发布，并在线发布了视频（下面嵌入），显示他们在工作中的“思维读取”系统。

由脑和方法控制的脚趾梗塞装置治疗和卒中后康复，神经生物学家需要了解大脑如何编码信息。AKEY方面的是研究人们感知视觉信息的人的大脑活动，同时观看视频。

用于从脑信号中提取观察到的图像的现有解决方案使用功能MRI或分析通过植入物直接从神经元拾取的信号。两种方法在临床实践和日常生活中具有相当有限的应用。

由MIPT和神经毒物学开发的脑电电脑界面依赖于人工神经网络和脑电图，或脑电图，通过在头皮上无侵入地放置的电极来记录脑波的技术。通过分析大脑活动，系统将实时地重建由接受脑电图的人看到的图像。

“我们正在研究国家技术倡议的神经元辅助技术项目，专注于脑电脑界面，使中风后患者能够控制用于神经晕染目的的ARM外骨骼，或瘫痪患者以驾驶，例如，电动轮椅。最终目标是提高神经控制对健康杀虫的准确性，“在MIPT的神经毒素实验室领导神经毒素实验室的Vladimir Konyshev说。

图2。脑 - 计算机接口（BCI）系统的操作算法。

在实验的第一部分中，神经生物学家要求健康的科目观看20分钟的10秒YouTube视频片段。该团队选择了五个任意视频类别：抽象形状，瀑布，人称，移动机制和电机运动。Thelatter Category精选的雪地摩托车，水上车，摩托车和汽车比赛的第一人称录音。

通过分析脑电图数据，研究人员表明脑波模式对于每种类别都不同。这使该团队能够实时分析大脑对视频的响应。

在实验的第二阶段，从原始五个中选择了三种随机类别。研究人员开发了两个神经网络：一个用于从“噪声”中生成随机类别特定图像，另一个用于生成eeg的类似“噪声”。然后，团队培训了网络以使eEG信号转变为类似于测试对象的实际图像的方式一起运行（P 2）。

插图。脑电脑界面。

为了测试系统可视化大脑活动的能力，主题以前从同一类别中看过了未来的视频。他们看着，脑电图被记录并送到神经网络。该系统通过了测试，产生了可以在90％的情况下轻松分类的令人信服的图像（P 1）。

“脑电图是从头皮记录的脑信号的集合。曾经认为通过EEG研究大脑过程的研究人员是通过分析蒸汽火车后面的烟雾来计算蒸汽机的内部结构，“纸张和程序员的一名初级研究员撰写论文共同作者Grigory Rashkov神经毒物。“我们不希望它包含足够的信息，以便部分地重建一个人观察到的图像。然而，它结果是很可能的。“

“更重要的是，我们可以使用此作为实时运行的脑电电脑界面的基础。这相当令人放心。在现今的技术下，Elon Musk设想的侵入性神经界面面临着复杂手术和由于自然过程的快速恶化的挑战 - 它们在几个月内氧化和失败。研究人员补充说，我们希望我们最终能够设计不需要植入的更实惠的神经接口。“

###

国家技术倡议基金支持的辅助技术项目于2017年推出。它旨在开发一系列用于头部或脊柱的中风或神经的康复装置。在该项目下开发的硬件套件包括神经塑性耳机，机器人臂外骨骼，肌肉功能电刺激器，大脑的经颅电气刺激器，用于3D的实时脑活动可视化，robocom辅助机械手，以及其他设备。

MIPT Neurorobotics实验室是在2017年建立的项目5-100。其主要工作型是开发拟人的机器人和设备的神经科学，生理学和行为研究。

项目团队：vladimir konyshev，mipt neurorobotics实验室的头部; Anatoly Bobe，神经毒理学实验室的主要工程师，负责机器学习轨道; Grigory Rashkov，Mipt应用网络学系统实验室，Aprogrammer-Mathematician的一名初级研究员，在神经毒物上; Dmitry Fastovets和Maria Komarova，Wave Processic和Control Systems Lab，Mipt的工程师。