随着深层神经网络技术的快速发展, 神经网络已在脑数据分析领域的研究和应用中吸引了广泛关注[1, 2].借助高性能处理器和近年公开的大规模脑数据集, 相较传统机器学习方法, 深层神经网络能够弱化领域先验知识, 自动表征潜在特征信息, 大幅度提升对脑数据的分析性能, 有效刻画大脑本身结构和功能呈现的多层次特性. 目前, 基于深层神经网络的脑数据分析主要围绕分类[3]、特征提取[4]、分割[5]、图像生成[6]等任务开展. 分类是脑数据分析领域的重要任务之一, 主要围绕脑疾病辅助诊断、个体识别、情绪识别等研究开展; 特征提取主要围绕脑认知功能的高维表示开展, 以分析脑的运行机制, 建立脑与行为的关联关系; 分割任务是将脑影像划分为多个有意义的部分, 如不同类别的组织、器官、病理或其他生理学相关结构等; 图像生成任务以生成高质量脑数据为目标, 包含重建、预测等多种下游任务的研究. 尽管深层神经网络已在脑数据分析中取得了优越的性能, 但这样的神经网络结构往往需要大量时间和精力进行手工设计, 存在一定局限. 因此, 面向特定数据、特定场景、特定任务自动化设计神经网络结构受到越来越多的关注[7].
域的文章发表时间与数量分布神经网络结构搜索(neural architecture search, NAS)由于能够以自动化的方式解决高难度的复杂神经网络设计问题, 成为近年自动化机器学习的重要子领域之一, 并在物体识别、图像分类、信号处理等多个领域取得了令人瞩目的成果[8]. 近年来, 随着NAS在神经网络结构优化、超参数选择方面的理论意义和应用价值被各领域认可, 研究人员已将NAS引入至脑数据分析领域, 大幅度提升了脑疾病辅助诊断[9]、图像分割[5]、特征提取[10]等任务的性能, 体现了低能耗自动化机器学习的优势. 如图 1所示: 自2019年起, NAS在脑数据分析领域的文章发表数量呈大幅增长趋势. 近年多篇相关文章发表在《IEEE Trans. on Affective Computing》, 《MedicalImageAnalysis》, IEEE/CVF Computer Vision and Pattern Recognition Conf. (CVPR), Int’l Conf. on Medical Image Computing and Computer Assisted Intervention (MICCAI)等重要学术期刊和会议上, 已成为机器学习和脑数据分析领域研究的重要组成部分和前沿研究方向.
图 1 NAS在脑数据分析领
脑科学致力于阐明大脑的结构与功能, 建立行为与心理活动的关联关系, 阐明其内部运行机制和外部响应机理, 对脑疾病的诊断、脑认知的理解与提升、类脑人工智能的研究均具有重要意义. 将NAS应用于脑数据分析对于智慧教育、智慧医疗、类脑智能等领域的发展具有重要作用, 也是低能耗机器学习赋能脑科学的研究热点. 然而, 在此领域, 国内外可供参考的综述性文献较少, 尚未总结现阶段基于NAS的脑数据分析研究的优势、重点及未来方向. 因此, 本文针对基于NAS的脑数据分析, 从算法模型、研究任务、实验数据等不同方面对现有研究成果进行综述, 并进行全面的比较和分析. 本文第1节介绍相关背景知识. 第2节从搜索空间和搜索策略详细介绍NAS经典算法模型. 第3节对NAS在脑数据分析中的应用进行分类总结, 详述不同方法的技术细节. 第4节介绍能够用于NAS训练的公共数据库以及实验设置. 第5节总结全文, 讨论NAS在脑数据分析中存在的挑战, 并对未来进行展望.
1 相关背景
1.1 脑数据基本介绍
目前, 针对大脑的研究数据主要可分为两大部分: 脑功能数据和脑结构数据, 分别用以观察和研究大脑的动态功能活动和结构. 其中, 脑功能数据主要包括功能磁共振成像(functional magnetic resonance imaging, fMRI)、脑电(electroencephalography, EEG)、近红外(near infrared, NIR)、脑磁(magnetoencephalography, MEG)、正电子发射型计算机断层显像(positron emission computed tomography, PET)等, 其中, 基于NAS的脑功能数据分析主要围绕fMRI和EEG两种数据进行研究. 此外, 本篇综述中还涉及到一篇基于NIR的研究. 脑结构数据主要包括结构磁共振成像(structuralmagnetic resonance imaging, sMRI)、弥散磁共振成像(diffusion magnetic resonance imaging, dMRI)、电子计算机断层扫描(computed tomography, CT)等, 其中, 基于NAS的脑结构数据分析主要围绕sMRI数据进行研究. 此外, 本篇综述还涉及两篇基于dMRI和两篇基于CT的研究.
● 代表性脑功能数据介绍
fMRI采集原理是利用磁振造影方法测量神经元活动所引发的血氧水平依赖(blood oxygenation level dependent, BOLD)的改变[11]. fMRI数据在每个时间点扫描全脑空间数据, 在扫描时长内, 被试可根据要求处于静息且非睡眠状态(静息态fMRI)或执行认知任务(任务态fMRI). 基于fMRI数据, 研究人员可开展特征提取、大脑认知功能分析、脑疾病辅助诊断、信号重建等多种类型的研究. EEG测量头皮上电位变化, 由大脑皮质神经元电活动和生理/非生理伪迹等组成, 是大脑神经细胞的电生理活动在大脑皮层或头皮表面的总体反映[12]. EEG原始信号由一系列随着时间不断变化的曲线组成, 其通道(channel)数量由参与采集的电极数量决定. 对于EEG信号, 一般分析频段包括delta(0−4 Hz), theta(4−8 Hz), alpha(8−13 Hz), beta(13−30 Hz)和gamma (30 Hz以上)这5个频段. 基于EEG数据, 研究人员可开展脑状态编解码、特征提取、认知反馈、情感识别、认知训练等多种类型的研究. NIR是介于可见光和中红外光之间的电磁波[13], 波长在780−2526 nm范围内, 可分为近红外短波(780−1100 nm)和近红外长波(1100−2526 nm). 由于含氧血红蛋白和脱氧血红蛋白具有不同的吸收光谱, 因此, NIR可测量流经传感器所在组织的血氧水平. 基于NIR数据, 研究人员可开展精神疾病辅助诊断、术中实时脑活动检测等类型的研究.
● 代表性脑结构数据介绍
sMRI利用原子核在磁场内共振产生的信号进行重建成像, 是一种非侵入、无辐射暴露的神经影像数据.在数据采集过程中, 改变采集序列可生成不同类型的加权像[14]. 当前, 主要的采集序列包括T1序列、T2序列和Flair序列: T1加权像能够更清晰地显示断层解剖, T2加权像可着重关注病灶所处的位置和大小, Flair加权像更关注病灶周围的情况. 基于sMRI数据, 研究人员可开展脑疾病辅助诊断、病灶分割、脑结构重建、脑影像生成等类型的研究. dMRI能够无创、无辐射及无需注射对比剂地检测体内组织水分子的布朗运动, 从而揭示组织的微观结构变化, 可对脑白质结构进行刻画[15]. 基于dMRI数据, 可利用纤维成像技术重建脑白质神经纤维的三维结构, 实现脑图像的分割、脑疾病的辅助诊断、图像去噪、信号重建等. CT利用X射线束对大脑不同横断面的解剖关系和具体的脑组织结构进行显示[16], 对脑外伤的颅内水肿及颅内压、颅骨骨折、脑肿瘤等脑疾病的诊断具有重要作用. 研究人员可基于CT数据开展数据重建、脑结构分割、脑疾病诊断等方面的研究.
1.2 脑数据分析领域的主要深度学习方法
为了实现基于脑数据的分类诊断、影像重建、特征提取、图像分割、情感识别等目的, 已有众多经典的深度学习方法被引入至脑数据分析领域, 主要包括全连接网络(fully connected neural network, FCNN)、卷积神经网络(convolutional neural network, CNN)、循环神经网络(recurrent neural network, RNN)、深度置信网络(deep belief network, DBN)、图卷积网络(graph convolutional network, GCN)、Transformer、生成对抗网络(generative adversarial network, GAN)等. 其中, 在脑数据分析领域中, 作为NAS主干算法(backbone)的主要深度学习方法包括CNN, RNN, DBN, Transformer及相关变种算法.
CNN主要由卷积(核心层)、池化、归一化和全连接等操作层构成. 在处理脑数据时, CNN可将欧式结构的二维或三维脑数据作为模型的输入, 以保持原始大脑体素(voxel)、脑区之间的空间信息[17]. CNN具有局部感知和参数共享的特点, 能够快速提取临近体素的关键特征, 再综合为全局信息, 因此更适用于对脑空间数据的研究, 尤其适合基于脑结构数据的特征提取、分割与分类. RNN可对数据中的时序信息进行挖掘和利用, 前多个时刻的输出和当前时刻的输入共同决定了当前时刻的输出. 长短时记忆(long short-term memory, LSTM)和门控循环单元(gated recurrent unit, GRU)是RNN的两个主要变种. RNN及相关变种算法RNN及相关变种算法包含了记忆单元, 通过将神经单元的输出再输入的方式保留时间序列信息, 具有对时序依赖关系的刻画能力, 因此能够对脑功能数据时序特征进行有效利用[4]. DBN是一种概率生成模型, 由多个受限玻尔兹曼机(restricted Boltzmann machine, RBM)堆叠而成. 通过显性神经单元和隐性神经单元的交替迭代和逐层训练, DBN具有在尽可能保留原始特征的同时降低特征维度的特点, 注重特征学习, 因此非常适合对单维度脑功能或结构数据进行特征提取与建模[18]. Transformer完全依赖于自注意力机制, 采用编码器-解码器结构: 编码器由自注意力层和前馈网络基于不同的权重参数构成, 解码器由自注意力层、编码器-解码器注意力层和前馈网络构成. 由于Transformer引入了自注意力机制, 能够从全局角度计算体素活动信息的时序依赖关系以及体素与体素间的空间关系, 因此可对大脑的动态活动进行预测或识别[19].
2 神经网络结构搜索概述
近年来, 为了搜索深度神经网络的最优结构, 提升算法性能, NAS算法被广泛应用于神经网络结构的自动构建中, 并在机器学习的众多应用领域取得了令人瞩目的成果.
2.1 NAS的基本研究框架
如图 2所示, 经典的NAS框架首先定义搜索空间(search space), 通过搜索策略(search strategy)在搜索空间中进行采样, 进行性能评估(performance estimation), 并将评估结果反馈给搜索策略. 通过反复上述过程, 最终得到针对特定场景或特定任务下的表现最佳的神经网络结构[7, 8].
图 2 NAS的基本框架定义
具体来说, 在定义好搜索空间Α后, 首先初始化深度神经网络的结构概率分布和性能状态. 在此基础上, 根据结构概率分布在搜索空间Α中进行采样. 基于当前训练数据, 对采样的算法结构模型进行训练, 得到当前网络权重Ω, 并进行记录. 根据预定义的性能评估策略, 计算网络结构性能. 若该网络结构性能优于当前最优状态, 则根据记录更新网络结构权重, 从而获得当前最佳模型. 整个过程首先在训练集上更新权重Ω, 并在
验证集上搜索性能最佳的算法结构. 重复上述操作, 直到获得适应于该场景下的最优结构. 其中, 性能评估策略可根据研究目的和场景进行设计, 或与搜索策略高度相关, 形成整体的搜索方法.
2.2 NAS搜索空间介绍
搜索空间定义了NAS在进行搜索时可能会考虑或搜索的神经网络结构, 是全部未知或已知结构的空间子集, 决定了搜索结构的范围、搜索速度、搜索周期及最终搜索效果. 因此, 一般需要根据训练数据的规模大小、研究目的等多种因素综合进行考虑. 搜索空间一般可分为宏观搜索空间(macro)和微观搜索空间(micro)两类.
● 宏观搜索空间
宏观搜索空间是将神经网络结构作为一个整体进行定义的空间, 主要包含链式结构及其衍生结构(如图 3所示). 其主要目的是对整体网络的深度或宽度两个超参数进行搜索, 即对深度神经网络的层数、每一层的节点数量及各层是否连接进行搜索和优化. 链式空间结构是最为经典的宏观搜索空间, 将不同层的操作简化为有序连接, 可对神经网络的卷积层、池化层、全连接层、循环层的操作数据量进行搜索. 由于宏观搜索空间较大, 因此在进行网络结构搜索时, 可根据先验知识排除掉明显不符合预期的搜索结果, 或采用轻量级搜索策略来配合平衡计算资源、搜索时间和搜索结果.
图 3 宏观搜索空间示意图
● 微观搜索空间
微观搜索空间是将构成整体神经网络的内部结构作为图进行定义的空间(如图 4所示), 通过重复堆叠多个块(block)或细胞(cell)获得最终的网络结构. 通常来说, 微观结构内嵌于一个预定义的宏观结构中, 搜索策略只对微观搜索空间内部的拓扑结构进行搜索. 首先, 将搜索空间定义为一个有向无环图; 然后, 对空间内的内部连接节点操作进行搜索, 包括操作块(如conv3×3, pooling等)或激活函数(如skip, tanh等). 每个搜索空间的内部连接节点数量n为预先定义的超参数. 基于微观搜索空间的搜索方式更为灵活, 且搜索复杂度更低.但相较宏观搜索空间, 微观搜索空间获得的神经网络可解释性较弱.
图 4 微观搜索空间示意图
2.3 NAS搜索方法介绍
基于预定义的搜索空间, NAS问题可定义为Λ: Δ×Α→Μ. 其中, Δ表示数据空间, Μ为深层神经网络模型
空间, Λ表示通用深层神经网络. 搜索方法通过寻找一个最优神经网络最大化预定义的性能指标, 如分类准确率等. 当前, NAS搜索方法主要包括强化学习(reinforce learning, RL)[21]、进化算法(evolutionary algorithm, EA)[22]及梯度搜索(gradient-based)[10]等方法.
● 强化学习
基于强化学习的相关NAS方法在搜索神经网络结构的迭代过程中, 每一次迭代被认为是智能体的一个行为, 并基于训练损失的奖赏产生一系列行为. 其中最为经典的搜索方法是基于价值(value-based)的Q-learning方法和基于策略(policy-based)的策略优化方法. 基于强化学习的NAS方法使用RNN作为控制器生成描述子网络结构的串, 从而确定子网络的结构. 在训练集上训练子网络, 并在验证集上计算其性能. 以当前性能作为反馈信号更新控制器网络的参数. 在每次迭代中, 控制器给予具有更优性能的神经网络以更高的概率值, 从而确保输出最优网络结构.
● 进化算法
基于进化算法的NAS方法在每一次更新迭代步骤中至少选择群组神经网络结构中的一个结构, 并将其作为父体(parent)产生后续算法结构. 整个过程包括初始化、父体选择、变异和子体(child)选择等步骤, 核心为重复父体选择和变异得到新算法结构的过程. 通过计算得到的子体结构的算法性能, 评价该结构是否被选为下一步迭代的父体以及是否放回群组中, 直到迭代完成.
● 梯度搜索
基于梯度搜索的相关NAS方法将搜索空间连续化, 采用梯度下降的方法求解, 实现深度神经网络的高效搜索. 该系列搜索方法具有资源消耗低、计算速度快的特点, 能够发现具有复杂拓扑结构的高性能神经网络.其中, 可微结构搜索算法(differential architecture search, DARTS)[23]是最具代表性的基于梯度的NAS搜索方法. 将网络结构、网络单元表示为有向无环图, 对结构搜索问题进行松弛化, 转化为连续变量优化问题. 算法搜索计算单元, 作为最终网络结构的基本构建块, 堆积或递归构建最终的神经网络.
3 NAS在脑数据分析中的应用
在基于NAS的脑数据分析研究中, 大多数研究分别围绕宏观搜索空间或微观搜索空间开展神经网络结构的搜索优化研究, 二者占目前所有领域内研究的80%(如图 5(a)所示). 在搜索策略方面, 有超过50%的研究使用基于梯度的搜索算法开展研究(如图 5(b)所示). 由于脑数据分析领域的研究目的复杂, 因此, 本综述将从数据类型出发, 分别从“NAS在脑功能数据分析中的研究进展”和“NAS在脑结构数据分析中的研究进展”两方面总结和比较相关研究, 并通过列表的方式横向比较各研究工作.
图 5 NAS在脑数据分析应用研究中的分布
3.1 NAS在脑功能数据分析中的研究进展
NAS在脑功能数据分析中的研究涉及到fMRI、EEG等多种模态数据, 目前共有20余篇相关研究. 表 1总结了NAS在脑功能数据分析中的代表性工作, 按照其任务, 可以将这些研究分为两大类, 分别是分类/预测任务、脑网络特征提取任务. 因此, 下面将从这两个方面回顾并比较这些研究的搜索策略及搜索空间.
表 1 NAS在脑功能数据分析中的代表性工作
在基于NAS的脑功能数据分析中, 研究人员相对更加注重算法结构的可解释性, 希望借助NAS找到适合脑功能网络提取和分析的神经网络. 因此, 大多研究基于宏观搜索空间开展研究. 随着研究的深入, 一些与脑功能相关的分类诊断研究也逐步基于微观搜索空间开展, 以提升算法的效率.
● 分类/预测
分类/预测任务是NAS在脑功能数据分析领域中最常见的任务, 共有10余篇相关研究. 研究数据以fMRI与EEG数据为主, 具体应用场景包括脑机制分析、疾病诊断、情绪识别、疲劳检测等多个前沿、热点场景, 涵盖了广泛的搜索策略, 从早期的随机搜索到最新的基于梯度的搜索方法. 由于应用场景众多, 下面将回顾总结NAS在脑功能数据的分类/回归任务中的研究, 并对相关研究的搜索策略和搜索空间选择进行分析.
在早期的研究中, 随机搜索是最为简单、直观的搜索方式. Nguyen等人[20]使用NAS优化前馈神经网络(dense feed-forward neural network), 基于重度抑郁症患者的fMRI数据, 实现患者对药物反映的预测和判断.该研究首先构建超参数搜索空间, 从宏观空间定义隐藏层数量、第一个隐藏层的神经元数量、激活函数、权重正则项、Dropout率等参数. 然后使用随机搜索策略在超参数搜索空间中进行搜索, 随机从备选空间的均匀分布中抽取相应超参数构建神经网络结构, 构建判断效果最佳的算法模型结构, 同时识别出对药物反应最强烈的脑区. 随机搜索策略一般基于宏观搜索空间进行, 使得搜索过程更为简单以适于直观的任务. 由于随机搜索策略是一种无偏NAS方法, 虽然能够最终在性能指标上取得优异的效果, 但需要耗费大量的时间且对计算需求很大. 为了提高搜索效率, 大多数基于NAS的脑功能数据分析研究随后采取了其他的搜索策略, 如基于进化算法、强化学习等搜索策略的算法框架.
为了能够提升搜索效率, 研究人员采用不同的搜索策略开展了后续研究. Rapaport等人[25]将损失函数作为目标函数进行训练, 提出两种不同的权重继承(weight inheritance)方法对进化搜索策略进行改进, 即同模型继承(same-model weight inheritance)与交叉权重继承(crossover weight inheritance). 通过在实验中设置3种权重继承机制: 同模型继承+交叉权重继承、交叉权重继承、无权重继承, 提升了搜索效率, 同时提高了EEG信号的识别能力. 在此基础上, Li等人和Du等人在研究中[19, 27]使用多目标进化算法(multi objective evolutionary algorithm, MOEA), 在找到高分类精度神经网络结构模型的同时, 考虑搜索优化模型的大小. 二者不同的是, Du等人[27]关注CNN模型结构的构建, 而Li等人[19]则使用MOEA策略对transformer模型架构进行搜索. 以上两个研究基于NAS对算法结构模型进行优化, 大幅度提升了基于EEG数据的情感识别准确率. 进化搜索策略更为直观, 因此大多基于宏观搜索空间开展脑功能数据的分析研究. 另一方面, Dong等人[26]利用强化学习搜索中最为经典的Q-Learning搜索策略对孤独症谱系障碍(autism spectrum disorder, ASD)患者进行识别诊断.为了避免局部最优问题, 同时提高神经网络模型优化效率, 本研究采用了动态贪婪值控制搜索方向. 在早期(即探索阶段), 智能体总是随机确定新层来积累经验; 在后期(即开发阶段), 贪婪值迅速增长, 从而完成优化; Li等人[3]利用RNN作为控制器, 在搜索空间中选择最优网络结构, 提升情感识别准确率. 该研究将搜索到的神经网络模型在验证集上的准确率作为期望奖励, 并据此计算梯度来更新策略函数, 更新模型及确定优化方向. 基于NAS优化后的模型结构, 在情感识别的效价、唤醒度、优势度等多个维度均具有优势. 强化学习搜索策略较为灵活, 既可基于宏观搜索策略也可基于微观搜索策略开展研究. 此时, 对搜索空间的限制主要来源于数据量和研究目的.
为进一步提升搜索效率, 目前已有一些研究[9, 28−30, 36]将整个搜索空间松弛到连续空间, 利用梯度搜索策略对神经网络结构系数进行优化. 其中, Dai等人[36]基于AdaNet框架[37]对CNN的模型结构进行优化, 从而实现对大脑沟(sulci)、回(gyri)及三回交叉点(3-hinge)的分类. 该研究采用一种自适应增量搜索过程(incremental search process), 从简单的线性模型开始, 根据需要逐渐增加参与训练的神经元和额外的神经网络层数来增强网络. 此优化过程是强凸的, 通过保证收敛到唯一的全局解, 大幅度提升模型的分类准确率. 在此基础上, Liu等人[9]采用one-shot的搜索策略, 将NAS搜索和拓扑结构传递相结合, 对MobileNetV2[38]结构进行优化, 从而提升大脑沟回的分类. Kong等人[29]基于DARTS[23]的数据驱动方法, 从原始脑电中提取最有效、最真实的信息, 实现端到端的睡眠脑电分类.
Wang等人[30]在现有的基于梯度的神经结构搜索算法的基础上进行了有针对性的改进和优化, 针对部分连通可微结构搜索算法(partially-connected differentiable architecture search, PC-DARTS)[39]的训练过程, 引入层数自适应机制(layer number adaptive mechanism)和早停机制(early stop mechanism). 该层数自适应机制通过评估跳跃连接(skip-connection)以及训练精度, 自适应增加或减少堆叠单元的数量或单元内的节点数量, 并根据操作权值判断是否停止当前搜索进程. 通过上述对CNN算法模型的搜索, 大幅度提升基于EEG数据的脑状态识别准确率. 由于梯度搜索需将整个搜索空间松弛化到连续空间域中, 因此, 该系列研究以微观搜索空间为主, 能够提升分类准确率与分类效率.
● 脑网络特征提取
大脑的多个空间脑区协同工作, 共同构成了相互协调的拓扑结构, 即脑网络[40]. 脑区间的交互作用随时间动态变化, 形成了一系列复杂多变的脑功能活动. 深入探究大脑在空间上的网络拓扑关联和时间上的网络交互更新, 对于理解大脑的工作机制具有重要意义[41]. 脑特征提取旨在将无创神经影像技术采集到的脑信号抽象成有代表性的特征向量, 借此刻画大脑网络在空间和时间上的分布模式, 从而满足大脑认知功能研究的需求.
现有基于NAS对大脑功能网络特征进行提取的研究中, 大多数研究以DBN[32, 33, 35, 42]或RNN[10, 21, 22, 34, 43]为主干算法, 基于进化算法、强化学习及梯度优化算法对神经网络模型结构进行优化更新, 并将基于优化后的模型结构提取到的脑信号特征映射至大脑上, 得到可靠的神经学标记物.
为了刻画大脑功能网络模式, 研究人员开展了一系列以DBN为主干算法的研究. 首先, Qiang等人[32]将粒子群优化算法(particle swarm optimization, PSO)引入至DBN网络结构的搜索优化中, 构建NAS-DBN框架, 基于fMRI数据提取大脑网络特征. 该研究从宏观角度对DBN网络结构的层数和节点数量进行搜索, 将DBN的损失函数作为PSO的更新搜索指标, 直至搜索模型收敛. 在多认知任务fMRI数据集上, 基于该搜索框架优化搜索后的DBN结构能够有效实现对脑功能网络特征的提取, 且基于时间动态响应特征重建后的脑网络与基于广义线性模型(generalized linear model, GLM)分解出的脑功能网络具有高度一致性. 该研究的结果证明了NAS-DBN所学习到的脑功能网络的可解释性, 且进一步表明了NAS算法在提取脑功能网络特征中的重要性. 在此基础上, Ren等人[33]和Xu等人[42]进一步针对大脑功能的群体一致性和被试间的差异性, 提出了一种基于NAS-DBN的群体一致性和个体特异性的脑功能网络特征提取框架. 该框架分为两个阶段: 第1阶段采用优化的DBN对群组水平的fMRI数据进行建模, 第2阶段则将被试特定的DBN模型应用于个体fMRI矩阵, 以进一步识别个体水平的脑功能网络特征. 该模型利用NAS揭示了个体和群体脑网络特征之间的差异信息, 对于个性化脑网络特征揭示具有重要意义.
为了提升特征提取的效率, 在上述离散采样过程的基础上, Pang等人[35]引入Gumbel-Softmax, 采用基于梯度的方法将离散搜索转化为连续搜索. 该研究提出了基于Gumbel-Softmax的神经网络结构搜索算法(GS- NAS), 用以自动化设计DBN结构, 从而实现脑功能网络的分解. 以脑数据重建误差最小化作为算法模型的搜索驱动, 该研究通过优化后的DBN模型揭示大脑功能的潜在层次性结构. GS-NAS可以同时优化网络每层的隐藏神经元数目和网络深度, 在基于fMRI数据对脑功能网络进行特征提取的研究中表现出明显的优势, 为理解大脑的层次性功能网络提供了新的见解. Tao等人[44]在DARTS搜索方法的基础上引入了结构约束, 进一步实现了高效搜索. 通过增广拉格朗日函数将约束转移到目标函数中的惩罚项, 解决了约束优化问题, 从而实现脑网络特征提取.
此外, 也有一些研究以RNN为基础[10, 21, 22], 结合自编码器(autoencoder, AE)等网络结构压缩数据并学习有效脑网络特征. 自编码器由编码器(encoder)和解码器(decoder)组成, 编码器将脑数据映射到高阶空间, 即为脑网络特征, 而解码器则将编码器学习到的高阶表示重构为脑信号.
为了有效刻画大脑的时-空共变脑网络, Li等人[22, 43]首次将进化搜索策略引入到基于RNN的网络结构搜索优化中, 充分利用RNN提取时序特征和AE提取空间特征的优势, 提出了深层稀疏循环自编码进化神经网络结构搜索算法(eNAS-DSRAE). 通过计算输入fMRI数据与重建数据间的均方误差(mean square error, MSE)评估原始数据与重构数据之间的差异, 并作为优化评价指标, 以指导eNAS的更新搜索方向. 该研究使用700名被试的任务态fMRI数据, 成功刻画了7个认知任务下的特异性脑空间网络和时间刺激变化.
鉴于fMRI脑数据具有高维度、高复杂性的特点, 对RNN算法的网络结构进行搜索优化时, 可重点考虑对算法的微观结构进行搜索[10, 34]. 在进化搜索与宏观搜索空间相结合的基础上, Li等人[10]进一步将DARTS这一梯度搜索方式引入到脑功能特征的提取中, 基于DARTS搜索策略, 提出了一种时-空可微神经网络结构搜索算法(spatial/temporal DARTS, ST-DARTS). 该算法能够快速基于fMRI数据提取时-空脑网络特征, 并针对多个认知任务搜索获得最优微观结构. 并在此基础上进一步引入早停机制, 构建ST-DARTS+算法, 有效解决了DARTS系列算法中的崩溃问题(collapse issue), 并进一步提升了脑功能网络特提取性能. Duan等人[34]提出了一种基于时空注意力机制的NAS模型, 将注意力机制与GRU相结合, 通过梯度优化算法实现深层神经网络模型结构的优化.
尽管以上研究已在脑功能网络特征提取方面取得了不错的效果, 但前述研究的搜索过程并未将梯度搜索应用至微观搜索空间的拓扑连接关系上, 未能实现基于图的连续空间搜索. 因此, Dai等人[21]在上述研究的基础上, 将图同构网络(graph isomorphism network, GIN)嵌入ST-DARTS的搜索过程中, 将原始搜索空间以embedding的方式影射到连续域空间, 构建了一种基于图表示的NAS框架(graph representation NAS, GR- NAS). 在多个任务态fMRI数据集上证明了所提出模型在脑网络特征提取方面的优越性.
由于基于脑功能数据的特征提取需要利用神经网络的隐含层信息, 使得算法结构的可解释性非常重要.因此, 目前在该领域的研究大多基于宏观搜索空间开展; 另一方面, 使用微观搜索空间的研究大多考虑到fMRI数据的高维度和高复杂度特性, 因此, 基于微观空间能够提升搜索效率.
3.2 NAS在脑结构数据分析中的研究进展
为了获得对高维复杂脑结构数据的良好表示, 目前NAS也已被广泛引入到对脑结构数据的分析中, 这些数据通常包括sMRI, CT等, 并在分类、分割和重建等任务方面取得了显著的成果, 详细信息见表 2. 本节将系统性回顾NAS在脑结构数据分析中的进展, 并总结NAS在这些任务上的效果. 在基于NAS的脑结构数据分析中, 研究数据的数量和研究目的决定了研究者对搜索空间和搜索策略的选择. 由于针对脑结构数据的分析大多与临床需求密不可分, 导致对算法的搜索效率要求更高, 因此, 大多研究采用微观搜索空间与梯度搜索策略相结合的搜索方式. 此外, 由于搜索空间决定了参数计算量, 因此, 为了避免过拟合, 部分基于大数据量的文献采用了微观与宏观搜索空间相结合的方式开展研究.
表 2 NAS在脑结构数据分析中的代表性工作
● 图像重建
脑结构图像重建是指基于原始脑结构数据进行采样来重建或生成高分辨率脑结构形态图像的过程. 随着深度神经网络在脑结构图像重建任务中的广泛应用, 越来越多的研究尝试把NAS引入到图像重建任务中. 传统脑结构图像采样技术受限于感受野大小, 重建过程效率低下, 重建质量不尽人意.
目前, NAS在基于sMRI、dMRI等的图像重建任务中具有广泛的尝试和应用[45, 46]. 利用NAS的方法可以避免人类手工设计网络结构的局限, 可以自动化地选择适合脑影像重建任务的网络结构, 从而提高模型的重建性能[47]. 此外, NAS可以帮助自动地定位出这些关键区域, 从而在脑影像重建任务中提升重建质量.
在基于NAS进行图像重建研究的早期阶段, Huang等人[6]提出了一种利用残差设计基本模块的搜索方法.对于每个基本块中的单元使用NAS技术自动选择候选操作中的最佳操作, 有助于防止梯度消失问题. Yan等人[47]则引入NAS来解决压缩感应MRI(compressed sensing-MRI)的问题, 以可微的方式从预定义的操作搜索空间中自动搜索重建模型架构. 与之前最先进的方法相比, NAS搜索得到的网络可以产生更好的sMRI重建效果, 且消耗的计算资源降低了约60%.
接着, 为了减少sMRI扫描所产生的运动伪影, Eslahi等人[48]利用NAS优化后的深层神经网络从欠采样数据中进行sMRI重建. 结果表明, 基于NAS搜索优化后的模型架构远优于人工设计的sMRI重建模型. Chen等人[46]首次把NAS引入到dMRI的重建研究中, 发现: 通过NAS设计的多层感知机可以大大减少对脑白质纤维束的示踪成像预测误差, 并在不同的MRI采集策略下具有鲁棒性.
另一方面, 为了解决临床实践中难以获得完整多模态MRI的困境, Hu等人[45]提出了一种新型的MRI合成器AutoGAN-Synthesizer. 该研究基于梯度的搜索策略, 自动搜索合成器的输出架构, 以优化跨模态的MRI合成过程. 该架构可以更高效地融合多分辨率特征, 并利用基于GAN的感知搜索损失来处理模型在复杂性和性能之间的平衡问题. 在搜索效率上, AutoGAN-Synthesizer只需12个GPU小时就能搜索到一个6.31Mb参数的轻量且具有显著性能提升的网络架构.
● 分割
脑结构分割是指基于脑影像数据将脑组织分离出来的过程, 分割精度将直接影响临床诊断的准确性. 由于不同的采集协议、成像设备以及感兴趣区位置、大小和形状的不同, 脑结构的分割任务往往需要手动设计深层神经网络的结构. 基于NAS的脑结构分割方法能够自动快速地确定最优的网络结构和参数, 有助于更精确地定位和区分出具有特殊形态和位置关系的脑部组织. 目前, 已有相当数量的工作尝试将NAS引入到脑结构的分割任务中, 这些工作主要包括对脑部肿瘤病灶的分割以及海马、白质等脑区组织的分割.
在脑结构分割任务中, 当前最先进的方法包括DeepLabv3+, U-Net, nnU-Net等. 然而, 手工设计神经网络的架构仍然具有一定局限性, 基于NAS算法可以提高脑影像分割任务的精度并减小计算开销[5, 49−56]. 当前, 面向脑结构分割的NAS方法可分为两类: 搜索2D体系结构并通过独立处理每个切片来生成最终分割和搜索3D分割体系结构. 由于面向3D图像直接分割的研究能够保留更多脑结构的空间信息, 因此分割结果更优. 但由于针对3D图像的分割计算量更大, 因此大多研究基于微观空间开展研究. 此外, 脑结构的分割更加精细化, 理想情况下, 微观结构和宏观结构应进行联合优化, 以避免人工定义所导致的部分超参数值丢失. 因此, 目前也有一些研究将微观结构和宏观结构进行联合优化, 从而达到精细化分割的目的.
2019年, Kim等人的工作[49]首次将NAS框架引入到脑结构数据的分割任务中, 证明了基于NAS自动优化的网络优于手动设计的3D U-Net. 此后, 越来越多的研究持续改善NAS在脑结构分割任务上的表现.
为了改善NAS在3D分割任务中的内存消耗问题, Bae等人[57]提出了一种面向3D图像分割的资源优化NAS框架RONASMIS. 该模型采取持续对子网络进行训练的策略, 替代对网络权重的重新初始化, 从而提高NAS的搜索效率, 并在脑肿瘤的分割任务中获得了比nnU-Net更好的性能. Wong等人[50]提出了一种名为SegNAS3D的NAS框架, 通过将网络结构表示为可学习的有向无环图, 实现网络结构与分割任务的联合学习, 以提升全局优化效率. SegNAS3D在脑结构的分割任务中全面超越了基线模型, 并且生成的结构比人工构建的结构小得多. Guo等人[5]提出了一种名为SOARS的搜索架构, 将脑部病灶分为不同的类别, 并为每个类别执行定制化的NAS策略; Wang等人[51]针对不同的模块设计了特定概率参数进行学习的候选操作, 搜索过程的结束标志为找到最频繁出现的模块结构, 并在脑肿瘤分割任务上证明了NAS搜索的网络在可行性和泛化方面具有竞争力.
为了实现多尺度的分割模式, Yu等人[58]以及Xiang等人[55]分别设计了由粗到细的两阶段搜索过程, 以减缓两个阶段同时进行搜索的内存压力. 在上述两阶段搜索过程的基础之上, Calisto等人[59]又进一步提出了名为EMONAS-Net的稳健高效的3D医学图像分割框架. 该框架具有两个关键组件: 一个考虑分割体系结构微观和宏观结构配置的搜索空间和一个基于代理的多目标进化算法, 从而提高网络结构的搜索效率. 其搜索空间与SegNAS3D[50]类似, 其微观结构由有向无环图表示, 而宏观结构用SaMEA算法确定节点之间的连接以及每个节点最适合的卷积操作, 并在大脑海马的分割任务中大幅度提高了性能.
进一步, 为了建立搜索空间与脑白质分割之间的关系, Tchetchenian等人[60]评估了基于手动调整和基于NAS搜索的U形网络在脑白质分割任务上的性能, 发现NAS搜索得到的网络可以减少对GPU内存的消耗, 且仅关注于微观结构的NAS并未取得性能的明显提升, 并建议用于脑白质分割任务的NAS应更关注宏观搜索空间, 将宏观的结构超参数纳入到搜索范围中.
由于上述工作大多将搜索框架限制在U形网络结构中, 为了支持高度灵活的基于梯度的快速搜索, He等人[52]设计了名为DiNTS的3D医学图像分割框架, 将深层神经网络结构的搜索问题从离散空间转化成连续且可微的问题, 从而支持在高度灵活网络拓扑空间中的快速搜索. 由于DiNTS可以缓解可微方案中搜索到的最佳连续模型在离散化后可能会产生次优离散模型的问题, 因此即使基于非U-Net主干算法, DiNTS也能够在脑肿瘤以及海马的分割任务中获得最佳性能. 与DiNTS的计算约束条件类似, Peng等人[54]提出了一种名为HyperSegNAS的3D医学图像分割NAS算法, 通过训练一个超网络来评估分割架构的性能, 以获得一个通用的分割架构. 该超网络一旦训练完成就可以被移除, 而不会在结构搜索过程中引入额外的开销. 与DiNTS相比, HyperSegNAS在不同的计算架构上都取得了更好的结果, 并在脑肿瘤以及海马的分割任务上实现了最先进的性能.
● 分类
在脑结构影像的分类任务中, NAS可以通过自动的方式搜索最优的神经网络结构和参数组合来提高基于脑影像的分类性能. 通过分类可以对脑结构的相关病变进行诊断和预测, 是脑结构数据分析中的一个重要环节. 在设计用于脑结构数据分类的网络模型中, 基于NAS搜索后的深层神经网络结构, 可以充分挖掘脑结构影像数据中的特征, 提高分类准确率, 为临床疾病分类和分级提供重要支持. 目前, 在该领域研究中, 为提升分类诊断速度, 大多围绕微观空间, 以梯度下降的搜索策略开展研究.
目前, 在脑结构影像分类任务中, NAS主要用于脑肿瘤的评估. 该研究的开展将帮助在医疗落后地区缺乏专业人员的情况下, 也能够准确地从sMRI图像中诊断脑肿瘤并评估其严重程度. 例如, Chitnis等人[61]提出了一种叫做Learning-by-Self-Explanation (LeaSE)的NAS方法, 通过一个解释模型和一个听众模型, 自动搜索高性能的神经网络结构, 以便从MRI图像中准确地分类脑肿瘤. 其中, 解释模型通过鼓励神经网络生成预测结果的高保真解释来搜索高性能架构, 而听众模型用于评估解释的保真度. 在胶质瘤、脑膜瘤、垂体瘤和健康脑的四分类任务实验中, LeaSE模型在375万个参数的情况下达到了90.6%的准确度, 相较人工设计的算法模型, 分类准确率提升了6%, 参数下降了90%. 该实验结果表明, 基于NAS的方法可为医生提供辅助诊断的技术支持.
3.3 基于NAS的脑数据分析研究中搜索策略与搜索空间的设置
目前, 基于NAS的脑数据分析研究中, 研究人员大多以研究目的和研究数据为根据, 选择合适的NAS搜索策略和搜索空间.
在搜索策略方面, 针对脑功能的早期分析研究大多采用进化搜索或强化学习的方式开展研究[22, 25−27, 31−33].随着NAS在脑数据分析中的不断发展, 越来越多的研究采用基于梯度的搜索策略, 从而实现快速情感识别[28−30]或辅助诊断[9, 24]. 由于基于NAS针对脑结构的数据分析研究更倾向于快速辅助诊断和分割, 因此, 研究人员更易选择基于梯度的搜索策略开展研究[5, 6, 45, 47, 49−57, 60, 61].
在搜索空间方面, 由于针对脑功能数据的特征提取往往需要可解释的神经网络结构, 建立与脑功能网络之间层次性、时-空性等特性之间的关联关系, 因此, 研究人员更倾向于在宏观搜索空间中开展研究[22, 31−33, 35].而在分类任务相关的辅助诊断[3, 28, 29, 61]、图像重建[6, 47]等研究中, 研究者常常并不关注于神经网络的具体结构, 因此大多采用效率更高的微观搜索空间开展研究. 此外, 在图像分割领域, 研究人员更希望从多尺度的角度实现对病灶的多层级分割, 因此更倾向于选择微观与宏观搜索空间相结合的方式开展研究[50, 52−54, 58, 59].
事实上, 虽然不同的搜索策略与搜索空间可以相互组合, 但从目前的研究来看, 搜索空间与搜索策略是密不可分的, 二者具有相辅相成的作用. 为了使神经网络结构的搜索过程更加直观、简单, 搜索的结果更加易于解释, 研究人员倾向于采用宏观搜索空间与进化算法或强化学习方法相结合的方式[22, 25−27, 32, 46, 48]; 当研究人员更关注于搜索过程的效率和辅助诊断或分割的结果、不关注神经网络结构搜索结果的可解释性时, 更倾向于采用微观搜索空间与梯度搜索方法相结合的方式开展研究[6, 10, 21, 34, 49, 51, 56, 57, 60, 61]. 理想情况下, 为了能够全面地搜索到更加完善的神经网络结构, 微观搜索空间和宏观搜索空间可以进行联合优化, 并辅以多种联合搜索策略. 然而, 搜索空间的扩大必将引入更多的参数, 从而导致参数量与数据不平衡的问题. 由于脑功能数据采集较为困难, 使得基于NAS的脑功能数据分析中采用微观与宏观搜索空间结合的研究相对较少[24, 30]. 而sMRI等脑结构数据采集技术由于在医疗领域具有更为广泛的应用, 使得数据更易扩充, 诊断金标准更易获取.因此, 在基于NAS的脑结构数据分析中, 可以考虑不同空间联合优化搜索[45, 50, 52−54], 甚至不同搜索策略联合搜索的方式[58, 59].
4 常用公开数据集及实验设置
近年来, 神经网络结构搜索及优化问题在脑科学研究领域备受关注, 但对相关算法的评估需要考虑到其所使用的数据集和在算法训练与测试过程中的实验设置. 由于NAS需要大量的训练数据以实现最优深度神经网络结构的搜索, 因此, 我们回顾了现有基于NAS的脑数据分析研究工作中常用的数据集, 总结能够支撑NAS搜索的脑数据集. 我们分别针对不同模态的脑数据类型选取了使用频率较高的部分数据集进行介绍, 并总结了在分类任务中用于验证算法性能的实验策略, 以便对NAS算法的评估有相对统一的标准.
4.1 常用公开数据集
目前, 为了评测NAS算法在脑数据分析中的性能, 常用的评测数据集主要包括EEG, fMRI, sMRI和CT这4个模态的数据类型(如表 3所示). EEG数据集中主要包括BCI competition Ⅳ, DEAP (database for emotion analysis using physiological signals)和SEED (SJTU emotion EEG dataset); fMRI数据集主要包括HCP (human connectome project)和ABIDE (autism brain imaging data exchange); sMRI数据集主要包括MSD (medical segmentation decathlon)和BraTSchallenge (brain tumor segmentation challenge); CT数据集主要包括MICCAI challenge和StructSeg challenge. 表 3总结了可用于NAS搜索对脑功能和结构进行分析的数据集, 对相关数据集的数据类型、被试数量、实验任务类型、基于NAS算法的研究目的、使用该数据集的文章数量以及下载链接进行了综述.
表 3 NAS算法在脑数据分析中常用的公开数据集
● EEG常用数据集
BCI Competition Ⅳ (https://www.bbci.de/competition/iv/)为脑机接口(brain-computer interface, BCI)的知名竞赛数据平台, 该数据平台的初衷在于验证脑机接口的信号处理和分类方法. 该平台发布了多个数据集, 其中: 在基于NAS算法的脑科学研究中常用的是数据集2a和2b, 它们都是基于视觉诱发的运动想象脑电数据集. 数据集2a采集了4类运动想象任务(左手、右手、双脚和舌头运动). 对9名被试在不同日期采集了2个时段(session). 对每个session, 可以细分为6组实验(run), 每个run包含48次测试(trial). 数据集2b采集了2类运动想象任务(左手和右手运动). 对9位被试采集了5个session的数据, 其中: 前2个session为无视觉反馈的运动想象, 每个session分为6个run, 每个run包含20次trial; 后2个session为包含视觉反馈的运动想象, 每个session分为4个run, 每个run包含40次trial.
SEED数据集(https://bcmi.sjtu.edu.cn/~seed/index.html)是由上海交通大学发布的关于情绪识别的数据库, 该数据集采集了15名被试观看基于情绪诱发的电影视频片段时的脑电信号. 考虑到文化背景等因素, 实验选取的视频均为中文电影. 视频涉及3种情绪——正性、中性、负性效价. 每名被试都进行了3个session的实验, 在每个session随机观看15个长度为4分钟的电影片段, 且每个session观看的视频内容相同, 相邻时段间隔两周. SEED数据集的采集设置方式为验证模型在时间上的稳定性和重测性提供了数据基础.
DEAP数据集()主要可用于情绪识别, 该数据集采集了32名被试基于音乐视频材料诱发刺激下产生的多模态的生理信号. 每名被试观看40段不同种类的音乐视频, 每个视频时长为1分钟. 视频的种类分为4类, 分别是高效价高唤醒度、高效价低唤醒度、低效价高唤醒度、低效价低唤醒度.
● fMRI常用数据集
HCP数据集()是由美国国立卫生研究院(National Institutes of Health, NIH)参与采集的人脑连接组研究计划, 该数据库目前已采集了约1 200人的多模态数据, 包括sMRI、fMRI、MEG、基因数据以及其他行为量表信息. 其中: 有约1 100名被试采集了sMRI和fMRI数据, 并参与了两个session的实验. fMRI数据包含静息态和任务态, 任务态实验包括运动、工作记忆、赌博、语言、社交、情感和关系. HCP数据库是目前基于NAS算法对健康人群fMRI脑数据进行分析时最为常用的数据集.
ABIDE数据集(_1000.projects.nitrc.org/indi/abide/)由24个国际脑成像实验室站点合作收集形成, 旨在研究ASD疾病的大脑机制. ABIDE计划包括ABIDE Ⅰ和ABIDE Ⅱ两个数据集, 收集了静息态fMRI、sMRI和行为量表信息. 其中: ABIDE Ⅰ涉及17个国际站点, 包含539个ASD患者和573个健康被试的数据; ABIDE Ⅱ涉及19个国际站点, 包含521个ASD患者和593个健康被试的数据.
● sMRI常用数据集
MSD数据集(https://registry.opendata.aws/msd/)是迄今为止最大、最全面的医学图像分割数据集, 也是基于NAS算法对sMRI数据分析领域最常用的数据集. MSD包含许多不同来源的标记数据, 存在数据异构、标记差异和注释程序的差异等问题. 该数据集共包含2 633张三维医学图像, 这些图像数据涉及人类的10个身体器官或部位, 包括大脑、心脏、肝脏、海马体、前列腺、肺、胰腺、肝血管、脾脏和结肠. 其中, 脑数据由750张多参数sMRI图像组成, 数据采集自被诊断患有胶质母细胞瘤或低级别胶质瘤的患者.
BraTS chanllenge数据集(https://www.synapse.org/)是国际医学图像计算和计算机辅助干预协会(MICCAI)举办的医学图像处理领域的脑肿瘤分割挑战赛提供的数据集. 每个被试采集4个序列的sMRI图像: T1 MRI, T1ce MRI, T2 MRI和Flair. 该数据集已划分训练集、验证集和测试集. 在基于NAS的脑数据分析领域使用的数据集包括BraTS 2018, BraTS 2019和BraTS 2021, 具体见表 4.
表 4 NAS算法在脑数据分析中常用的BraTS历年数据集的被试数量
● CT常用数据集
MICCAI 2015数据集(https://www.imagenglab.com/newsite/pddca/)是2015年MICCAI会议提供的头颈部CT图像数据集, 该数据集提供了48名从北美招募的头颈癌患者数据, 其中, 训练集包含33名被试, 测试集包含15名被试. 该数据集对CT图像的头颈部区域的9个结构进行了标记: 脑干、下颌骨、视交叉、视神经(左、右)、腮腺(左、右)和下颌下腺(左、右).
StructSeg 2019数据集(https://structseg2019.grand-challenge.org/)是2019年MICCAI会议提供的头颈部CT图像数据集, 该数据集提供了60名头颈癌患者的头颈部CT图像. 其中, 训练集包含50名被试, 测试集包含10名被试. 数据集标记了了22个头颈部结构区域: 脑干、眼睛(左、右)、内耳(左、右)、晶状体(左、右)、下颌骨(左、右)、中耳(左、右)、视交叉、视神经(左、右)、腮腺(左、右)、垂体、脊髓、颞叶(左、右)和颞下颌关节(左、右).
4.2 实验设置
由于不同实验策略在不同的应用场景、数据集和识别难度上均存在差异, 因此, 为了验证NAS模型在不同方面的表现, 满足不同任务对算法模型的性能进行对比和评估的需求, 本文选择了HCP, MSD, ABDIDE, BCI Competition Ⅳ这4个在不同模态数据和应用任务上最常用的数据集, 在表 5中比较了开展NAS算法研究的实验策略, 以进行横向对比和分析.
表 5 基于不同的公开数据集和任务类型的实验策略
表 5表明, 研究者选择的实验策略很大程度取决于所采用的数据集和研究的任务类型. 其中, 在基于EEG的相关研究中会采用被试内、跨被试和混合被试的不同训练和测试策略. 被试内是指训练集和测试集均使用同一个被试的数据. 当数据集的被试量较小、而每名被试都进行了多个session的实验时, 可以将每个被试不同session的数据分别用于模型的训练和测试. 由于人脑数据具有较大的个体间差异, 这种单被试策略可以一定程度上避免数据分布的偏移问题, 易获得较高的识别精度. 跨被试是指训练集使用部分被试的样本数据, 测试集使用另一批被试的样本数据. 大脑存在个体差异性, 任意选择单个个体可能不能有效代表群体分布. 因此, 跨被试策略可用于验证模型对不同个体的泛化能力. 混合被试是指训练集和测试集均来源于不同被试进行同一任务的样本数据. 样本标签不以被试进行划分, 更符合实际应用场景. 在基于NAS对脑数据进行分析的研究中, 当被试不足时, 可采用被试内的研究方式扩充数据; 当被试量充足时, 更适合采用混合被试的方式.
此外, 大部分研究工作明确说明了训练集、验证集和测试集的划分比例以及交叉验证的具体参数. 但是目前, 针对这部分的实验设置并没有统一的标准, 未来研究可在实验设置的具体参数上进行更详细的划分和验证, 以使基于NAS的脑数据分析研究的对比和评估具有更加明确和统一的标准.
5 总结
脑数据分析作为脑疾病的诊断、脑认知的理解与提升、类脑人工智能等研究领域的重要组成部分, 具有重要的研究意义. 近年来, 基于NAS对脑数据进行分析得到了越来越多的关注. 本文从NAS搜索空间、搜索策略、实验设置、实验结果、数据库等方面, 对NAS在脑数据分析领域的应用进行了总结. 尤其详细介绍了可支撑NAS框架训练的各模态数据集, 为后续相关研究的开展提供依据.
图 6以时间线的形式, 对自2019年以来的NAS在脑数据分析领域研究中使用的各搜索策略脉络进行了整理. 从研究数量上看, 越来越多的基于梯度搜索的NAS研究被应用于脑数据的分析中, 说明脑科学与机器学习领域的关系紧密, 基于NAS的脑数据分析工作得到越来越多的关注, 且与前沿研究密切相关. 此外, 图 7以饼状图的形式总结了NAS在脑数据分析领域研究中的搜索空间和搜索策略的组合方式分布. 其中,
图 6 NAS各搜索策略在脑数据分析领域的时间线
图 7 NAS各搜索策略与搜索空间组合在脑数据分析领域的分布
● 在宏观搜索空间中, 基于EA的NAS是最为常见的搜索策略. 这主要是因为EA算法搜索策略简单, 搜索过程易于理解;
● 在微观搜索空间及微观+宏观搜索空间中, 基于梯度搜索的NAS是最常见的搜索策略. 这主要是因为基于微观搜索空间的研究, 通常将搜索空间以图的形式整体进行搜索, 基于梯度的搜索算法可将离散的结构搜索方式建模为一种连续松弛的搜索方式, 从而计算一系列操作的凸组合, 具有更高的灵活性.
尽管目前的研究已经取得了一定成果, 但仍面临很多挑战. 对此, 本文从数据库建立、算法设置、研究目的这3个方面, 进一步探究和梳理未来的可行研究思路.
● 在数据库建立方面
由于NAS在进行深层神经网络结构的搜索优化时需要大量数据进行训练, 因此, 数据质量、数量均会影响该领域的发展. 未来可以从两个方面考虑: 建立数据完备、个体一致性强的脑数据库. 当前常用的公开数据集一般只包含单个模态或包含其中部分被试的多模态数据, 无法构建模态完备的多模态数据库, 使得研究人员难以从多个维度对被试的脑数据进行系统分析. 未来可基于fMRI, sMRI, dfMRI, EEG, MEG等多种无辐射的安全脑数据采集技术建立多模态数据库; 另一方面, 目前的大规模数据库一般由多个地区的多所单位共同采集构建而成, 多个站点的采集设备、采集序列具有一定差异, 这可能会导致站点差异性, 从而影响组分析和个体异质性分析结果. 因此, 未来可考虑采集更多旅行被试脑数据, 即在多个站点采集同一被试的脑数据, 为面向个体的脑数据分析提供基础, 从而实现多模态NAS在脑功能和结构方面的综合应用研究.
● 在算法设置方面
脑科学尚存在诸多研究问题未揭开答案, 需要继续利用NAS等自动化机器学习算法, 开展脑数据分析方面的研究. 从现有的研究来看, 在搜索空间方面, 大多数研究扔仅分别考虑宏观搜索空间或微观搜索空间. 未来可更加关注微观+宏观的搜索空间, 以从整体的角度对神经网络结构进行搜索和优化. 此外, 在实验的结果验证和评价方面, 现有研究大多根据研究人员的经验或机器学习领域的通用设置来确定评价指标及验证方式. 未来可进一步根据研究目的、研究数据建立统一标准, 以使得基于NAS的脑数据分析研究的对比和评估具有更加明确的依据.
● 在研究目的方面
当前, 本领域的研究主要集中于将NAS算法引入至脑数据分析的研究中, 并进一步根据研究数据和研究目的进行针对性的算法改进, 以提升NAS算法在脑数据分析中性能. 而大脑本身具有的多层次性、脑网络拓扑结构又与NAS算法的框架相契合, 因此, 未来研究人员可将脑数据分析的研究成果反哺于NAS算法的构建中, 以大脑学习、思考、记忆的方式引导NAS的搜索方向, 从而提升NAS的性能, 以便将自动化机器学习赋能于更多领域.