张家口专业信息流团队

张家口专业信息流团队，来自伯明翰大学的Juan Linde-Domingo等人在NATURECOMMUNICATIONS发文，其使用反应时和EEG时间序列解码来验证假设：相比于最初的感知编码，同一事件被记忆检索时，信息流出现了反转。研究者通过三个实验，发现高度一致的证据来支持这一反向信息流。当个体观察物体时，相比于高级概念特征，低级感知特征在行为上被更快地区分，并且可以更早地从大脑活动中解码。然而这种模式在进行回忆时发生逆转，反应时和大脑激活模式表明概念特征的重建显著快于感知特征。该研究结果支持符合神经生物学的人类记忆模型，表明记忆检索是一种结构化的、多层次的过程，其对语义特征的加工优先于感知特征。

记忆是一个重建过程，但很少有人知道记忆的重建是如何在人类大脑中展开的。研究者通过两个行为实验和一个脑电实验来验证记忆反向重建假设。所有实验都使用简单的联想记忆范式，被试学习单词线索和日常物体之间的任意关联，然后利用单词线索来提示回忆对象。自变量包含两个维度：一个感知维度，包含彩色图片和线条图两个水平；一个是语义维度，包含生命体和无生命体两个水平。行为实验的因变量为被试进行感知判断或语义判断的反应时。EEG实验则使用时间序列解码技术，追踪激活同一对象的感知成分和语义成分的精确时刻，创建感知时间图和语义时间图。

研究方法

被试

行为实验1共49名被试（39女，平均年龄20.02± 1.55），其中26名（19女，平均年龄20.62± 1.62）完成记忆反应时任务（memory reaction time task），23名完成视觉反应时任务（visualreaction time task）。在记忆反应时任务中有5名被试的正确率低于66%，未纳入最终统计。行为实验2共48名被试（42女，平均年龄19.25±0 .91），记忆反应时任务和视觉反应时任务各24名被试。脑电实验共24名被试（20女，平均年龄21.91± 4.68），剔除3名无效被试，共21名被试的数据纳入最终统计。

实验程序

行为实验

行为实验为2（任务类型；视觉反应时任务 vs. 记忆反应时任务）×2（问题类型：感知问题vs. 语义问题）的混合实验设计，其中任务类型为被试间变量，问题类型为被试内变量。因变量为被试进行感知判断或语义判断的反应时。

行为实验1—视觉反应时任务：感知运动任务包含4个组块，每个组块有32个试次。每个试次均会出现一张图片，然后要求被试进行判断，判断的标准分为两类：一是感知问题，即要求被试判断出现的材料是彩色照片还是线条图；二是语义问题，即要求被试判断出现的材料是有生命还是无生命的。

行为实验1—记忆反应时任务：记忆反应时任务有16个组块，每个组块包含编码阶段（8个试次）和检索阶段（16个试次）（详见图1）。整个实验过程记录反应时，此为记忆重建所需时间。

行为实验2—视觉反应时任务：总体与实验1类似，此处仅描述差别。一是在判断前多了一个阶段—熟悉阶段，即在电脑屏幕上同时呈现一个对象的彩色照片和线条图，期间被试出声命名。二是实验一中每张图片出现2次，实验2中每张图片仅出现1次。

行为实验2—记忆反应时任务：单词—对象的联结仅测试1次，实验1是2次。

图1 行为实验的刺激材料和实验设计。

a.所有实验材料（共128个）包含两个属性：一是感知属性，一半为彩色图片一半为线条图；二是语义属性，一半为有生命的一半为无生命的。

b. 视觉反应时间任务要求被试根据其感知属性（彩色照片 vs. 线条图）或其语义属性（有生命 vs. 无生命），对出现的对象尽快进行分类。

c.记忆反应时任务包含编码阶段和检索阶段。编码阶段要求被试将图片与单词进行联结，赋予每个单词感知属性或语义属性（每个组块8个试次）；检索阶段给被试呈现单词，要求其根据编码阶段的习得内容来回忆并对单词进行分类，并记录反应时。按钮符号表示实验过程中收集RT的时刻。

脑电实验

脑电实验仅进行记忆反应时任务，为单因素双水平（问题类型：感知问题 vs. 语义问题）的被试内设计。与行为实验相比，在检索阶段存在差异。要求被试将对象与单词关联起来，后面出现单词提示时尽可能生动地重建对象，并且当产生生动的图像时再按键（详见图2）。

图2 脑电实验设计和时间分辨多元编码。

a 要求被试将对象与单词关联起来，后面出现单词提示时尽可能生动地重建对象，并且当产生生动的图像时再按键。学习阶段和回忆阶段均记录脑电图，目的是执行时间序列解码分析，该分析可以检测单个试次中哪个时刻分类器最有可能正确地对感知属性和语义属性进行分类。窗口下的彩色时间线代表研究者的假设：编码期和检索期最大语义分类（粉红色）和最大感知分类（蓝色）分类的时间顺序。

b每个时间点每个被试独立进行解码分析。对于每个给定时间点，利用两个线性判别分析（LDA）分类器训练EEG信号：一为感知分类器以区分彩色照片和线条图，一为语义分类器以区分生命体和无生命体。使用留一法测试分类器，获得每个试次单个时间序列的置信度值。

c比较每个试次中感知分类器（蓝色）和语义分类器（粉红色）的最大保真度的时间点，以验证假设：在感知阶段，感知最大值（蓝色）在语义最大值（粉红色）之前的假设，而在回忆阶段这个顺序相反。

结果

行为结果

反应时：仅对判断正确的试次进行反应时分析。采用2（任务类型：视觉反应时任务 vs. 记忆反应时任务）×2（问题类型：感知问题 vs. 语义问题）的重复测量方差分析，结果发现在实验1和实验2中二者的交互作用均显著，F1,9020 = 18.027, P < 0.001（实验1），F1,3280= 10.588, P = 0 .001（实验2）。整体而言，语义问题的反应时长于感知问题；不过在记忆反应时任务中，语义问题的反应时显著短于感知问题。

正确率：选用逻辑连接函数和二元概率分布，固定效应是任务类型（视觉与记忆），问题类型（感知与语义），以及两个因素之间的相互作用。选择被试ID和斜率作为随机因素，包括拦截。两个实验中均发现任务类型和问题类型的交互作用可以显著预测正确率（Experiment 1: F1,11260 =12.215, P < 0.001; Experiment 2: F1,4124 =8.383, P = 0.004）,视觉反应时任务中感知问题的正确率高于语义问题，记忆反应时任务中则相反，语义问题的正确率高于感知问题。

总的来说，行为实验的结果支持了主要假设。

图3反应时和正确率结果。

a箱形图表示实验1和2反应时，蓝色代表感知问题、粉色代表语义问题。问题类型和任务类型的交互作用可以显着预测RT（P <.001）。为了说明的目的，（a）和

（b）中的Y轴是对数缩放的。

c曲线表示预期的正态分布。实线水平线表示分布的50％点（即试次的一半），虚线水平线表示试验的值最接近零，其中感知—语义差异从正（粉红色）翻转为负值（蓝色）。如果差异是正态分布的，则实线和虚线将在彼此之上。

d表示实验1的准确率。任务类型（即视觉或记忆）和问题类型（即感知或语义）之间的相互作用显着地预测了准确性。

e图表示实验准确率。所有箱形图中，每个方框中间的线代表中位数，方框的顶部和底部分别代表样本的第25和第75百分位数。十字架代表异常值。

脑电结果

利用线性判别分析（LDA）、基于EEG地形图，对每个时间点对象的感知属性（彩色照片 vs. 线条图）和语义属性（生命体 vs. 无生命体）的特征进行分类。

进行一系列基于聚类的置换检验，以检验感知属性和语义属性的ERP差异。在编码阶段，感知属性在刺激呈现后136~232ms期间有显著正波（(Pcorr = 0.008），最大差异在188ms，位于枕叶电极（图4a上）；语义属性在刺激呈现后237~357ms有显著正波（Pcorr = 0.001），最大差异在306ms，位于额叶和枕叶电极（图4a下）。可见，在编码阶段，大脑对感知属性的加工快于语义属性。在检索阶段，感知属性在按键反应前1390~1336ms也即 -1390 ~ -1336ms）有显著正波（Pcorr = 0.046），最大差异点在-1360ms，位于枕叶电极（图4b上）；语义属性在按键反应前1781~1735ms也即-1781 ~ -1735ms有显著正波（Pcorr= 0.001），最大差异点在-1770ms，位于额叶电极（图4b下）。可见，在检索阶段，大脑对语义属性的加工快于感知属性。

可见，ERP结果与行为结果一致，再次支持逆转假设。

图4 单变量分析结果。

a记忆编码期间，关键电极点中不同组别ERP的差异（T值）。左上方图代表彩色照片与线条图的差异，左下方图代表生命体与无生命体的差异。

b记忆检索期间，关键电极点中不同组别ERP的差异（T值）。右上方代表感知组的差异，右下方代表语义组的差异。

一句话总结，记忆重建不是一个全或无的过程，而是从较高级别的语义加工进展到较低级别的感知加工。张家口专业信息流团队