探究图文信息记忆整合的加工过程，便于了解个体知识的积累过程

　　在日常的生活和学习中，个体通常会在不同的时间、不同的情景中获取到大量的信息。

　　

　　为了构建知识网络，个体需要将两个或多个单独但相关的学习片段结合起来自我生成新的信息。

　　新的信息会随着时间的推移保留在大脑中，并被快速地纳入个体的语义知识库中，这一过程就叫做记忆整合。

　　与演绎、归纳和类比等推理过程一样，记忆整合不仅加工当前的信息，还能超越信息本身自我衍生出新的信息。

　　这不仅优化了个体的认知结构，也丰富了个体的知识库，是个体认知发展的基础。

　　但是人们对通过整合成功扩展知识的过程知之甚少，这对于整合来说十分重要。

　　记忆整合的有关研究发现，两个相关的事实知识之间的表面相似性是影响记忆整合表现的一个不可忽略的因素。

　　

　　信息的呈现形式，也是表面相似性的一种，是否也对记忆整合的表现产生影响。

　　尤其是在现代科技发展的背景下，人们不仅仅是从文字中获得信息，还会从图像、PPT、视频和音频等形式中获得信息。

　　个体是否能将图片和文本信息结合起来，生成新的信息，以及个体对于图文信息是如何进行整合加工的，与单纯的文本或单纯的图片信息加工是否有所差异，是尚待探究的问题。

　　在教育心理学的学习领域，图片和文本整合也备受研究者和教育工作者的关注。

　　综合以往的研究不难发现，大多数有关图文整合的实证研究通常会将对学习结果的测量作为图文整合的证据。

　　

　　在文本中添加图片对学习有益，多媒体学习的理论和图文整合的综合模型用图文之间发生整合这一假设来解释。

　　根据Mayer的观点，TPI的这个过程它涉及在文本和图像心理表征之间建立一对一的对应。

　　根据Schnotz的观点，个体将文本加工为命题表征，将图像加工为心理模型，两者之间可以交互。

　　当个体从图片和文本中学习到相关的信息时，又是如何对信息进行整合加工的，尚未可知。

　　另外，在生活中，我们不仅会接收到许多单一的文本或图片信息，也会接收到很多图文同时呈现的信息，尤其是在进行多媒体学习时。

　　

　　有许多研究对图文整合的相关内容进行了考察，然而他们主要考察了同一信息的图文之间的整合是否发生，以及是否有助于提高学习成绩。

　　缺乏对两个主干事实同时呈现图文组合的关注和探讨，而且两个主干事实同时呈现图文是否能提升个体的整合表现，其加工过程又是如何，尚未清楚。

　　因此，研究主要探讨了图片与文本信息之间的记忆整合表现及其加工过程，主要包含两个正式的研究。

　　首先，借助ERP技术，初步探究个体对于图文信息的记忆整合表现及其加工机制。研究二试图探究图文信息内容的一致性是否会对记忆整合表现和加工产生影响。

　　图文信息的呈现方式对记忆整合表现的影响

　　在Bauer和Varga提出的记忆整合理论模型中，通过整合自我生成新知识的第一步就是对主干事实的编码，可见编码对于自我衍生新知识这一过程的重要程度。

　　

　　研究一从行为层面考察了个体在编码主干事实以不同形式呈现信息，通过整合独立但相关的事实自我衍生新知识的表现是否有差异。

　　研究结果显示，图文条件、文图条件与文文或图图条件有着显著的差异，表明个体的记忆整合表现确实受信息呈现形式的影响。

　　虽然结果Esposito等人的研究结果不一致，可能是由于使用的材料不完全一致，在未来的研究中可以加入听觉来继续探讨图文信息的记忆整合。

　　研究一的第二个发现是，图文条件与文图条件的总体整合表现不存在显著差异，但是在文本测验与图片测验之间存在显著的差异。

　　按照Mayer的多媒体学习的认知理论和Schnoz的图文理解综合模型的观点，研究认为个体在获取图片和文本的信息时，更符合多媒体的认知理论假设。

　　

　　即将文本和图片加工为文本表征和图像表征，两者整合为一个心理模型，再与之前的记忆整合。

　　在主干事实以不同形式呈现的条件下，个体的整合表现和主干再认表现都显著低于相同形式的表现。个体对于主干事实的再认表现都出现良好的成绩。

　　这从侧面验证了个体对于图片和文本的加工和存储有着不同的子系统个体对于不同信息呈现形式整合表现较低的原因。

　　可能是由于对于不同的形式之间整合本身存在困难，找到记忆中相关文本或图片比较困难，或者由于对信息的编码存在不足，或者两者都有。

　　对于研究一中的文本信息添加了图片，呈现图片时也添加了文本信息，图文信息的一致性是否会加深对信息的编码，以提高个体记忆整合的表现是研究二探讨的问题。

　　

　　结果发现，相对于图文信息不一致的条件，一致的图文信息更能促进记忆的整合，这也与之前的研究结果一致，添加图片有利于学习。

　　但是研究二的整合表现要大幅度低于研究一的文文条件和文图条件，导致这种情况的原因可能是：

　　研究二的实验要求与后者有区别，前者的要求个体在编码后判断图文信息是否一致，而后者要求个体自主学习。

　　前者对于主干事实的记忆痕迹并没有后者的记忆痕迹多，这可能是导致前者的成绩显著低于后者的一个重要原因。

　　而与图文条件和文图条件相比，一致条件的整合表现有轻微的提高，添加对应的图片和文本信息确实会对信息的理解和整合有所帮助。

　　

　　研究还发现，图文信息不一致的条件也能成功的通过整合相关的信息自我衍生新的知识，但由于不能排除偶然的选择，对其不作解释。

　　未来的研究可以继续探讨不一致条件下图文信息的记忆整合表现，将研究二的同时呈现的不一致图文信息进一步细分。

　　不同图文信息呈现方式的加工过程

　　研究一的脑电实验目的是考察个体对于同时呈现不同形式信息的加工过程。结果发现，在刺激呈现后的500ms内，实验条件和脑区的交互作用显著。

　　在多媒体学习的认知理论和图文理解的综合模型中，图片信息和文字信息在进行语义整合加工前，会对两种表征形式进行转换。

　　以往研究结果也表明，在语义整合的加工过程中，不同表征形式的信息存在形式的转换。

　　

　　结果也显示了个体在整合图文信息与文图信息时，所诱发的平均脑电波幅并不显著，有一个合理的原因就是：

　　个体在对图片刺激进行加工会后会形成图像表征，对文字刺激加工后形成了言语表征并将其暂存在工作记忆中。

　　因此，无论图文信息条件和文图信息条件的差异不显著。这也表明了图文记忆整合的加工过程可能更符合多媒体学习的认知理论的观点。

　　无论是在记忆整合还是与图文整合相关的研究中，N400都是一个十分重要的反应整合的神经指标。

　　在研究一中的波形图显示了不同形式的信息诱发了不同程度的N400，在N400之前也发现了N300成分。

　　

　　但是在研究一中没有诱发P600成分，而在研究二的脑电结果中发现了这一成分，结合研究一和研究二的不同。

　　有理由推测个体在同时加工图文时，可能存在延迟的整合，而这一成分的出现也间接表明了个体对于图文一致性的整合加工也符合多媒体认知理论的观点。

　　研究二主要是探索了个体在图文一致条件下与图文不一致条件下加工过程是否存在差异。脑电结果显示：

　　在刺激呈现后300ms~500ms内，条件与脑区和半球三者之间的交互作用都显著，表明了个体在加工图文一致信息与不一致信息时都诱发了N400和P600成分。

　　这两个成分与额叶和中央区相关，这可能表明了对图文信息的一致、不一致的整合加工可能只是与大脑的特定的脑区有关。

　　

　　当刺激呈现后，个体将图片信息与文字信息进行了匹配，因而诱发了这一成分，之前的研究也表明这一成分反映了大脑通和加工信息冲突的过程。

　　在300ms之后，一致条件的波形与不一致条件的波形出现了分离，这表明了对一致条件的加工与不一致条件的加工机制是不同的。

　　且不一致的条件下的N400波幅更大，这间接表明了个体在一致条件下进行了图片和文本信息的整合。

　　因而相比于一致条件其脑电波更负更小，这表明了个体成功地整合加工了图文信息，不一致条件的信息加工需要消耗更多的努力。

　　举报/反馈