音乐知觉的认知神经科学模型

Stefan  Koelsch

摘要      音乐知觉涉及声音分析，听觉记忆，声像分析，音程关系的处理，音乐构成法和含义的处理，以及激活（前）运动皮层，使行动表现出来。而且，音乐知觉还可能引出情绪，由此促使产生各种情绪的神经系统进行调控，这些系统包括主观感觉系统，自主神经系统，激素和免疫系统。根据一篇以前的文章（Koelsch和Siebel,2005）,本评述提出一个更新的音乐知觉及其相关神经系统的模型。本文描述有关音乐知觉的各种处理过程，并报告脑电图（EEG）和功能性磁共振成像(fMRI)研究的结果，它们告知这些处理的经过，以及这些处理在大脑中可能发生的位置。

 

1     引言

对于理解人类的认知，人类的情感及其根本的脑机制而言，音乐已经被证明是一种有价值的工具。音乐是人类本性的一部分：纵观人类历史，似乎在每一种人类文化上，人们早已在演奏音乐并享受之。迄今发现的最古老的乐器大约有3万至4万年历史（秃鹫骨头做的骨笛，发现于德国南方Ulm附近的Hohle Fels洞穴），然而情况可能是，属于直立人人类的第一个人早已创作出音乐（大约10万至20万年前）。只有人类学习演奏乐器，也只有人类成群地合作起来演奏乐器。某些人假定，人类的音乐能力在语言的进化中起一种关键的种族发生作用，而人类从事音乐活动涉及人类进化上重要的社会功能（诸如通信，协作，和社会凝聚力；这些功能以下将作进一步概述），并推动人类的进化。从个体发育上说，新生儿（他还不能理解词的句法和意义）能够译解语音的声频特征和语言的韵律特征，而且情况似乎是，幼儿进入语言的第一步部分上是基于韵律的讯息。而且，早期儿童的音乐联络（例如父母的歌唱）在儿童的情感培养方面，也假定在他们的认知能力和社交能力发展方面起一个重要作用。一组人演奏音乐，对于人类大脑而言，是一项要求极高的工作，它引出一大系列的认知（和情感）的处理过程，包括知觉，多模态整合，学习，记忆，行动，社会认识，构成法处理，和音乐含义讯息的处理。它的丰富多彩使音乐成为一个理想的工具来探究人类大脑的运行机制。

本文对先前的音乐知觉模型（Koelsch和Siebel,2005）提出一个更新方案，其中不同阶段的音乐知觉被指定为不同的模块（参见图1）^☆。请注意，这些模块被当作不同的实体，它们并不专门适用于此处描述的音乐知觉处理；相反，它们也部分适用于语言的处理，而且，正如本文将要说明的，此处提出的模型与语言处理模型重叠。以下章节将评述探索这些模块工作原理的研究工作，由此把当今有关知识综合为一个框架来说明神经科学在音乐知觉领域的研究。

☆译者注：根据图1对该音乐知觉的认知神经科学模型作些说明。意义模块，其电生理反应是N400/N5，时程250-550毫秒，涉及脑区为BAs 22p,21/37。由意义模块引出情绪模块。中间步骤为：1，特征提取模块Ⅰ主要处理：周期性，音色（包括粗糙度），紧张度，位置。其电生理反应是脑干的听觉反应，频率跟随反应，时程1.5-10毫秒，涉及脑区为听觉脑干和丘脑。2，特征提取模块Ⅱ主要处理：音高，音质，音色（包括粗糙度），位置。其电生理反应是中潜伏期成分，P1,N1, 涉及脑区为BAs41,42,52。3，格式塔形成模块主要处理：旋律和节奏，分组，涉及脑区为BA,22P。4，时值分析模块主要处理：和弦，旋律，时程。涉及脑区为BAs 22a，22P。3和4模块紧密联系。5，听觉传感记忆模块，其电生理反应是失配负电位，时程100-200毫秒，涉及脑区为BAs41,42,52（6，44，45），5是3的下级模块。6，结构建立模块，主要处理：和声，节拍，节奏，音色，其电生理反应是早期右脑前部负电位和右前颞负电位，时程180-400毫秒，涉及脑区为BAs44（i），6。7，结构再分析和修改模块，其电生理反应是晚期正电位成分/ P600，时程600-900毫秒。8，直观化模块，涉及自主神经系统，内分泌系统，多模态联络皮层区。9，（前运动）动作模块，涉及脑区为BA6，辅助运动区，吻侧扣带区，也涉及免疫系统。以上诸模块并联。此模型的具体说明详见下述。

 

2    听觉特征提取

音乐知觉开始于译解声音讯息。声音讯息转化为耳蜗里的神经活动，然后逐渐地转化为听觉脑干的活动，在周期性声响，音色（包括粗糙度，或协和/不协和），声响强度，以及上橄榄核团与下丘里声响的定位差异等方面的各种神经反应特性表明了这点。值得注意，情况似乎是，耳蜗背核早已投射入网状结构。凭借这些投射，突然发出的响亮声音导致大吃一惊的反应，而且这些投射也许有助于促进我们移向有节奏的乐音。此外，下丘早已能发动逃跑行为和保卫行为来对威胁性刺激作出反应[甚至在声音讯息抵达听觉皮层（AC）之前]；来自丘脑（特别是遍及内侧膝状体）的神经脉冲主要投射到AC（但要注意到丘脑也把听觉刺激投射到杏仁体和额叶内眶回）¹。重要的是，听觉通道的组成并不只是由下而上，而且也是由上而下投射的；比如下丘背核等核团被假定接受来自听觉皮层区下行而不是上行的投射。

2010年期间，某些研究工作采用频率跟随反应(FFR)方法调查听觉脑干对频率信号的译解。FFR能够在注意力形成前引出，而且被认为主要来源于下丘（但也要注意到情况好象是AC至少涉及FFRs的形成，例如，凭借由上而下投射到下丘）。采用FFRs,Wong等人(2007)测量了脑干对只有音高轮廓差异的3个普通话语音的反应。受试者是业余音乐家和非音乐家，而结果显示音乐家对音素的音高轮廓的编码比非音乐家更准确。这个发现表明听觉脑干涉及语音讯息（元音）音高轮廓的编码，而且FFRs与声音讯息的性质之间的相互关系受到音乐训练的调节。由具一个下降音高轮廓的音节引发的FFRs上的类似训练作用也已经在说英语的本国人身上发现，他们经历了一个周期为14天（8个每次30分钟的课程）的训练。后面的结果显示脑干在语言学习及成年人神经可塑性方面起作用。

Strait等人（2009）的一个研究工作也报告了音乐训练对译解一个发泄感情的发声（一个婴儿不快乐的哭叫）起作用，好象反映出听觉脑干的潜力。这就提示（1）听觉脑干涉及情感联系状态的听觉处理（基本上有助于译解和理解情感性韵律），（2）音乐训练能够导致这种（亚皮层）处理受到更为精细的调节。

原注1：杏仁体的外核接受来自丘脑内侧膝状体的内分支（以及来自后丘脑的联络区和听觉联络皮层）的刺激，杏仁体的中核与脑干相互联系。

 

2．1    “音色”和“音素”的等效性

考虑到音乐和语言之间的一个比较,值得一提的是,按照声学,在音素和乐音的音色²(只是按惯例某些语音学家宁愿用诸如“元音品质”或“元音色泽”的术语而不是“音色”)之间并无差异。两者的特征都是音色的两种相关的物理性质：声频包络（即，个别谐音相应波幅里的差异）和波幅包络（有时也称为声波的波幅轮廓或能量轮廓，即，声音响度变化的方式，特别是考虑到声音的发出和偏移）。非周期性声音的声频包络也有差异（例如，/∫/和/s/之间的差异），而关系到波幅包络的音色差异在语言里起某种作用，例如，在爆破音/b/对/w/和/∫/对/t∫/的形成里。

原注2：当听到的两个声音有相适应的音高，响度，时程，和位置时，仍然能够察觉到这两个声音之间有所差异，那么这种差异就称为音色。例如，一只单簧管，一只萨克斯管和一台钢琴全都在相同位置，以相同的响度和时程演奏一个c音。这些乐器各自具有独特的音质。其中的差异就叫音色。在语言里也有许多音色差异的事例。

 

2．2     听觉皮层的听觉特征提取

如上所述，听觉讯息主要通过内侧膝状体的亚分支投射到初级听觉皮层[PAC,对应于Brodman区(BAs)41]和相邻的第二级听觉区（对应于BAs42和52）。比起听觉脑干，这些听觉区执行一个更为细腻，更为特异化的听觉特征分析。例如，Tramo等人（2002）报告一个PAC双侧损伤的患者（1）有正常的声音察觉阈值（即，该患者能够说有还是没有一个乐音），但是（2）要提高阈值来确定两个乐音是否有相同的音高（即，该患者难以察觉两个连续的乐音之间的细微声频差异），而且（3）还须显著提高阈值来确定音高范围（即，该患者非常难以说出第二个乐音是否比第一个乐音有较高或较低的音高，虽然他能够说两个音不同）。请注意，AC也涉及某些其它功能，诸如听觉传感记忆，声际关系的提出，声响的鉴别和组织以及声响模式，音流分离，自动改变察觉方式，和多传感器整合（某些上述功能以下有进一步的叙述）。

此外，（初级）AC与听觉特征（比如声频讯息）转化为知觉（比如音高和音质）有关：损伤（右）PAC导致损失感觉剩余音的能力，动物和人类都会发生这种现象，而PAC前侧区的神经元显示对一个遗漏基频的事例负责。此外，脑磁图资料表明PAC的反应特性依赖于一个遗漏的复音的基音是否接收到（资料取自人类实验）。然而要注意，复音早已出现在耳蜗里，而且复音的周期性编码为听觉脑干神经元的尖峰脉冲模式；因此，各种神经机制有助于察觉剩余音，至少在3个不同的层次上（基底膜，脑干，和AC）。不过，Zatorre(1988)和Whitfield(1980)的研究提议，与脑干或基底膜相比，AC起一个更加突出的作用来把声音特性转化为听觉感受（比如关于一个复音频率的转化讯息，以及一个声音的周期性转化为一个音高感受）。

Warren等人（2003）报告音质的变化比音高的变化在更大程度上涉及PAC听觉前区（覆盖部分的颞极表面）。相反，音高的变化比音质的变化在更大程度上涉及PAC听觉后区（覆盖部分的颞平面）。此外，考虑到PAC左右侧之间的功能差异，以及邻近的听觉联络皮层，几个研究认为，左侧AC比右侧AC对于时程讯息有一个更高的分辨能力，而右侧AC比左侧AC有一个更高的频谱分辨率。

最后，AC也准备声音讯息以便作进一步的概念和意识处理。例如，考虑到语声的意义，恰好一个短的单音能够发出声来，如“亮”，“粗”，“钝”。这就是，单音早已能够传递意义讯息（音乐含义的处理将在以下另作叙述）。

与听觉特性分析有关的（初级和邻近）AC里的操作情形反映在电生理记录的事件相关脑电位（ERP）的分量里，它们潜伏了大约10—100毫秒，特别是中-潜伏期反应，包括P1，和后来的“外源”N1成分。

 

3      共鸣记忆和格式塔（Gestalt）形成

当听觉特征被提取时，声音讯息进入听觉传感记忆（或“共鸣记忆”），然后形成听觉格式塔的体现。听觉传感记忆的操作至少部分在电生理上反映为失调负电位（MMN）。MMN有一个潜伏期峰值，大约100—200毫秒，推测起来，对它们多数所起的主要作用来自位于PAC和邻近听觉（带）区的各种神经元，附加作用（但较小）来自前额皮质区。这些额叶区似乎包括（腹侧）前运动区（BA6），靠近和在额下沟里的背侧额前区，和额下回后部（BAs45和44）。额叶区可能牵涉进来，因为它们在注意力分配，顺序处理和工作记忆处理过程中起作用。

听觉传感记忆的操作对于音乐知觉而言是必需的；因此，实践上所有MMN研究工作内在联系到，而且切合，理解与音乐处理相关的神经机制。正如以下将概述，许多MMN研究工作通过以下手段已经促进了这个问题的解决（1）调查音乐和语言刺激里听觉传感记忆的各种反应特性，（2）采用旋律和节奏模式来调查听觉格式塔的形成，和/或（3）研究长期或短期音乐训练对形成根本的听觉传感记忆操作的作用。特别是后来的研究工作实质上已经有助于我们对神经可塑性的理解，因此有助于我们理解学习的神经基础。这些研究的细节评述超出本文的范围。在这里，只要说几点就够了，MMN研究工作表明长期音乐训练的作用表现在以下几方面：和弦的音高辨别，时程的灵敏度，整合的时程窗口，声响的定位变化，察觉周围环境的声响。此外，运用脑磁图，Menning等人（2000）的一个MMN研究显示3周听觉音乐训练对乐音的音高辨别所起的各种作用。

听觉的新异刺激实验范例也用来调查如何处理发生在乐音模式里那些乐音的旋律和节奏的分类情况（这种分类基本上用于格式塔的形成），以及长期音乐训练对这些处理情况的影响。这些研究指出音乐训练的作用表现在以下几方面：（1）旋律模式的处理，（2）一个乐音模式的编码元素数量，和（3）由两个语声组成的模式处理。

最后，几个MMN研究调查音乐和语言讯息的处理之间的差异。这些研究报告和弦异常比音素异常有更大的右脑半球反应，与由音素引发的MMN的生成神经相比，由和弦引发的MMN的生成神经与之不同；复音处理和音素处理的比较也已经显出相似的结果（后来的研究也报告了音乐专业知识对和弦和音素处理的作用）。这些偏重一个侧面的作用估计可能是由于频谱处理和时程处理有不同的要求，在该研究里这些处理是针对作为刺激源的和弦和音素的。

听觉格式塔的形成需要知觉识别处理，以及旋律的，节奏的，音色的，和音场分类的处理。这些处理已经被概括在听觉声像分析和听觉音流分离的概念里。各种声响事例的分类遵循格式塔原理，如相似性，接近度，和连续性。在日常生活里，这些操作对于音乐处理不仅重要，而且也很需要，比如，在某次会谈时从环境的其它声源中识别出说话者的声音。简言之，这些操作之所以重要，原因是它们的功能是认出并跟踪声源，由此建立一个声环境的认知体现。有关听觉音流分离，听觉声像分析和听觉分类的神经机制的知识，相对来说，目前还很少。然而，情况似乎是，颞叶皮层（它是部分的听觉联络区）对于听觉声像分析和音流分离是一个关键结构，尤其是它在音程处理和声音序列处理方面所起的作用。

 

4     音程分析

推测起来，与听觉格式塔形成阶段密切联系的是一个更细腻的音程分析的阶段，这种分析包括（1）对一个和弦（或者一个旋律）各个音之间的音高关系进行更详细的处理（要求确定这个具特定根音的和弦是大调和弦还是小调和弦，演奏是在根音位置还是转位位置等，也见下述），还有可能（2）一个时程的更详细的处理。考虑到和弦，这种分析要求确定“和弦形式”，即，它是大调和弦还是小调和弦，它的演奏是在根音位置还是转位位置；注意到具相同根音的和弦可能有某些转型（例如，以下所有的和弦都有根音c:c-e-g,c-e-flat-g,e-g-c,g-c-e,c-e-g-b-flat,e-g-b-flat-c,等，flat：降半音）。这些处理的相关神经机制目前还不知道，但情况好象是颞叶和（下）前额区对这些处理起作用；对旋律处理而言，损伤资料提示，一个旋律轮廓的分析（这是听觉格式塔形成的一个步骤）尤其依赖右颞上回的后部，因此更详细的音程信息的处理似乎涉及颞上皮层双侧的前后区。

脑损伤会干涉音高关系的辨别但是不损害时间关系的准确说明，反之亦然。观测到这种现象提醒我们，旋律和时程似乎各自独立处理。不过，这些不同类型的时程处理至今一直还没有与功能性神经成像研究脱离关系。

 

5     理智参与音乐构成法的处理

以下章节论及大小调构成法的处理，尤其注意和弦的功能（即，注意到和声学）。其它调性构成法方面是节奏，节拍，旋律（包括导音），可能还有音色（由于缺乏神经生理学资料，此处将不论及这些方面）。关于大小调音乐构成法，一种可能的理论描述是经典的和声学，有关专家对此进行了系统的阐述。这些描述主要论及和弦功能的推导，较少论及在乐音连接成更长的序列过程中和弦功能是如何起作用的。

 

5．1   音乐构成法的形式描述

描述与音乐构成法处理相关的神经机制之前，将简要概括一个音乐构成法的理论基础。Heinrich Schenker是第一个有系统地论述根本（大-规模）结构原理的理论家；这点包括他在Ursatz中的思想，它含蓄地假定（1）一个等级结构（比如奏鸣曲形式的主-属-主和弦的大规模结构），（2）（只有）某些和弦的功能可以忽略，和（3）复嵌（即，某调的一个序列嵌入另一个不同调的序列，而后一序列又嵌入另一个与之不同调的序列，等）。Schenker的思想由Lerdahl和Jackendoff(1999)提出“通用调性音乐理论”（GTTM）的方法而得以成型，不过他们的理论并不提供通用的规则（与它的名称所说的相反）。尽管如此，GTTM的优点在于它把Schenker的Urlinie描绘成树结构（在这方面，GTTM使用如时段缩短和延长等术语）。这些树结构也与使用树结构的语言句法描述并行不悖，虽然Lerdahl和Jackendoff的GTTM至少暗示音乐构成法和语言句法彼此之间只有些许关系（也许除了某些韵律方面）。

至今还没有神经生理学家的调查已经验证了个人是否在认知上按照树结构来感受音乐；同样，有关此话题的行为学研究也极为罕见。须注意，GTTM是一种分析的（而不是生成的）模型；Lerdahl的调高空间（TPS）理论（Lerdahl，2001）试图为这种分析方法提供算法，但这些算法经常既不高效也不精确（需要进行“改正”）。然而，TPS提供了非常有趣的方法，它根据树结构建立了紧张度-解决方式的模型。

新近，Rohrmeier(2007)提出通用构成法模型（GSM），该方法根据树结构建立调性和声模型，具有明确的生成规则。Rohrmeier的GSM随增加的抽象度把研究对象区分为4个等级：一个表面结构等级（按照和弦的名称，例如，C,G,C），一个音级结构等级（例如，Ⅰ，Ⅴ，Ⅰ）一个功能结构等级（例如，t,d,t），和一个乐句结构等级，它确定主音区，属音区，和下属音区。这些等级的每一个根据乐句结构构成法的生成规则来描述，其生成开始于最高的（乐句结构）等级，然后把讯息传播（在派生过程）到较低的等级。这就开辟了一条途径，使一个功能结构等级和一个音级结构等级（例如，“属音的属音的属音”）上的复杂序列的复发派生成为可能。一棵树的实际调性从头（“节”）传播到次级的树枝。树结构反映（1）作品的形式构造，（2）乐句结构，（3）个别乐句及和弦的功能方面，（4）各种调性范围的关系，和（5）相关的稳定度（由树枝之间较低的规则决定）。

GSM有3个原理：

（一）   假定（1）音乐元素（例如，一个乐音或一个和弦）的出现总是与其它音乐元素有关（因此并不孤立），和（2）每个元素（或每组元素）都有一个功能关系到一个前面的或一个随后的元素，再现这些关系的最简单方式是一个树结构。这意味着这些功能上相关的元素之间的关系，它们并不毗连，可以用一个树结构来表现。例如，由几个和弦组成的一个序列，其起点和终点在一个主和弦上，其第一个和最后一个主音并不毗连（因为它们之间有其它的和弦功能），但最后的主和弦跟随（并“延长”）第一个主音；把第一个和最后一个主和弦设置为树的头部和尾部，用这种方式就能把把这个序列表现为一个树结构，而其它和弦功能的关系表现为树枝分杈（“延长” 和弦能扩展调性范围，而“进行中的” 和弦限定调性功能的发展）。这也意味着毗连的元素并不需要有一个直接的结构关系（例如，一个起始主和弦后面可以跟随一个第二属音到下一个和弦：于是第二属音直接关系到下一个和弦，但与先前的主和弦无关）。一个和弦既与先前的，也与后继的和弦没有一个功能关系，这是不可能的：如果在上述例子里那个第二属音不会迎来一个（不明显的）主音，那么这个序列就会不合乐理（考虑到大小调规则）。与经典和声理论相比，这种GSM方法有它的优点，其和弦功能并不由调性确定（或者从其它和弦派生出来），而是由它们在序列里的功能位置来确定。

（二）树结构表明，人们能够以一种序列仍然正确发音的方式把其中的元素依次忽略。例如，第二属音可以忽略，或者第一个和最后一个主和弦之间的所有和弦可以忽略，而这个序列仍然正确发音。在一个较不琐碎的事例里有一个属音位于两个主和弦之间的一个近邻乐句里；树结构于是表明，在下一个更高等级上，除了那两个主和弦和那个属和弦外，所有和弦可以忽略。这个原理是“头领作用”的结果，其中构成法树上的每个节主导下级的树枝。这就是，树结构提供一个元素的权重，导致一个客观派生的深层结构（与经典和声理论相比的另一个优点）。

（三）和弦功能是由它们在树枝上的位置决定的。例如，一个前属音是一个属音之前的下级树枝，或者有稳定和不稳定属音，人们可以根据它们在构成法树上的的位置层次进行区分。同样，在一个半终止式事例里，作为一个乐句稳定的邻近终点，到达的属音必须迎来一个结束于一个主音的乐句，由此解决开放的属音问题（考虑到深层结构）。

详细描述GSM超出本文范围。先前曾提到，GSM相对较新，而由于缺乏可用的树模型，以前调查与神经生理学相关的音乐构成法处理的研究至今还只是简单地利用经典和声理论，把它当作一种构成法规则系统：按照经典和声理论，和弦功能是根据确定的规则在和声序列里安排的。如上所述，这种根据规则的安排意味着长距离依赖性涉及等级组织（也涉及如乐句结构的法则）。然而，不能排除下述情况，“不规范” 和弦功能，例如图2B里的最后上主音被察觉为不规范是根据一个有限状态的法则（按照其主音是一个Ⅰ-Ⅳ-Ⅱ-Ⅴ的序进之后最规范的和弦）；以下将说明，处理这样的和弦功能须假设它涉及有限状态和乐句结构法则的处理。

 

5．2    音乐构成法处理的相关神经机制

运用EEG和MEG的神经生理学研究工作表明，音乐构成法上不规范的和弦功能会引出负极性脑电位，它在一个不规范和弦出现约150-350毫秒之后达到最大，具有一个前额/额-颞头皮分布，并经常是右脑半球起重要作用。在等时、重复刺激实验里，这种效应在大约150-200毫秒达到最大，遍及右脑前部电极，被表示为早右前负电位（ERAN）。在某些实验里，一个序列里不规范和弦的位置并不知道（因此不可预测），其负电位经常有更长的潜伏期，以及一个额外的前颞分布（也被称作右前颞负电位RATN）。由旋律的不规范乐音引出的ERAN的一个峰值潜伏期比由不规范和弦引出的ERAN的更短。

采用和弦序列和旋律的功能性神经成像研究结果提示，音乐构成法处理涉及额下回（对应于BA44）的盖部双侧，但具有右脑半球优势。音乐构成法处理牵涉（下）BA44好象是由（构成法）讯息的等级处理造成的：Broca区的这部分涉及语言句法的等级处理，动作系列的等级处理，也可能涉及数学公式和术语的逐级有条理的处理（虽然后一个研究的激活不能清楚地指定BA44或BA45）。这些发现提示，至少某些音乐构成法和语言句法处理的认知操作（和调控这些操作的各种神经元）重叠，并分配到行动，数学公式的构成法处理上，而其它以长距离依赖性为基础的结构涉及等级组织（乐句结构法则）。

然而，下BA44似乎并不是涉及音乐构成法处理的唯一结构：附加结构包括盖部的上部，颞上回（STG）的前区，和腹侧前运动区（PMCv）。PMCv可能有助于根据有限状态法则处理音乐构成法讯息：各种关于听觉处理的功能性成像研究已经报告了PMCv的激活，这些听觉处理采用音乐刺激，语言刺激，听觉的新异刺激实验范例，音高辨别任务，顺序预测任务，并强调了，在结构讯息程序化，结构识别，序列讯息的预测过程中这些结构发挥重要的作用。关于语言方面，Friederici(2004)报告了在关于长距离等级处理和转变处理的功能性神经成像研究中，其激活焦点位于额下回（IFG）后部（论文报告的平均坐标位于下盖部），而关于局部结构违反的处理，功能性神经成像研究表明其激活焦点位于PMCv。此外，对损伤PMCv患者的研究表明，中止的是有限状态处理，而不是乐句结构法则处理。

上述实验采用和弦序列范例来调查和声结构的处理，其和弦功能的音乐构成法处理可能涉及有限状态和乐句结构法则的处理。音乐构成法分析涉及一个和弦功能和先前和弦功能（乐句结构法则）元素之间的计算。这种计算对于不规范和弦功能而言，比规范和弦功能的更困难（而且较少见）这种增加的困难被假定反映在（下）BA44区里对应于不规范和弦的激活。此外，从倒数第二到最后和弦的局部转变概率，对于属和弦到上主和弦的进行而言，比属和弦到主和弦进行（有限状态法则）的概率低，而且（较少预期）较低概率进行的计算被假设反映在一个更强的、对应于不规范和弦的PMCv激活里。BA44和PMCv两者更为强烈的激活似乎与感受到一个音乐构成法上不规范而又“意外的”和弦相关。

须注意，人类具有处理乐句结构法则的能力，而非人类灵长类动物似乎并不能精通这种法则。因而，很象是只有人类能够胜任处理乐句结构等级上的音乐构成法讯息。也值得注意的是，大量的研究已经表明，即使“非音乐家”（即，没有接受正规音乐训练的个人）也有高度复杂的（隐含的）关于音乐构成法的知识。日常生活的倾听体验假定要求具有这些知识。

 

5．3     语言句法处理和音乐构成法处理之间的相互作用

如上所述，对来自不同领域（如音乐和语言）的构成法讯息进行等级处理，要求来自位于BA44区的各级神经元大显神通。然而，仍然可能的情况是，尽管这些神经元位于同一个脑区，完全不同（无-重叠）的神经元在同一个脑区各自进行音乐和语言的处理。就是说，也许在BA44区里，斡旋语言句法处理的神经元不同于在同一个脑区斡旋音乐构成法处理的神经元。因此，揭示了音乐构成法处理和语言句法处理之间相互作用的实验提供了最有力的证据，证实音乐构成法处理和语言句法处理共享神经资源。在这些研究里，和弦序列与直观句子同时呈现。这些研究中的两个，利用EEG和3个不同的句子类型：第一类是一个句法正确的句子，其最后名词的出现在意义上是高度可能的。其它两类是第一个句型的转型：首先，一个句子在最后词（名词）这边和前形容词及该形容词之前的定冠词那边之间有一个性不一致；这种性不一致引出一个左脑前部负电位（LAN）。其次，一个句子的最后名词在意义上较少可能，如“填充测验法低概率”的词（也见以下音乐含义的小节）。每个序列由5个和弦组成（每个和弦连同一个词呈现）一个和弦序列的结束符合音乐构成法规范，而其它类的结束功能上不正确。

某两种研究表明，由不规范和弦引出的ERAN与由语言（词形-句法）不规范引出的LAN相互作用：当句法不规范的词与一个音乐构成法不规范的和弦同时呈现时，引出的LAN减小（与不规范词和规范和弦同时呈现时相比）。在Koelsch等人（2005b）的研究里进行了一项受控实验，其中相同的句子与几个序列的单音同时呈现。这些序列的单音终止于一个标准音或一个偏离的声频。由偏离声频引出的物理失配负电位（phMMN）并不与左前负电位（LAN）相互作用（与ERAN比较），表明听觉的新异刺激实验的处理（反映在phMMN里）并不消耗与构成法处理有关的资源。另外，Steinbeis和Koelsch(2008b)的研究也表明，当受试者处理一个句法错误的词时，ERAN的幅度减小。注意到，当言词句法上不一致时，ERAN并不受到影响，这表明ERAN和LAN之间的相互作用是专门用于句法处理的。

两个行为学研究和一个对患者的研究证实了这些EEG研究的发现。后一研究表明，Broca失语症的个人也表现出较差的音乐构成法处理，对应于发生在和声进行的走调和弦（注意所有患者都有失语症，但只有某些人有包括Broca区在内的一个损伤）。

注意到以下事实也很有趣，ERAN和早左脑前部负电位（ELAN，一个ERP成分，用来反映语言理解时对语句结构违反的处理）之间的相互作用有所暗示：在某个研究里，受试者被同时呈现口头语句和和弦序列。这样，该实验就与Koelsch等人的研究相似，除了（1）出现的语句是听觉上的，（2）该句法违反是语句结构违反（不是词形-句法违反），和（3）听者的注意力被引导到谈话或音乐上。在该研究里，出现发生在语句里的语句结构违反时引出的ERAN的波幅稍微较小（与语句正确时引出的相比）；然而这个效应并不明显。于是，一个不规范和弦功能（如反映在ERAN里）的音乐构成法处理似乎也与一个语句的语句结构处理相互作用，虽然这种相互作用与ERAN和LAN之间（即，和弦功能的音乐构成法处理与语言里词形-句法讯息之间）的相互作用相比，好象不那么明显。

总之，神经生理学研究指出，音乐构成法处理和语言句法处理占用重叠的资源（假定位于下额外侧皮层），某些实验显示ERP成分之间的相互作用反映音乐构成法处理和语言句法处理（特别是LAN和ERAN），这些实验提供的证据表明，上述资源构成音乐构成法处理和语言句法处理的基础。重要的是，这些相互作用是在缺乏LAN和MMN之间相互作用的情况下观测到的，这种情况就是，既缺乏语言句法和声频偏差的处理（反映在MMN），也缺乏ERAN和N400之间的相互作用（即，缺乏音乐构成法和语言意义处理）。因此，所报告的LAN和ERAN之间的相互作用是构成法专用的，并不能在任何各种不规范反应中观测到。

 

5．4     乐句范围的处理

当理解音乐或语言时，识别乐句范围有助于译解一个乐句的构成法（乐句）结构，以及一个句子（标志谈话句子里词组范围的音调和节奏特征是谈话韵律的一部分）的结构。当进行乐句范围的处理时，以及谈话时进行语调词组范围的处理时，乐句和词组范围的处理都反映在一个闭正频移（CPS）上。由Knosche等人（2005）进行的的第一个关于理解乐句范围的研究只调查音乐家，，随后的一个研究也报告了一个非音乐家的一个CPS（虽然其波幅显著小于在音乐家身上观测到的）后一研究也报告了更长休止以及更大范围乐音（它使乐句范围更突出）有更大波幅的CPS。某两个运用EEG和MEG的研究表明，这两种方法都能观测到CPS。在第3个研究里，中国和德国音乐家执行一个分类任务，分别演奏中国和西方音乐（两个研究小组都熟悉西方音乐，而只有中国小组熟悉中国音乐）。两个研究小组对各自类型的音乐都显示CPS反应（小组之间无明显差异）。这一系列研究表明了构成法处理的CPS反应，它们的结果是否正确还有待确认。在一个运用fMRI的研究里，Steinhauer等人（1999）采用了语句作为研究对象，其结果提示，对韵律方面的处理涉及（右）Rolandic盖的前运动区，位于颞平面的的（右）AC，以及前脑岛（或额盖部深处）和纹状体双侧。

处理谈话主要从句音调轮廓的研究也观测到一个非常相似的激活模式。同样，对音乐理解的功能性神经成像研究观测到类似的右脑半球优势的激活，处理谈话音调的研究也观测到一个右脑半球优势的（新皮层）激活。

 

6     结构再分析和修改

探索一个构成法异常的结构（或一个意料之外的构成法结构），可能要经过结构再分析和修改的步骤。这些处理反映在当作正电位的ERP上，其最大值约600-900毫秒（经常被称作P600，或后正成分，LPC）。

不规范乐音，以及不规范和弦能够引出P600/ LPC。情况似乎是，当个人倾听刺激性音乐时，P600/ LPC能够被单独引出，而且LPC与有意识地探索音乐结构不协调的过程部分联系。在某个实验里，需要察觉不协调的旋律结束，音乐家与“非音乐家”相比，其LPCs有一个更大的幅度和一个更短的潜伏期，假设原因是音乐家比非音乐家更熟悉那些旋律（这样，音乐家就能更容易地察觉到不规则事例）。而且，熟悉的旋律比新奇的旋律，以及非全音阶结束比全音阶结束，有一个更大波幅的LPC（假设原因是熟悉乐句的结束更容易察觉到）。对于不熟悉的旋律，其全音阶不协调终止并不引出一个LPC（假设原因是它们难于察觉到），而非全音阶不协调却能够引出一个LPC（受试者通过利用调性规则可以察觉到它们）。

值得注意，所有上述关于旋律的研究里，意想不到的乐音也引出一个早前额负ERP（出现在N1峰附近，即，刺激开始之后大约100毫秒）。这种ERP效应类似ERAN（或更专门地说，ERAN的一个早期成分），虽然假设它与随后的N2b部分重叠，N2b是由察觉到不规则或意想不到的乐音造成的。同样，当个人倾听刺激性音乐并察觉结构不协调时，承担察觉结构不规范性的较早过程（部分反映在ERAN）会迎来结构再分析的较后过程（反映在P600/ LPC）。还需要确定的是，P600/ LPC是否一个后P3，以及结构再分析和修改过程如何可能联系上资料更新。

采用语句和和弦序列，Patel等人（1998）比较了受试者理解 “构成法不一致” 的语言和音乐时引出的不同ERPs（和声不协和被当作法则不一致）。齐唱或齐奏乐段里的任务相关（目标）的和弦受到调控，所以各个目标要么在一个乐段的调里，要么走调（从调的“附近”或一个“距离”）。这两种音乐和语言的结构不一致引出P600/ LPC电位，它在后位达到最大而且统计上不能区别。此外，一个结构异常的程度（适度或高度）反映在被引出的正电位波幅上，因此，这些结果表明，当理解规则主导的序列时，P600反映出更广泛、基于认识论的结构（再）整合（和/或再分析）。音乐构成法和语言句法的（再）整合和修改过程之间的相交点被称作共享构成法整合资源假说（SSIRH），它说明音乐和语言依赖于共享的，有限的处理资源，由此激活可分离的构成法表示。SSIRH也指出，鉴于语言和音乐知识系统可以独立，用于在线结构整合的系统就可以由语言和音乐共享。可以引用该系统来把输入元素（语言的词汇和音乐的乐音/和弦）整合到发展中的结构（语言的各种句子，音乐的和声序列）。然而，除了SSIRH，以前论述音乐构成法处理的章节也显示出早期相互作用（在ERAN和LAN之间），表明处理音乐和语言构成法讯息的相交部分也包括下列层面：词形-句法处理，乐段-结构处理，和可能的词汇讯息。

 

7   音乐含义的处理

音乐是一种交际手段，倾听音乐时，其含义随（音乐）讯息的解释而呈现出来。先前说明的音乐含义可以总结为3种基本不同类型的、出自音乐讯息的意义：外-音乐意义，内-音乐意义，和音乐生成的意义。外-音乐意义指的是出自音乐外部世界参考资料的意义。这种意义由3个方面组成：由形象的，标志的和象征性的信号品质形成的音乐意义。

（1）     形象的音乐意义出自一般的模式或形式，如类似物体声音或物体品质的乐声模式。例如，有声的活动可能发出“暖”，“圆”，“锐利”，或“精彩”，而一个乐段可能发出，例如，“象一只鸟”，或“象一阵雷暴”。语言学上，这种信号品质也被称作拟声词的。

（2）  标志的音乐意义出自与活动有关的模式（如节拍和韵律），它指示心理状态的出现，例如一种情绪或一个意向。Juslin和Laukka（2003）在一个后分析里比较了音乐和谈话里表达情绪的声音信号，发现谈话里编码情绪表示的声音特性高度相似于音乐里编码这些表示的音乐特性。在意向方面，Steinbeis和Koelsch(2008c)的一项fMRI研究表明听众在倾听音乐时自动地参与社会认识活动，企图译解作曲家或演奏者的意向（表现为皮层的意识理论网络的激活）。那种研究也报告了后颞区的激活牵连到意义处理，假设原因是意向的译解具有意义品质。

Cross(2008)把这方面的音乐意义称为由两方面之间的关系形成的“激活结构”，一方面是个人的情感激活状态，另一方面是（具体形式）发声的结构的-声音的特征。

（3）象征性的音乐意义出自明确的（或常规的）外-音乐联想（例如，任何国歌）。注意到大多数词的意义归因于象征性意义。Cross和Morley(2008)认为这方面的音乐意义是“文化规定的”，强调音乐实践的象征性品质是由文化塑造的（同时塑造文化）。

 

音乐意义的扩展显著地超越了概念和（外-音乐）世界之间的关系，其中音乐意义也显露一个音乐元素与另一个音乐元素的关系，就是说，显露正式结构的内-音乐组合。Budd(1996)也使用术语“内-音乐”，其他理论家已经用术语“正式意义”，“正式含义”或“嵌入的意义”。这里描述了外-和内-音乐意义之间的区别，某些理论家也已经作了类似的描述。

音乐意义讯息的处理反映在（至少）两个负ERP成分：N400和N5。N400反映语言和音乐的意义处理，N5目前只观测到出现于音乐讯息的处理过程。下面我将提出证据来说明，在处理音乐意义方面，N400反映外-音乐意义的处理，而N5反映内-音乐意义的处理。

在意义启动的范例里，N400一直被用来调查音乐意义（或“音乐的含义”）的处理。在一个初步研究里，句子和音乐节录作为启动刺激的手段。启动刺激在意义上与跟随它的一个目标词有关或无关。例如，“那个凝视迷失在远方” 启动这个词“广阔”（意义上有关的），而不是这个词“狭窄”（意义上无关的）。与此类似，某些乐段，例如出自莫扎特的一部交响曲，启动这个词“天使”，而不是这个词“流氓”。

在语言情形，（即，当目标词跟随出现的句子），无关的词引出一个清楚的N400效应（这是一个经典的意义启动效应）。当目标词跟随音乐节录时也观察到这种意义启动效应。就是说，与一个先前音乐节录意义上无关的目标词也会引出一个清楚的N400。语言情形（其中目标词跟随句子）和音乐情形（其中目标词跟随音乐节录）的N400效应并不相异，既不关系到波幅也不关系到潜伏期或头皮分布。某个源分析定位于N400效应的主要信号源，在上述两种情形下，发生在颞中回的后部双侧（BA21/37），接近颞上回。这些脑区一直牵涉到语言处理时的意义讯息处理。

音乐情形下的N400效应证实音乐讯息对词的意义处理会有一个系统性的影响。语言情形和音乐情形的N400效应并不相异，表明音乐和语言启动的讯息对词的意义处理会有一个相同的作用。就是说，有关资料证实音乐能够激发意义概念的表示（于是，音乐能够传递的意义讯息大大超过先前认为的），而且倾听音乐时译解意义讯息的认知操作能够等同于那些理解语言时充当意义处理的操作。对于抽象词和具体词都观测到N400效应，表明音乐能够传达抽象的和具体的意义讯息。而且，当启动词和目标词的情绪关系平衡时也观测到这种效应，说明音乐并不仅仅传递情绪讯息。

音乐讯息携带的意义归因于（1）形象信号品质，即，一般的模式或形式，（如接连的音级提供词的阶梯）；（2）标志信号品质，如某种情感的联想，它是由代表那种情感（例如，萨克斯管发出象嘲笑声的乐音）的类似节拍和韵律造成的；或（3）象征性信号品质，它是由明晰的外-音乐关联推导出来的意义（例如，教堂圣咏启动的奉献词）。遗憾的是，这些音乐讯息的N400反应之间是否有差异的研究还未调查清楚（至今，还没有后续研究对此展开调查）。然而，上述结果仍然能使我们得出结论，外-音乐意义的处理与N400效应有关。

由于音乐节录的长度（约10秒），音乐信息并不能够用作目标刺激，于是只有词被用作目标刺激（而N400仅被词引出，不是被音乐讯息引出）。从而，那种研究就会碰到一个问题：音乐讯息是否也能够引出N400反应。某个研究谈到了这个问题,它采用某些短的音乐节录(时程约1秒),能够被当作启动源(结合词目标)或目标词(结合词启动源)。图7显示，当音乐节录被当作启动词时，意义无关的目标词引出N400（比较有关的目标词）。重要的是，当音乐节录被当作目标刺激时（而词被当作启动源），观测到对应于该节录的一个N400，而受试者认为该节录的意义与先前的目标词无关（比较与先前的目标词有关的节录）。这是第一个关于音乐讯息也能引出N400反应的证据。注意到音乐节录是为实验组织的，因此受试者并不知道。因此，音乐意义并不归因于象征性意义，而应归因于标志的（如“快乐”）和形象的（如“明亮”）意义。某个研究采用资料分析法，启动-目标对的相关性基于受试者的相关判断。另一篇论文里作者指出，甚至资料分析基于受试者预先定义的启动-目标对的无关/相关性，还是引出一个明显的N400（后一研究采用一个词法判断任务，而前一个研究要求受试者识别启动源和目标词的概念相关性）。另外的研究仅利用单个和弦或单个乐音来调查音乐意义的处理。这些研究表明，甚至单个和弦或单个乐音也能启动词的意义（对于音乐家和非音乐家），而且甚至某些和弦（对于音乐家）和某些乐音（对于非音乐家并因此假设也对于音乐家）能够引出N400效应。

 

内-音乐意义和N5

以上章节处理N400和外-音乐意义。然而，音乐意义也能够从内-音乐关联中显露出来，就是说，来自一个音乐元素与至少另一个音乐元素的关联（例如，一个G大调和弦通常被领会为G大调的主音，C大调的属音，和-在它的第一转位-可能被领会为F＃小调的那不勒斯（Neapolitan）六和弦）。本节将评述这个假说的实验上的证据，并描述一个内-音乐意义处理的电生理相关现象（所谓的N5或N500）。在利用具有音乐构成法上规则与不规则和弦功能的和弦序列范例的实验报告里首先描述了N5，其中ERAN通常跟随一个后负电位，即N5。N5被提议反映出和声整合处理，类似于N400反映出词义整合处理，因此，N5被提议关系到音乐意义或音乐含义的处理，虽然音乐意义的类型还不清楚。

这个建议的一个理由是，N5和N400显著相似：首先，类似于由那些开放型词语引出的N400，它朝句子结束的方向下降，N5的波幅（由规范和弦引出）朝和弦序列结束的方向下降。就是说，语句处理时，一个语义正确的最后开放型词通常引出一个相当小的N400，而先于这个词的那些开放型词语引出较大的N400电位。这是由于这些词的语义预期，在语句开始时相当不确定，而朝着句子结束（此时人们早有一个基于直觉的想法，实际上最后会是什么词）的方向变得越来越确定。于是，句子结束时要求有更少量的语义整合，由一个较小的N400反映出来。如果最后的词是语义上未预期的，那么就要求大量的语义学处理，它反映在一个较大波幅的N400上。与此相似，N5并不只是由不规范和弦，而且也由规范和弦引出，而N5的波幅随和弦序列里每个和弦的进行而减小。由一个和弦序列（预期的）最后的和弦引出的小N5被假设为，它反映了在和弦序列的这个位置只要求少量的和声整合。

其次，在一个和弦序列（或一个句子）的同一个位置，其N5（或N400）的调控取决于对先前和声(或语义)内容的适合度.大量的研究已经表明,不规范和弦和旋律的不规范乐音诱发的N5电位比规范的更大.如上所述,ERAN关系到构成法处理。另外,Steinbeis和Koelsch（2008b）的实验也表明，N5反映意义信息的处理：在那个研究里，N5与由具填充测验法低语义概率的词引出的N400相互作用。当N5由语义上较小可能的词（他看生啤）引出时，与由语义上高度可能的词（他喝生啤）引出的相比，其波幅较小。重要的是，N5并不与LAN相互作用（即，N5并不与词的句法处理相互作用），显示N5并不简单地受到任何类型的偏离或不协调的调控，而是受到构成语义讯息处理基础的神经机制的调控。就是说，N5电位能够由语义处理来调控，也就是由激发某些词的词典表示来调控，这些词对先前的内容有不同的适合度。这种调控显示N5关系到意义的处理。注意到一个和声序列里各和弦功能之间的协和关系是一种内-音乐关系（即，一个音乐元素与另一个音乐元素的关系，而不是与属于外-音乐世界的任何事物的关系）。因此，我们有理由相信N5反映内-音乐意义的处理。

产生N5的各级神经元仍然难以捉摸。这部分是由于在大多数实验里N5跟随ERAN，分辩起来有困难，运用功能性磁共振成像的实验难以区别N5和ERAN的相关神经元。N5通常有一个清楚的前额头皮分布，于是N5的头皮分布比N400更靠前，提示至少部分不同的神经元相关。也许N5源自颞叶（或许与BAs21/37里那些产生N400的神经元重叠）和额叶（可能是下额回的后部）的综合神经元。这需要确定，例如在某个研究里运用EEG源定位技术，作了受试者听觉N4和听觉N5的比较。

第3类音乐意义（音乐生成意义）出自个人对音乐讯息的反应，特别是乐章，情感反应和自相关记忆联想的讯息。这方面的音乐意义，以及关于外-和内-音乐方面的音乐意义的细节在作者的另一篇论文里有更详细的讨论。

 

8   人体对音乐的反应

音乐知觉的现有模型也利用某个人的潜力“直观化”来说明：直观化需要自主神经系统的活动（即，交感神经和副交感神经活动的调控）以及音乐和非音乐讯息的认知整合。非音乐讯息的构成是由音乐诱发的联想，以及情绪（如，幸福的）和人体反应（如，紧张的或缓和的）。主观感受要求有意识的觉醒，因此假定它涉及多模态联络皮层，例如BA7区里的顶叶联络区（此处，音乐感受可能变得有意识）。关于音乐知觉对自主神经系统活动的作用，对它的调查主要是测量电极皮肤的活性和心率，以及所报告的“发抖”和“冷颤”的次数和紧张度。

接着，直观化处理能够对免疫系统里的处理产生影响。音乐处理对免疫系统的作用已经通过测量各种（唾液的）免疫球蛋白A的凝集进行了评估。有趣的是，对免疫系统的作用已经被认为联系到与运动神经有关的活动，如唱歌或跳舞。在音乐知觉方面，重要的是要注意，后期知觉的神经活动与早期行动相关的那些神经活动（例如关系到行动计划的前运动神经功能）之间可能有重叠。

音乐知觉可能干涉音乐家的行动计划，而在各种感受音乐的情况下，前运动神经活动可以被观测到，这些情况是（1）钢琴家倾听钢琴作品，（2）非音乐家倾听歌曲，（3）非音乐家接受1星期的钢琴训练并倾听训练的钢琴旋律。对于神经科学研究相关的音乐作品，请参见有关文献。

音乐知觉引导的活动，其表现方式如跳舞，唱歌，轻敲，蹦跳，摇摆，点头等，与音乐一道，是一种很普通的体验；这些活动也具有社会功能，因为不同个人的同步动作代表协调的社会活动。值得注意，人类有需要参与社会活动；这些有益活动的情绪效应包括嬉戏，欢欣，和幸福感，而与这些有益活动隔绝意味着情绪紧张，并对健康有害。人类进行音乐演奏或演唱是一项涉及某些社会功能的活动，最近被总结为“7C”（Koelsch，2010）：（1）当我们进行音乐活动时，我们接触（contact）到其他人（避免社会孤立）。（2）音乐自动诱发社会认识(cognition)。（3）音乐引起同感(co-pathy),前提是个人之间情感状态变得更加同一（例如，减少某个人的愤怒，并缓和其他人的抑郁或焦急），由此促进人与人之间的理解并减少冲突。（4）音乐涉及交际（communication）（特别是，对幼儿和小孩来说，当父母和孩子们唱起催眠曲和游戏歌时，音乐交际不仅对社会稳定和情感调节方面很重要，对社会发展，情感培养和认知能力开发方面也很重要）。（5）音乐活动也涉及动作的协调（coordination）（要求对额外的节拍能够同步行动）。一群人的协调行动似乎与愉快有关（例如，当共同跳舞时），即使缺乏一个明确的共享目标（除了从一致的行动中获得愉快）也是如此。（6）音乐演奏或演唱也要求合作（cooperation）（涉及一个共享目标，从而增加人与人之间的信任）；值得注意的是，从事合作项目是一个重要的、潜在的愉快之源。（7）作为一种作用，音乐导致增加一群人的社会凝聚力（cohesion），使“归属的需要”得以满足，并实现形成和维持人际辅助的愿望。社会凝聚力也强化相互照顾的信任，并增强下述信心，和其他人一起发挥社会作用的机会将在未来出现。音乐似乎能够同时引出所有的“7C”，它被假设为部分的音乐情感能力。音乐活动中这些进化上有益的社会作用代表一个出发点，由此说明人类从事音乐活动的进化史。

音乐知觉诱导的行动有神经脉冲随同，它们位于网状组织（在脑干里，例如，有欢乐的刺激时，释放能量以便运动）。情况很象是，这些联系也存在于听觉脑干的网状组织和结构之间（也存在于网状组织和AC之间），从而网状组织的神经活动也因此影响到（新）到来的声音讯息的处理。

 

9    音乐知觉和记忆

图1里呈现的各个模块涉及各种记忆功能。例如，听觉传感记忆（以及格式塔形成）与工作记忆（WM，即短期记忆）和长期记忆有关。为了规范构成法，结构建立需要WM和长期存储的资料，而意义讯息的处理被假定联系到一部智力“词典”（包含概念-语义知识），也需要一部音乐“词典”，它包含有关音色、旋律轮廓、乐句、和音乐作品的知识。然而，关于不同模块和不同记忆功能之间的相互联系的细节目前还有待确定。

神经成像研究提示，在非音乐家身上，口语WM的语言学环路和WM对于调高的“调性环路”强烈重叠，涉及PMCv（侵入Broca区），背侧前运动区，颞平面，下顶叶，前脑岛，亚皮层结构（基底神经节和丘脑），以及小脑。Schulze等人（2011b）的一个研究表明，比照非音乐家，音乐家仅在发口语（右脑岛皮层）或仅有调性WM（右苍白球，右尾状核和左小脑）时才使用WM的特定神经亚成分，这些结果揭示在音乐家身上存在两种WM系统：一个语言学环路支持详述语言讯息，和一个调性环路支持详述调性讯息。须注意，对调性WM而言，非音乐家和音乐家之间的差异（和音乐家身上口语的及调性的WM之间的差异），主要关系到涉及控制、定程序、和行动规划的神经结构，由此假定它反映了口语和调性讯息中与行动有关的感觉运动的编码。就是说，口语和调性WM强烈依赖于与行动有关的编码（而在这方面，感觉运动的编码形成一个认知的基础）。

有关音乐长期记忆的知识仍然相当有限。功能性神经成像资料提示，音乐意义记忆的存取涉及（左）颞中回，而音乐意义的表示（即，部分音乐“词典”）存储于（左）下颞区。另外，Watanabe等人（2008）报告音乐讯息的恢复涉及海马组织和额下回。这些领域里进一步的探索需要从图1所描述的模块操作中区分出记忆操作；重要的是心中牢记，特别在功能成像实验里，两种类型的操作通常一同发生。

 

10     音乐和语言

以上章节提出一些例子来说明认知处理（及其相关神经机制）构成音乐处理和（口头）语言处理的基础。译解音乐和言语讯息要求对来自声音讯息的频谱和时程特征进行细致分析。听觉特征提取这一节描述了音色和音素的声音等价性，于是，识别语言里“各个音素”被假定等同于识别音乐里“各种音色”。然而，与音乐相比，理解语言时，音素讯息的分节要求有一个更高的分辨率（因为音乐的音色讯息通常并不象语言的音素讯息那样迅速变化）。这就可能导致，理解语言时处理音素的分节左脑半球有优势，而频谱讯息（如言语韵律和音乐旋律的旋律讯息）的分节涉及右AC的程度比左AC的更大。

音乐和言语这两者适当的处理也需要听觉传感记忆，和听觉声像分析/听觉音流分离模块的参与，特别是在噪音环境（这比语言或音乐知觉实验特设的宁静听觉环境更普遍）。识别和弦（例如，一个和弦是大调还是小调，它是出现在根音位置还是转位位置）的斡旋处理也许类似于那些识别词形的根本处理（由于语词有语干或词根，而和弦有符干和根音，从中出现不同的转型）；然而，这仍然有待确认。

音乐构成法处理这一节提出证据来说明在下述等级上音乐和语言构成法讯息的处理之间存在相互作用，这些等级是，词形-句法处理，乐句-结构处理，还可能有词类讯息处理（参见ERAN和LAN之间相互作用的证据，以及ERAN和ELAN之间相互作用的暂定证据）。除了这些音乐和语言构成法处理的早期相互作用外，晚期构成法整合似乎也共享了认知的和神经的资源。这些晚期的共享资源的概念也被称为SSIRH 。

言语和音乐知觉都涉及前运动神经的编码，音乐和语言都产生影响心情的处理：在语言方面，影响心情的韵律和语词中的内容，对它们的理解会引出情绪反应；至于音乐诱发的情感，其相关的神经机制，其他论文已有评述。

最后，本文说明交际的意义并不专门属于语言领域，音乐也能传达有意义的讯息：对音乐讯息的外-音乐信号品质的解释能够启动有意义概念的表达，出现这种启动可能源于不同的认知等级（例如，源于听觉特征提取，或源于时程的一个更细致的分析）。而且，结构关系产生内-音乐意义（被认为反映在N500上）。

对应于这些共享过程，音乐或语言感受过程中引出的ERP成分（及其产生的神经机制）之间存在大量的类似，重叠，和相互作用：音乐和言语讯息的处理诱发（1）FFRs源于听觉脑干，（2） P1,N1,和P2电位源于AC，（3）MMN电位源于颞叶和额叶皮层区，（4）早期构成法处理的电位，它们之间相互作用（ERAN/LAN），并接受来自（下）盖部（BA 44i）的作用，（5）构成法（再）整合/再分析和修改的电位（P600），和（6）反映构成法处理的N400效应（可能源于后颞叶和下额叶皮层）。

这些重叠和共享的认知/神经处理需要更加整体化的模型来综合认知处理，使之构成音乐和语言知觉的基础，以便形成一个通用的理论框架。例如，现有模型（图1）与Friederici(2002)的语言知觉模型相比，表明有某些类似，诸如“特征提取”/“初步语音分析”，“时值分析（和弦，旋律，时程）”/“词形识别”，“句法结构建立”（两种模型），“再分析和修改” （两种模型），或者“意义”/“语义关系”。附加的重叠包括口语和调性讯息的WM（如上节所述），以及言语和音乐的节奏处理（不包含在本文里）。

音乐和语言重叠的解释也表明“语言”和“音乐”是同一领域的不同方面，或是一个堪称连续体的两极，而不是两个严格分离的领域（我认为这个连续体是“音乐-语言-连续体）。Diana Deutsch描述了口语有节奏、旋律、和音色，以及从谈话迷惑人地变形为唱歌，这些现象表明人类能够接受口语和歌曲（虽然日常生活中某些人经常没有意识到这点）。一旦某个人强调他/她的发言，其言语变得更象歌声，并具有许多艺术形式，例如说唱乐或吟诵调，就亦唱亦说。另外，正如本文所述，音乐经常按照一种构成法系统来组织，倾听音乐时，意义源于音乐讯息的诠释。因此，音乐和语言之间任何明确的区别（从而语言和音乐的任何成对分离的定义）好象是不适当的，或不完整的，甚至是相当做作的思维产物。

如上已述，即使没有经过正式音乐训练的个人也表现出复杂的能力来译解音乐讯息，来获得有关音乐构成法的知识，并按照这种知识来处理音乐讯息，从而理解音乐。这个发现支持下述想法，音乐能力是一种人类大脑天赋的能力。这种音乐能力对于语言的接受和处理是重要的：婴儿部分通过不同类型的韵律信号获得语词和语句范围的讯息（还可能有词义）。而且，调性语言依赖于一个音高讯息的细心译解，调性和非调性语言两者都需要言语韵律的精确分析来译解言语的结构和意义。说明成人和孩子处理音乐和语言的重叠和共享的神经机制里已评述的发现证实了下述假设：音乐和言语之间存在一个密切联系。。这些发现提示，人类大脑，特别是处于早期，并不把语言和音乐看作严格分离的领域，而是把语言看作一种特殊的音乐。

 

译自：“Toward a neural basis of music perception-a review and updated model”.Fronters in Psychology.(09 June 2011)        省略图形,多数注释及有关文献

2012-6-14