1. 视听整合
不同感觉通道的信息传入后如何被大脑进行加工、整合、推断是我们所关注的问题。具体来说，我们关心：1）视听信息在大脑的哪里、何时发生整合；2）大脑如何对视听进行整合；3）视听信息整合过程如何根据内部和外部情景而灵活调整的。
1. 采用MEG记录经典视听认知任务（如腹语术效应）过程中的神经活动，结合MVPA等分析方法，我们能够解码出视听信息在时间和空间层级上整合的动态过程，并试图揭示可能存在的视听信息整合网络及该网络在时间和空间上的结构，以问答第一个问题。
2. 结合层级贝叶斯模型，将被试如何推断视听信息是否来自于同一源头，我们能够有效地模拟行为层面的视听信息整合的结果，同时在EEG和MEG记录的神经活动中寻找对应的推断与整合过程的神经证据，我们试图从行为和神经活动两个层面来探索和验证具体的大脑视听信息整合机制。另外，采用TMS的技术对大脑进行人为干扰，我们能够进一步探索不同脑区在整合过程中的具体职责和功能连接。
3. 最后，大量证据表明，视听信息的整合的结果是多样的，既可能提高当前任务的表现，也可能造成错觉、损害任务表现。视听信息整合的机制也是多样的，视听信息既可以通过初级感觉皮层的之间的神经纤维连接进行交互，也可以彼此独立加工后进入负责高级认知和决策的前额叶区域进行整合，也可以在认知加工的中间层级进行整合。视听信息在特定情景下究竟如何整合、视听整合会产生什么样的结果，同时取决于内部和外部的情景。内部情景包括个体接收视听信息时的大脑状态，如大脑的兴奋水平、主要负责视听整合的对应大脑区域的自发神经振荡的同步程度、注意和期望的分配、短期或长期的视听刺激经验等，也包括个体自身的特异性，如视听信息匹配的个体差异、视听信息整合倾向的个体差异等。外部情景包括视听信息的呈现方式、视听信息的特征以及可靠性、目标任务、过去刺激的呈现方式等。通过不同的行为范式，结合MEG对神经活动进行测量，并可以采用TMS或tDCS的技术对个体的大脑状态进行人为干扰，我们能够考察不同情景下视听信息的不同整合机制和效用，探索视听信息整合的可塑性。
2. 嗅觉与多通道整合
嗅觉，作为一种古老的感知觉，它在日常生活中影响人们对食物的摄取、提供对危险的警示信号、促进社会交流（Stevenson, 2010）。先前有部分研究报告成功地完成嗅觉空间定位任务（Kobal & Hummel, 1992; Porter et al., 2005），然而更多的证据显示嗅觉不同于其他感知觉（如视觉、听觉），人们无法进行单鼻孔纯嗅剂刺激的定位（Kobal et al., 1989; Frasnelli et al., 2010; Kleemann et al., 2009）。尽管对于纯嗅剂的外显定位任务很难执行，但人们似乎以一种内隐的方式来定位嗅觉信息。Wu (2020)提出，对双鼻施加不同浓度的纯嗅剂刺激可以使人们感知到的视觉光点流的模式发生偏移(源点区域偏向高浓度侧)。此外，嗅觉作为一种化学感觉，可能与其他感知觉有相似和独特的模式。有证据表明，来自一个模态的一致性感觉输入通常会促进来自另一个模态的信息感知。纯嗅剂的启动被证实能够缩短完成与效价相关的视觉任务的反应时间（Seubert et al., 2010）以及加快听觉声音的定位（La Buissonnière-Ariza et al., 2012）。研究发现，视觉听觉在时间和空间上存在整合现象，例如视觉线索可能会影响人们对声音的空间位置判断，使结果向视觉干扰物的方向发生偏移；听觉信号可以在时间维度上使感知到的视觉信号向听觉信号时间点发生偏移，这就是视-听觉的空间、时间腹语术效应(Chen & Vrooman, 2013)。上述提到，双鼻嗅觉浓度差可以使视觉定位发生偏移（Wu et al., 2020），那么类似的，嗅觉信息是否能与听觉信息发生整合，从而影响人们听觉信号的定位判断？为了回答这个问题，我们采取腹语术效应范式（即嗅-听空间腹语术），首先考察针对不同种类的嗅觉刺激（纯嗅剂、嗅-三叉神经混合嗅剂），人们是否可以做到外显的左右鼻定位，之后探究这些嗅觉刺激是否可以以一种内隐的方式来整合听觉信息，从而影响人们对听觉信号的方向定位判断，之后利用fMRI技术来探究其中的神经整合所涉及的脑区以及可能的机制。
3. 视觉和触觉数量感知
数量信息指的是一个场景或者集合中的刺激总数。个体需要对来自不同通道的对象进行处理从而提取出抽象的数量信息。本研究在人类被试上探究跨通道（视觉和触觉）的数量信息整合的编码原理，定位对数量信息整合具有因果贡献的脑区，并解码数量信息整合的精确时间进程。研究范式主要借助视觉和触觉的非符号数量枚举范式，研究工具包括人类心理物理学方法、脑电以及功能性磁共振成像解码技术。预期顶内沟（IPS）和外侧前额叶（LPFC）对人类跨通道数量信息的加工具有因果贡献。前额叶与后顶叶皮层是经典的联结脑区，具有接受高度加工的多模式输入的能力且不受空间分布的限制，从而能支持在不同感觉通道以不同形式呈现的数量概念。同时这两个脑区与输出的前运动区域连接因此对于执行功能至关重要。同时我们预期IPS和LPFC以层级结构进行功能链接和表征，即跨通道数量信息的整合开始于IPS结束于LPFC。LPFC接收来自IPS处理后的信息，最终完成跨通道的数量表征过程。在时间进程的探究中，将刺激呈现的时刻作为解码起点，根据fMRI实验定位的脑区，预计EEG数据早期分类正确率低于随机水平，从200 ms左右开始分类正确率高于随机水平（基于N2pc和N140cc的结果）。
4. 视觉和触觉时空信息加工
在现实中，人们虽然主要通过视觉和听觉通道获取信息，现有的多通道感知觉研究中，视-听觉通道的研究也居多，相关的模型和认知神经机制也比较完善。但是，随着虚拟现实技术、可穿戴式触觉设备等高新技术的发展，触觉通道作为一种辅助人们获取外界信息的渠道，越来越被人关注。因此，本研究拟从视-触觉的角度，通过EEG、fMRI、MEG等手段考察视-触觉时空加工的认知神经机制，探究关键脑区在加工时所起的作用，并通过贝叶斯模型等建模手段考察不同脑区之间的功能连接和因果联系，进而建立视-触觉时空加工的神经环路，相关技术可以指导新兴技术的发展，如人机交互界面、外骨骼、感官替代设备等。
错觉是人们在特定条件下产生的对客观事物的歪曲知觉，通过研究错觉现象，我们可以深入了解人们用来感知内部或者外部世界的认知过程的本质，并可以研究人们如何整合相应通道感觉信息的机制。本研究拟通过引发触觉错觉的实验范式，如tau效应、皮肤兔效应等，探索在出现触觉错觉时，视觉通道对触觉通道时空加工的影响，进而探索视-触觉时空加工的认知神经机制。
前人研究中发现很多脑区参与了对视-触觉刺激的加工，比如初级视觉皮层、初级体感皮层、DLPFC，IFG，V5/MT等。本研究假设在视-触觉时空信息加工时，不但在低级皮层，如初级视觉皮层、初级体感皮层存在功能连接，在高级皮层中，也存在对视-触觉时空信息加工的关键脑区，如DLPFC，IFG等，相关脑区之间也存在因果连接。而且，我们可以通过行为学和EEG、fMRI、MEG等成果，考察视-触觉通道的信息在不同层次的整合，两个通道的信息可能正向促进，负向抑制，或者两者信息之间互不影响。
5. 视觉和触觉客体识别
视觉和触觉可以共享客体几何形状的抽象表征，并且特定客体的视觉和触觉信息的有效整合能够提高客体识别能力（Stein and Stanford, 2008）。然而，成年人的大脑训练有素并经常通过视觉捕捉周围环境信息且以毫秒为单位识别客体。相比之下，即使触觉可能采用多触点并行加工，触觉探索往往是序列性地去识别物体（Riggs et al., 2006）。而多通道信息整合通常由主导通道提供最可靠的输入。但在两种通道都提供高度可靠的信息下，视觉和触觉在客体感知时仍然存在效率差异(Helbig and Ernst, 2007)。因此，触觉客体识别过程中，可以整合更多的视觉输入信息；反之，视觉客体识别不需要整合太多的触觉信息。所以，在物体识别的背景下视触觉之间的整合效果可能存在功能上的不对称性。
尽管一些神经成像的研究揭示了视触觉信息整合的一些脑区，如客体选择性的外侧枕叶皮层（LO），梭状回（FG）和顶内沟（IPS）的背侧区域（Lacey and Sathian, 2011; Kassuba et al 2014），然而，目前对于单个通道对视触信息整合的相对贡献的大小目前还不清楚。识别视觉和触觉通道对视触信息整合的不同贡献的一种可能性是使用延迟匹配样本范式，在时间上分离跨通道整合中的视觉或触觉输入的信息。本研究通过fMRI试图去分离视觉和触觉通道在视触信息整合中的相对贡献以及视觉皮层和体觉感受皮层和视触整合皮层之间的功能连接。
6. 视触整合和自我意识
视触整合是对视觉和触觉信息进行选择、联系、协调的加工过程，它需要神经系统不同功能区域的共同投入与相互联结协调，以实现视触信息的时间捆绑以及整体性的预测编码。视觉和触觉通道是如何相互协调以完成一系列复杂的手眼协调任务的，是本项目关注的核心问题。具体通过视觉的触觉增强范式和“橡胶手错觉”范式分别探究视觉和触觉通道间的相互作用及跨通道整合，揭示其视触整合的神经震荡相关物及功能层级联结，并进一步探索在自闭症患者中的视触训练应用。
首先，已有研究发现视觉信息对触觉通道的加工存在增强效应，即触觉加工的视觉增强，视觉对触觉的增强效应是通过增加初级感觉皮层的激活实现的。但是目前尚未清楚的是，视触觉相关脑区之间的功能联结情况。
第二，已有研究发现，视觉和触觉在时空同步的条件下可以导致自我意识发生改变，即“橡胶手错觉”。这个过程中涉及前运动皮层、枕顶区、内侧的顶叶、前部扣带回等脑区的激活，但是脑区间的层级联结及功能耦合情况还未可知。电生理研究发现前运动区、内顶叶皮层gamma节律的神经震荡与多感觉整合有关，但是，是否存在与视触整合相关的特异性节律震荡有待探究。
最后，自闭症患者的gamma神经震荡节律紊乱，其时间同步以及预测编码加工受到破坏，导致多感觉整合失调。已有研究发现视听同步训练可以提高个体的视听同步性，以此类推，视触整合的训练能否促进自闭症患者的视触整合，进一步改善其高级认知能力，并进一步提高其身体自我意识。