多模態同步語言神經影像數據集發布

　　大腦在加工語言時，需要實時調動多個腦區的神經元進行協同工作。構建高時空分辨率的神經影像數據可以幫助我們更好地了解各個腦區以及腦區之間的協同合作，對于探索大腦的語言加工機制至關重要。當前已有的開源數據主要針對英文采集，只包括單一模態的神經影像數據，如高空間分辨率的功能核磁共振（fMRI）或高時間分辨率的腦磁圖（MEG），且多使用1小時以內的實驗材料，數據規模有限，無法借助數據需求量大的計算模型進行更全面、更深入的大腦語言加工機制探索。

　　中國科學院自動化研究所自然語言處理研究組歷時近兩年，采集處理完成了迄今為止國際上規模最大、包括信息最豐富的漢語同步多模態神經影像數據集，并于近日正式對外發布。相關研究成果發表在Scientific Data上。

　　該數據集是當前國際上最大規模的用于腦語言處理機制研究的多模態同步神經影像數據集，針對12個被試收聽約6個小時故事時的功能核磁共振（fMRI）、腦磁圖（MEG）、每個被試的T1/T2加權結構像、擴散磁共振成像（diffusion MRI）和靜息態核磁共振（resting MRI）數據采集整理而成，采集流程如圖1所示。為了便于利用計算模型進行腦語言處理機制的研究，所有故事材料都由人工標注了句法結構樹，計算了文本中每個詞匯對應的音頻時間點、詞頻以及多種不同字和詞匯的向量，如圖2所示。所有測試指標均超越或可比擬已有的同類數據集，具有充分的質量保證。

　　該數據集的公開發布可為全方位研究大腦在真實場景下理解詞匯、短語和句子時如何調動不同腦區以及不同腦區之間如何協同工作等科學問題提供重要支撐。該數據集覆蓋了近萬個漢語詞匯，這對于探討大腦理解漢語的認知機理具有重要意義，并將在探究自然語言計算模型與人腦語言處理機制之間的關系，以及如何利用神經影像數據提升現有語言計算模型的性能，從而構建新一代受腦啟發的神經語言模型等系列工作中發揮作用。