Meta最新开源了一款人脑活动基础模型：TRIBE v2，能预测人类在看到、听到、读到内容时的全脑活动，相当于给大脑建了一个数字镜像

可以用到神经科学模拟脑反应，助力实验设计；或者医疗，辅助脑部疾病的诊断和治疗

无需重新训练，即可预测新刺激、新任务和新受试者的脑反应，在听觉和视觉数据集上比标准方法提升了2-3倍

可对全脑70000个体素进行预测

预测结果比单个fMRI扫描更接近群体平均神经活动（消除了心跳、运动等噪音）

核心架构
1、三模态编码：利用预训练的音频、视频和文本嵌入，捕捉AI模型与人脑的共同特征

2、通用整合：Transformer处理这些嵌入，学习跨所有刺激、任务和个体的通用表征

3、脑区映射：将通用表征映射到个体fMRI体素（3D像素）

github：http://t.cn/AXIv7gB3
HF：http://t.cn/AXIv7gB1

#TRIBE v2##人脑活动模型##Meta最新模型# http://t.cn/AXIvzPWR