PEFT低成本适配大脑编码任务
推荐指数 67.0 NO. 026 · 2026.10.21
upvotes231comments2
简介
用低秩适配器（LoRA）对多模态大模型做参数高效微调，直接预测神经对刺激的反应，摆脱神经数据稀缺导致的从头训练困境。对脑机接口和神经AI团队来说，这是把LLM的PEFT方法论迁移到神经科学的关键验证。
媒体预览
编辑判断
这篇的核心 trick 是挖掘 backbone 的因果结构来做计算剪枝，不是直接套 LoRA 那么简单。之前 brain encoding 的主流做法是冻住预训练模型只训 readout 层，效果天花板明显；全量微调又因为神经数据太少根本训不动。
作者把 PEFT 拉进来，本质上是用视觉-语言模型的跨模态对齐能力来填补神经信号的语义 gap。如果这套方法能泛化到 fMRI 以外的电生理数据，脑机接口的模型迭代成本会大幅下降。
论文提到 exploit causal structure 但摘要截断了，建议直接看 method 部分确认剪枝策略的具体实现，这对想在端侧跑 brain encoding 的工程团队很关键。