单细胞基础模型中间层表征优势与任务优化策略

2026/6/24 19:54:04

1. 单细胞基础模型中的中间层表征现象

在单细胞转录组数据分析领域，深度学习模型已经展现出强大的表征学习能力。与自然语言处理和计算机视觉领域类似，这些模型通过多层Transformer架构逐步提取和整合特征。然而，一个有趣的现象正在引起研究者关注：中间层（而非最终层）的表征往往在某些生物信息学任务中表现出更优的性能。

这种现象背后的机制可以类比为信息处理的金字塔模型。浅层网络通常捕获基础特征（如基因表达水平），中层网络整合这些特征形成有生物学意义的模式（如细胞状态或通路活性），而深层网络则可能过度专注于预训练任务特定的特征。在scFoundation（1亿参数）和Tahoe-X1（13亿参数）两个典型单细胞基础模型中，这种层级特征分化表现得尤为明显。

关键发现：在人类造血细胞分化轨迹推断任务中，Tahoe-X1模型在60%深度处（第16层）获得的表征性能比最终层高出31%。这种"中间层优势"在不同规模模型间具有一致性，表明这不是偶然现象。

2. 任务依赖性的层选择策略

2.1 轨迹推断任务的最佳层选择

轨迹推断旨在重建细胞分化或状态转变的连续过程。我们的实验使用了LARRY技术标记的人类脐带血单细胞RNA测序数据，其中包含克隆解析的真实时间信息。评估指标采用扩散伪时间（DPT）与真实时间的Spearman相关性。

结果显示：

Tahoe-X1的最佳表现层为第16层（总24层），相关性ρ=0.76
scFoundation的最佳表现层为第11层（总12层），相关性ρ=0.59
两模型在浅层（<30%深度）表现均较差（ρ<0.3），表明早期层主要处理技术噪声

这种模式提示我们，轨迹推断需要既不过于抽象（如最终层）也不过于具体（如浅层）的特征表示。中层网络恰好平衡了基因表达的局部变化与全局发育模式。

2.2 扰动响应预测的上下文依赖性

与轨迹推断不同，基因扰动效应预测表现出强烈的上下文依赖性。我们在CRISPRi perturb-seq数据集（2200万细胞，12,748个基因扰动）上观察到：

细胞状态	Tahoe-X1最优层	深度百分比	性能提升
静息状态	第1层	0%	+11%
激活8小时	第4层	13%	+19%
激活48小时	第23层	96%	+28%

特别值得注意的是，静息T细胞中第一层的表现超越了所有深层网络。这可能因为静息细胞的扰动响应更直接反映在基因表达量变化上，不需要复杂的特征整合。

3. 模型架构对层表征的影响

3.1 模型规模效应

对比100M参数的scFoundation与1.3B参数的Tahoe-X1，我们发现：

轨迹任务：大模型优势明显（性能差距27%），且最优层位置稳定在60%深度
扰动任务：模型规模影响较小（差距8-12%），但层选择策略差异显著

这表明模型规模对需要复杂特征整合的任务（如轨迹推断）更为重要，而对直接效应预测任务，适当深度的中型模型可能已经足够。

3.2 架构设计考量

scFoundation采用非对称编码器-解码器设计，具有以下特点：

仅处理表达基因的标准Transformer
使用Performer模块进行全序列重建
层间梯度更平滑，性能随深度缓慢提升

Tahoe-X1则采用标准Transformer编码器：

带掩码的表达预测目标
双通道（基因/细胞感知）解码器
表现出更明显的层间性能波动

4. 实践建议与实现细节

4.1 层选择工作流程

基于我们的发现，建议采用以下流程选择最佳特征层：

任务定义：明确是轨迹分析还是扰动响应预测
上下文评估：对于扰动任务，确定细胞状态（静息/激活）
层扫描：计算各层在验证集上的性能指标
稳定测试：检查最优层在不同数据子集的鲁棒性

# 示例代码：层性能评估框架 def evaluate_layers(model, dataset, metric_func): layer_perf = {} for layer in model.encoder_layers: embeddings = model.get_layer_embeddings(layer) score = metric_func(embeddings, dataset.labels) layer_perf[layer] = score return pd.DataFrame(layer_perf.items(), columns=['layer','score'])