1. 项目概述当AI学会“看图识药”最近和几个做药物发现的朋友聊天大家不约而同地提到了同一个痛点虚拟筛选。这活儿听起来高大上用计算机从海量化合物库里快速找出可能对特定靶点蛋白有效的苗头化合物省时省力。但实际操作过的人都知道它更像是在一片信息的汪洋大海里用一张破网捞针。传统的基于分子对接的方法计算量巨大一个靶点筛一遍库等结果出来黄花菜都凉了而一些基于简单分子指纹的机器学习模型又常常陷入“见树不见林”的尴尬对蛋白质和分子之间那种微妙、复杂的相互作用模式捕捉能力有限。这让我想起了教孩子认东西。你拿一张苹果的图片蛋白质然后在一堆水果里化合物库找和它最配的那个。孩子一开始可能只认识颜色、形状但通过反复对比“苹果图”和“真苹果”、“香蕉”、“橘子”他逐渐学会了抓住“苹果”的本质特征——那种圆润的轮廓、特定的红绿渐变、甚至梗部的形态。DrugCLIP干的就是类似的事儿只不过它“学习”的对象是蛋白质和药物分子。它的核心思路是一种叫做对比表示学习的方法。简单说它不再费力地去精确计算蛋白质和分子怎么“锁”在一起像分子对接那样而是退一步海阔天空它把蛋白质和分子都转化成高维空间里的一个“点”即向量表示然后通过大量已知的、有效的蛋白-分子对作为正样本无效的作为负样本去训练模型让正样本对在这个空间里越靠越近负样本对越拉越远。这样一来模型就学会了为蛋白质和分子提取最能反映其相互作用潜力的“本质特征”。当面对一个新的靶点蛋白我们只需要计算它的表示向量然后去化合物库所有分子的表示向量里快速计算一下“距离”或“相似度”就能像用磁铁吸铁屑一样把最有可能结合的分子给“吸”出来。这个过程极大地加速了初筛环节把宝贵的湿实验资源留给真正有希望的候选分子。如果你正在为药物发现的早期阶段效率低下而头疼或者对如何将AI前沿技术落地到生物医药领域感兴趣那么理解DrugCLIP背后的逻辑和实现路径会是一个非常棒的起点。2. 核心思路拆解从“精确制导”到“模式识别”的范式转变要理解DrugCLIP的价值我们得先看看它要替代的传统方法面临什么困境。2.1 传统虚拟筛选的“不可能三角”在药物研发的语境下虚拟筛选的理想状态是快、准、省。但传统方法往往只能三者取其二甚至取其一。基于分子对接的物理模拟这算是“黄金标准”。它试图模拟分子像钥匙插入锁孔一样与蛋白质结合口袋相互作用的精确三维姿态和能量。优点是理论上最“准”能提供结合模式和亲和力的详细洞察。但缺点极其明显慢。计算一个蛋白-分子对的结合自由能可能需要几分钟到几小时面对动辄百万、千万级的化合物库所需的算力是天文数字。而且其准确性严重依赖力场参数的准确性和溶剂化模型对于柔性大的蛋白或分子误差可能很大。基于配体的相似性搜索如果已知某个活性分子配体就在库中寻找结构相似的分子。这种方法很快但前提是你得先有一个已知的活性分子作为“药引子”。对于全新的靶点即“First-in-class”药物靶点这招就不灵了。而且结构相似并不绝对等于功能相似容易错过骨架新颖的候选物。基于简单描述符的机器学习模型比如用分子的指纹比如ECFP4和蛋白质的序列组成氨基酸频率作为特征训练一个分类器如随机森林、SVM来预测是否结合。这种方法比对接快也比单纯配体搜索更普适。但问题在于“特征工程”。手工设计的分子指纹和蛋白质特征可能无法充分捕捉到决定结合的关键物理化学和空间拓扑信息模型性能容易遇到天花板。DrugCLIP的思路本质上是对第三个方向的深度革新。它不再依赖人工设计的、可能信息不全的特征而是让模型自己从原始数据蛋白质序列、分子SMILES字符串或图结构中学习最能预示其相互作用的“表示”。这个学习过程就是对比学习。2.2 对比学习让模型学会“分辨好坏”对比学习在计算机视觉领域已经大放异彩比如让模型学会区分猫和狗而不需要人工给每张图片的猫耳朵、狗鼻子打标签。它的核心哲学是通过拉近相似样本、推开不相似样本来学习数据的本质表示。在DrugCLIP的框架里这个逻辑被完美映射正样本对一个已知能与特定蛋白质结合的药物分子。这对组合是“好”的是应该被拉近的。负样本对从数据集中随机组合的蛋白质和分子通常假设它们不结合。这些是“坏”的是应该被推开的。模型有两个核心组件蛋白质编码器通常是一个基于Transformer的模型如ESM、ProtBERT输入蛋白质的氨基酸序列输出一个固定长度的向量比如1024维这个向量就是该蛋白质的“表示”。分子编码器可以基于SMILES字符串的Transformer也可以是基于分子图的图神经网络GNN。输入分子的结构信息输出一个同样维度的向量作为分子的“表示”。训练时我们取一个批次Batch的数据。对于批次中的每一对正样本蛋白i 分子i模型会计算它们的表示向量并计算一个相似度分数比如余弦相似度。同时这个蛋白i的表示会和批次中所有其他分子的表示计算相似度这些蛋白i 分子j, j≠i就构成了负样本对。损失函数如InfoNCE Loss会做这样一件事它鼓励正样本对的相似度分数尽可能高同时抑制蛋白i与所有负样本分子之间的相似度分数。你可以想象成一个“排行榜”正样本对要努力挤到榜首而负样本对要被打压下去。通过在海量已知的蛋白-分子相互作用数据上反复进行这种“对比”训练两个编码器就逐渐被调教出来了。它们提取出的蛋白质和分子表示天然就携带了“能否结合”的语义信息。相似的蛋白质功能或结构相似在表示空间里位置接近能与同一类蛋白质结合的分子它们的表示也会聚集在一起。注意这里“负样本”的构建是个技术活。完全随机的组合可能包含一些未知的、但实际上有相互作用的对这被称为“假阴性”会干扰模型学习。高级的负采样策略比如基于分子或蛋白的相似性进行“困难负样本”挖掘是提升模型性能的关键技巧之一。3. 核心模块实现与实操要点理解了核心思想我们来看看要亲手搭建一个DrugCLIP的简化版需要关注哪些核心模块和实操细节。这里我们不追求复现顶会论文的SOTA效果而是搭建一个可运行、可理解的原型。3.1 数据准备与预处理燃料的质量决定引擎的效能任何机器学习项目的基石都是数据。对于DrugCLIP我们需要一个高质量的蛋白-分子相互作用数据集。常用公开数据集BindingDB包含大量实验测定的蛋白质主要是药物靶点与小分子配体的结合亲和力数据Ki, Kd, IC50等。数据量大但需要清洗统一亲和力单位并设定阈值如Kd 10μM视为结合来构建二分类标签。ChEMBL另一个巨型的生物活性数据库。可以通过提取“单蛋白靶点-化合物”的活性数据来构建数据集。PDBbind提供蛋白质-配体复合物的三维结构及结合亲和力。数据更精确但数量相对较少。实操步骤与注意事项数据下载与清洗# 以BindingDB为例假设已下载CSV文件 import pandas as pd data pd.read_csv(BindingDB_All.tsv, sep\t, low_memoryFalse) # 关键列Target Name (蛋白), Ligand SMILES (分子), Kd (nM) (亲和力) # 清洗去除亲和力为空或无效的记录 data_clean data.dropna(subset[Kd (nM), Ligand SMILES]) # 统一单位并转换假设Kd 10000 nM (10μM) 视为结合 (label1) data_clean[Kd_nM] pd.to_numeric(data_clean[Kd (nM)], errorscoerce) data_clean data_clean.dropna(subset[Kd_nM]) data_clean[label] (data_clean[Kd_nM] 10000).astype(int) # 注意不同靶点的亲和力分布差异大更精细的做法是分靶点设定阈值或使用pKd。蛋白质序列处理BindingDB中的靶点名称可能对应UniProt ID或基因名。需要将其映射到唯一的UniProt ID然后从UniProt数据库获取标准的氨基酸序列。序列截断与填充蛋白质序列长度差异巨大。需要设定一个最大长度如1024或2048过长的截断过短的用特殊字符如pad填充。截断时优先保留活性口袋所在区域如果已知是高级技巧。氨基酸编码将序列中的每个氨基酸字符如‘A’ ‘R’转化为模型词表对应的索引ID。分子结构处理分子通常以SMILES字符串形式存储。我们需要决定分子编码器的输入形式。方案A基于SMILES的Transformer直接将SMILES作为字符串输入像处理文本一样。需要构建SMILES的专属词表包含原子、键、环等符号。方案B基于图的GNN使用RDKit等库将SMILES转化为分子图。图中节点是原子特征包括原子类型、电荷等边是化学键特征包括键类型等。这是目前更主流、更能捕捉空间信息的方式。from rdkit import Chem from rdkit.Chem import AllChem import torch from torch_geometric.data import Data def smiles_to_graph(smiles): mol Chem.MolFromSmiles(smiles) if mol is None: return None # 添加氢原子 mol Chem.AddHs(mol) # 获取原子特征这里简化为原子序数 atom_features [] for atom in mol.GetAtoms(): atom_features.append(atom.GetAtomicNum()) x torch.tensor(atom_features, dtypetorch.long).view(-1, 1) # 获取边索引连接关系 edge_index [] for bond in mol.GetBonds(): i bond.GetBeginAtomIdx() j bond.GetEndAtomIdx() edge_index.append([i, j]) edge_index.append([j, i]) # 无向图添加反向边 edge_index torch.tensor(edge_index, dtypetorch.long).t().contiguous() # 获取边特征这里简化为键类型 edge_attr [] for bond in mol.GetBonds(): bond_type bond.GetBondType() # 将键类型映射为整数 edge_attr.append([bond_type]) edge_attr.append([bond_type]) edge_attr torch.tensor(edge_attr, dtypetorch.long) return Data(xx, edge_indexedge_index, edge_attredge_attr)数据划分务必按照蛋白质聚类来划分训练集、验证集和测试集。即将同源度高的蛋白质分到同一个集合中。如果随机划分模型可能只是记住了某些高频蛋白质的特征而无法泛化到全新的蛋白质失去虚拟筛选的意义。可以使用CD-HIT工具基于序列相似性对蛋白质进行聚类。3.2 编码器架构选型与实现编码器是模型的心脏它的选择直接决定了表示的质量。蛋白质编码器选型ESM-2 (Evolutionary Scale Modeling)Meta AI出品在超大规模蛋白质序列上预训练能生成高质量的蛋白质表示。对于大多数下游任务直接使用其预训练模型作为特征提取器冻结参数或进行微调都是强有力的基线。优点是开箱即用性能强劲。ProtBERT类似于BERT但在蛋白质序列上预训练。也是一个不错的选择。自定义Transformer如果你想从头开始可以搭建一个标准的Transformer Encoder。输入是氨基酸的嵌入向量加上位置编码。但需要大量的数据和计算资源才能训练出好的表示。实操建议对于资源有限的研究者或快速原型强烈推荐使用预训练的ESM-2模型。我们可以取其最后一层隐藏层的平均池化或[CLS] token的表示作为整个蛋白质的向量。import torch import esm # 加载预训练的ESM-2模型 model, alphabet esm.pretrained.esm2_t33_650M_UR50D() # 选择一个合适规模的模型 batch_converter alphabet.get_batch_converter() model.eval() # 设置为评估模式 # 准备数据 data [(protein1, MKTVRQERLKSIVRILERSKEPVSGAQLAEELSVSRQVIVQDIAYLRSLGYNIVATPRGYVLA), ...] batch_labels, batch_strs, batch_tokens batch_converter(data) # 提取表示 with torch.no_grad(): results model(batch_tokens, repr_layers[33]) # 取第33层的表示 token_representations results[representations][33] # 生成整个序列的表示平均池化 protein_representation token_representations.mean(dim1)分子编码器选型图神经网络 (GNN)这是当前的主流。分子天然是图结构GNN如GCN, GAT, GIN, MPNN能有效地在图上进行消息传递聚合邻居信息学习每个原子节点的表示然后通过全局池化如求和、均值得到整个分子的图级表示。基于SMILES的Transformer将SMILES视为序列。优点是和蛋白质编码器架构统一实现简单。缺点是对分子的空间和拓扑结构信息捕捉可能不如GNN直接。实操建议优先选择GNN。PyTorch Geometric (PyG) 或 Deep Graph Library (DGL) 提供了丰富的GNN层实现。一个简单的GIN (Graph Isomorphism Network) 网络就是不错的起点。import torch import torch.nn.functional as F from torch.nn import Linear, Sequential, ReLU, BatchNorm1d from torch_geometric.nn import GINConv, global_mean_pool class MolecularGNN(torch.nn.Module): def __init__(self, hidden_dim256, output_dim1024): super().__init__() # 原子特征编码假设输入原子特征维度为1即原子序数 self.atom_encoder Linear(1, hidden_dim) # 多层GIN卷积 self.conv1 GINConv(Sequential(Linear(hidden_dim, hidden_dim), ReLU(), Linear(hidden_dim, hidden_dim))) self.conv2 GINConv(Sequential(Linear(hidden_dim, hidden_dim), ReLU(), Linear(hidden_dim, hidden_dim))) self.conv3 GINConv(Sequential(Linear(hidden_dim, hidden_dim), ReLU(), Linear(hidden_dim, hidden_dim))) # 输出投影层 self.mol_projector Linear(hidden_dim, output_dim) def forward(self, data): x, edge_index, batch data.x.float(), data.edge_index, data.batch x self.atom_encoder(x) x F.relu(self.conv1(x, edge_index)) x F.relu(self.conv2(x, edge_index)) x F.relu(self.conv3(x, edge_index)) # 全局平均池化得到分子图表示 x global_mean_pool(x, batch) # 投影到与蛋白质表示相同的空间 x self.mol_projector(x) return x3.3 对比损失函数与训练策略有了两个编码器我们需要用对比损失把它们“绑”在一起训练。核心InfoNCE Loss (NT-Xent Loss)对于一个批次内的N个蛋白-分子正样本对我们可以计算一个N x N的相似度矩阵S其中S[i][j]是第i个蛋白质表示与第j个分子表示的余弦相似度。对角线元素S[i][i]是正样本对的相似度。对于第i个蛋白质其损失函数为L_i -log( exp(S[i][i] / τ) / (Σ_{j1}^{N} exp(S[i][j] / τ) ) )其中τ是一个温度超参数控制分布的尖锐程度。分母是对所有分子包括正样本分子ji和负样本分子j≠i的求和。这个损失鼓励正样本对的相似度远高于它与批次内其他所有分子的相似度。对称地我们也可以从分子的角度计算损失。最终的损失是蛋白质视角和分子视角损失的平均。import torch.nn.functional as F def contrastive_loss(protein_emb, mol_emb, temperature0.1): protein_emb: [batch_size, emb_dim] mol_emb: [batch_size, emb_dim] # 归一化 protein_emb F.normalize(protein_emb, dim1) mol_emb F.normalize(mol_emb, dim1) # 计算相似度矩阵 logits torch.matmul(protein_emb, mol_emb.T) / temperature # [batch, batch] # 标签是单位矩阵的对角线i对应i labels torch.arange(logits.size(0)).to(logits.device) # 计算交叉熵损失对称 loss_i F.cross_entropy(logits, labels) # 蛋白视角 loss_j F.cross_entropy(logits.T, labels) # 分子视角 loss (loss_i loss_j) / 2 return loss训练技巧与超参数温度参数 τ这是一个关键超参数。较小的τ如0.05会使损失更关注困难的负样本可能提升表示质量但也可能导致训练不稳定。通常从0.1开始调试。批次大小对比学习受益于大批次。因为批次越大为每个正样本提供的负样本就越多学习信号越强。但这受限于GPU显存。可以使用梯度累积来模拟大批次训练。学习率与优化器使用AdamW优化器并配合学习率热身Warmup和余弦衰减Cosine Decay策略这对Transformer和GNN模型都很有效。梯度裁剪防止训练不稳定。4. 从模型训练到虚拟筛选应用模型训练好后我们得到了两个训练有素的编码器。如何将它们用于实际的虚拟筛选流程呢4.1 构建“表示数据库”与高效检索虚拟筛选的核心是检索。我们不需要对每个新靶点都重新计算所有分子的表示。预计算分子库表示假设你有一个包含1000万个化合物的分子库SMILES格式。使用训练好的分子编码器以批处理的方式离线计算库中每一个分子的表示向量并存储到向量数据库如FAISS, Milvus, Chroma或高性能的NumPy数组中。这个过程可能很耗时但是一次性的。注意存储时建议同时存储分子的唯一ID如InChIKey和SMILES以便后续回溯。计算靶点蛋白表示当有一个新的靶点蛋白序列时使用训练好的蛋白质编码器计算其表示向量P_vec。相似度检索在向量数据库中快速计算P_vec与库中所有分子表示M_vec_i的相似度如余弦相似度、内积。使用向量数据库的最近邻搜索功能返回相似度最高的K个分子例如Top-1000。这比遍历整个库快几个数量级。import faiss import numpy as np # 假设 mol_embeddings 是一个 [num_molecules, emb_dim] 的numpy数组 dim mol_embeddings.shape[1] index faiss.IndexFlatIP(dim) # 使用内积作为相似度度量余弦相似度需要向量归一化 faiss.normalize_L2(mol_embeddings) # 归一化后内积等于余弦相似度 index.add(mol_embeddings) # 查询新蛋白的表示 protein_emb model_protein(protein_seq) # [1, emb_dim] faiss.normalize_L2(protein_emb.numpy()) D, I index.search(protein_emb, k1000) # D是距离/相似度I是索引 # I[0] 就是最相似的1000个分子在库中的索引4.2 结果后处理与交叉验证直接拿回Top-K分子就结束了吗不虚拟筛选只是第一轮粗筛。多样性分析Top-1000的分子可能在结构上非常相似都聚集在化学空间的某一个区域。为了增加发现新颖骨架的机会需要对结果进行聚类例如基于分子指纹Butina聚类然后从每个大类中选取代表性分子确保筛选结果的化学多样性。ADMET初步过滤使用快速的规则过滤器如Lipinski五规则、PAINS过滤器或轻量级ADMET预测模型剔除那些在吸收、分布、代谢、排泄、毒性方面有明显问题的分子提高后续实验的成功率。与经典方法交叉验证对于Top-50或Top-100的分子可以运行一次快速的分子对接如使用AutoDock Vina或QuickVina。虽然对接慢但对少量分子是可行的。如果DrugCLIP筛选出的分子在对接中也显示良好的结合模式和打分那无疑大大增强了我们的信心。这种“AI粗筛 物理精筛”的混合策略是目前非常实用的工作流。可视化与解释尝试理解模型为什么认为某个分子与靶点相似。可以对分子的原子贡献进行可视化如果使用GNN可以使用诸如Grad-CAM for GNN的方法看看是分子的哪个部分对高相似度贡献最大。这不仅能验证结果还能为后续的分子优化提供线索。5. 常见陷阱、调优心得与未来展望在实际动手实现和调优DrugCLIP类模型的过程中我踩过不少坑也积累了一些不一定在论文里会详细写的心得。5.1 数据层面的“坑”数据不平衡结合的数据正样本远少于不结合的数据负样本。如果直接随机采样负样本模型可能学到一个简单的“总是预测不结合”的捷径。解决方法包括对正样本过采样、对负样本欠采样、或在损失函数中引入类别权重。假阴性问题这是对比学习在生物数据上的特有挑战。你随机组合的蛋白-分子对数据库里标记为“无相互作用”但很可能只是没被实验验证过并非真的不结合。这会给模型带来噪声。缓解方法有利用蛋白/分子相似性不直接随机采样而是采样那些与当前蛋白质不同家族的蛋白质所对应的分子或者与当前分子结构差异很大的分子作为负样本降低它们是潜在结合对的可能性。使用“困难负样本”在训练过程中动态地选择那些被模型错误地预测为高相似度的负样本对进行重点学习。序列冗余与数据泄露务必务必务必按蛋白质聚类划分数据集。我曾犯过随机划分的错误导致在测试集上得到了虚高的性能模型只是记住了训练集中出现过的某些蛋白的特征对新蛋白的泛化能力为零。5.2 模型训练与调优心得编码器不对称问题蛋白质编码器预训练的ESM可能已经是一个非常强大的模型而分子编码器我们从头训练的GNN则弱很多。这会导致在对比学习中蛋白质表示主导了学习过程。解决方案冻结蛋白质编码器在训练初期先冻结蛋白质编码器的参数只训练分子编码器和投影层。等分子编码器有一定能力后再解冻蛋白质编码器进行联合微调。使用更强大的预训练分子编码器如果资源允许使用在大量无标签分子上预训练的GNN如GROVER, GraphMVP作为分子编码器的起点而不是从头训练。温度参数 τ 的魔力这个超参数对结果影响显著。我的经验是在较小的数据集上τ 可以设得稍大一些如0.2让分布更平滑避免过拟合在较大的数据集上可以尝试较小的τ如0.05来获得更判别性的表示。一定要在验证集上仔细调试它。投影头的重要性在编码器之后、计算对比损失之前通常会接一个小的多层感知机MLP称为“投影头”或“投影网络”。它的作用是将编码器输出的表示映射到另一个空间在这个空间里进行对比学习。论文中发现在这个投影空间里进行对比学习学到的表示在下游任务中泛化性更好。训练完成后我们通常丢弃这个投影头只使用编码器输出的表示用于下游检索任务。5.3 性能评估的误区不要只看重排序指标如AUC, ROC-AUC。对于虚拟筛选我们更关心的是早期富集能力。也就是说在排名最靠前的那一小部分如前1% 0.1%里能找回多少真正的活性分子。关键评估指标EF (Enrichment Factor)富集因子。EF1% (前1%排名中活性分子比例) / (随机情况下活性分子比例)。EF值越大说明模型在前1%的富集能力越强。AUAC (Area Under the Accumulation Curve)和LogAUC也是衡量早期富集能力的指标。Hit RateK在前K个预测中真正活性分子的比例。与随机和基线对比一定要将你的DrugCLIP模型与随机排序、以及传统的分子指纹相似性搜索等简单基线方法进行比较才能客观体现其价值。5.4 对“AI大模型训练与人类学习对比”的思考最近这个热词很有意思。DrugCLIP的训练过程确实和人类学习有神似之处。人类专家通过阅读海量文献和实验报告正样本并对比不同靶点和不同分子的案例负样本逐渐内化出一种对“药效团”和“靶点可药性”的直觉。DrugCLIP通过海量数据对比学习蛋白质和分子的“表示”也是一种直觉的量化。但区别在于人类的直觉可以跨领域联想融合复杂的生物学背景知识而当前的AI模型还严重依赖数据分布对于数据稀疏的靶点如全新蛋白家族或非常规的分子其“直觉”可能会失灵。因此未来的方向之一可能就是如何将人类先验知识如蛋白结构、物理化学规则、药化经验更有效地注入到这类对比学习框架中让AI的“学习”更像人类的“融会贯通”。从我个人的实践来看DrugCLIP代表的这种“表示学习对比学习”范式已经显著改变了我们进行虚拟筛选的 workflow。它把最耗时的部分从“计算”转移到了“训练”和“建库”而一旦模型和库准备好对新靶点的筛选几乎是实时的。这让我们药物化学家能有更多时间专注于对少数精英分子进行深入分析和优化而不是淹没在无穷无尽的对接任务中。当然它并非银弹其结果仍需湿实验的最终验证但它无疑是一把打开更大化学空间之门的、非常锋利的钥匙。