【文献分享】RNARL:强化学习驱动的RNA密码子多目标统一生成框架
一、文章介绍信使RNAmRNA疫苗和疗法的成功如新冠疫苗彻底改变了疫苗研发范式其快速设计、灵活生产和高效免疫激活的优势使其成为未来疫苗和治疗药物开发的核心平台之一。然而由于遗传密码的简并性同一蛋白质序列可由大量不同的RNA序列编码这些同义RNA变体在翻译效率、结构稳定性和表达水平上可能存在显著差异。这些差异主要源于物种特异性密码子使用偏好和RNA二级结构特征。因此RNA密码子设计——即在保持蛋白质序列不变的前提下优化编码RNA序列——已成为实现疫苗效力和治疗效果最大化的关键策略。然而现有RNA密码子设计方法面临三大根本性挑战。第一长序列3,000 nt的高效处理和优化仍是关键瓶颈传统启发式搜索算法如LinearDesign虽然能在一定程度上平衡翻译效率和结构稳定性但随着序列长度增加搜索空间呈指数增长计算成本急剧上升。第二现有方法缺乏跨物种和跨RNA类型的泛化能力大多针对特定宿主如人类或特定RNA类型如线性mRNA设计难以适应多样化的应用场景。第三深度学习方法如基于LSTM的模型或预训练语言模型虽然能够实现高通量生成但受限于训练数据的天然分布生成的RNA序列往往无法超越天然序列的性能即缺乏“优化”能力而纯粹的优化算法虽然能产生性能优异的序列但计算代价高昂无法实现大规模设计。这种“生成-或-优化”的割裂范式从根本上限制了RNA序列设计的效率和性能天花板。为从根源上解决上述挑战Shenggeng Lin、Hong Tan及其合作者在Genome Biology上发表了题为“RNARL: reinforcement learning-driven unified generative framework for multi-objective RNA codon design”的研究论文提出了一个名为RNARL的强化学习驱动框架首次将序列生成与多目标优化深度统一。RNARL的核心思想是利用强化学习直接优化生成策略使生成模型在训练过程中根据预设的多目标设计标准如高翻译效率、高结构稳定性迭代精炼其生成策略从而直接产生满足设计目标的高性能RNA序列。该框架包含演员模型Actor和奖励模型Reward两大核心组件。演员模型基于混合专家MoETransformer架构以蛋白质序列为输入通过ESM-2蛋白质语言模型编码后经MoE Transformer生成候选RNA序列奖励模型则对生成的RNA序列进行多目标评分包括最小自由能MFE、密码子适应指数CAI、GC含量和未配对核苷酸比例。两者通过**组相对策略优化GRPO**算法进行联合训练——演员模型根据奖励信号不断调整策略以生成更高奖励的序列奖励模型则提供精确的质量评估形成一个“生成-评估-优化”的闭环。研究者构建了涵盖六个代表性物种人类、拟南芥、产黄青霉、莱茵衣藻、大肠杆菌、嗜热古菌和五种RNA类型mRNA、环状RNA、正链RNA、双链RNA、逆转录病毒RNA的多样化数据集全面验证了RNARL的泛化能力。实验结果表明RNARL在GC含量、CAI和未配对核苷酸比例等指标上均显著优于GEMORNA、LinearDesign、CodonTransformer等现有最优方法尤其是在多目标平衡方面展现出独特优势——CAI优化方法虽然能达到理论最大值1.0但会牺牲结构稳定性MFE升高而RNARL在保持高CAI的同时维持了更优的结构稳定性。RNARL成功处理了长达~3,900 nt的序列并在两种公开RNA疫苗专利序列HPV和EBV mRNA疫苗的优化中展现出优于专利序列的性能验证了其实际应用价值。RNARL在线平台Google Colab已对外开放无需编程即可使用。二、算法原理介绍RNARL的算法设计围绕“演员-奖励强化学习闭环 MoE Transformer架构 组相对策略优化”三个核心层次展开。一演员模型生成器。演员模型以蛋白质序列为输入输出编码该蛋白的RNA序列。架构上蛋白质序列首先通过ESM-2蛋白质语言模型650M参数编码为嵌入向量然后输入MoE Transformer。Transformer编码器采用8层隐藏维度768的结构MoE层包含6个专家每个token激活2个专家通过门控网络动态选择最适合当前序列特征的专家组合增强模型对不同蛋白质序列如富含丝氨酸的序列的适应性。输出层生成每个密码子位置的核苷酸概率分布通过采样生成RNA序列。为解决训练数据中序列长度的长尾分布问题RNARL采用长度感知分布采样LADS——按100个氨基酸为间隔分箱根据各箱序列数量反向校准采样权重使模型在训练中平等接触短、中、长序列有效提升长序列处理能力。二奖励模型评估器。奖励模型以RNA序列为输入通过可学习嵌入层和MoE Transformer编码后经全连接层输出质量分数。奖励分数定义为标准化MFE负值越小越稳定和CAI越高越高效的加权组合RewardWMFE×ScaledMFEWCAI×ScaledCAI\text{Reward} W_{\text{MFE}} \times \text{ScaledMFE} W_{\text{CAI}} \times \text{ScaledCAI}RewardWMFE​×ScaledMFEWCAI​×ScaledCAI其中WMFE2.0W_{\text{MFE}}2.0WMFE​2.0WCAI1.0W_{\text{CAI}}1.0WCAI​1.0ScaledCAI在CAI达到目标阈值0.8时截断为1.0以避免过度优化单一指标。这种设计使奖励模型能定量评估翻译效率和结构稳定性之间的平衡。三组相对策略优化GRPO。GRPO是RNARL的训练引擎。对每个输入蛋白质序列演员模型采样GGG个候选RNA序列组大小为4奖励模型计算每个序列的奖励值。在同一组内计算奖励均值和标准差将奖励标准化为优势函数A^(si,ai,j)R(si,ai,j)−μiσi\hat{A}(s_i, a_{i,j}) \frac{R(s_i, a_{i,j}) - \mu_i}{\sigma_i}A^(si​,ai,j​)σi​R(si​,ai,j​)−μi​​。优化目标是最大化LGRPO(θ)E[min⁡(ri,jA^i,j,clip(ri,j,1−ϵ,1ϵ)A^i,j)−β⋅KL(πθ∣∣πref)]\mathcal{L}_{\text{GRPO}}(\theta) \mathbb{E} \left[ \min \left( r_{i,j} \hat{A}_{i,j}, \text{clip}(r_{i,j}, 1-\epsilon, 1\epsilon) \hat{A}_{i,j} \right) - \beta \cdot \text{KL}(\pi_\theta || \pi_{\text{ref}}) \right]LGRPO​(θ)E[min(ri,j​A^i,j​,clip(ri,j​,1−ϵ,1ϵ)A^i,j​)−β⋅KL(πθ​∣∣πref​)]其中ri,jr_{i,j}ri,j​为当前策略与旧策略的概率比KL散度约束策略更新步长防止偏离参考策略过远。这种组内相对比较方式避免了绝对奖励值在不同蛋白质间的不可比性使训练更稳定高效。三、总结RNARL是一个基于强化学习的RNA密码子多目标统一生成框架通过演员-奖励模型闭环和GRPO算法将序列生成与多目标优化深度融合直接产生高性能RNA序列。其核心创新在于以强化学习打破传统的“生成-或-优化”割裂范式使生成模型在奖励信号驱动下迭代精炼策略实现翻译效率和结构稳定性的联合优化。RNARL在跨越六个物种和五种RNA类型的广泛验证中表现出卓越的泛化能力和长序列处理能力~3,900 nt并成功优化了公开RNA疫苗专利序列。该框架为RNA疫苗和核酸药物的理性设计提供了一个高效、通用且用户友好的计算平台有望加速高质量RNA序列的发现与开发。

相关新闻

ppt模板_0225_透亮背景

ppt模板_0225_透亮背景

PPT模板分享

2026/11/19 1:53:44 阅读更多 →
想做测试工具却不会写代码?怎么办?

想做测试工具却不会写代码?怎么办?

测试圈往回捣几年,有个特别常见的现象。 很多人脑子里装了一堆工具提效的想法——测试数据造起来太烦,想做个数据工厂;接口用例跑完没人看报告,想做个可视化面板;环境部署每次都得求运维,想做个一键拉环境的…

2026/11/22 17:08:45 阅读更多 →
IGV基因组浏览器使用攻略之处理截图

IGV基因组浏览器使用攻略之处理截图

利用ai处理igv截图是否经常感觉处理igv的SVG格式时很麻烦,试试ai,一句话直接提取track,脚本详见https://mp.weixin.qq.com/s/9WB2dtvJPL70uQrd64GFH

2026/11/21 1:05:32 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/21 23:27:35 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/21 23:27:35 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/21 23:27:35 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/21 23:27:35 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/21 23:27:36 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/21 23:27:37 阅读更多 →

日新闻

周新闻

月新闻