AI基本结构11-rnn实现简单nlp
循环神经网络数据准备和之前差不多不赘述了# 一些超参数 learning_rate 1e-3 # 如果有GPU该脚本将使用GPU进行计算 device cuda if torch.cuda.is_available() else cpu raw_datasets load_dataset(code_search_net, python) datasets raw_datasets[train].filter(lambda x: apache/spark in x[repository_name])其中 lambda x: apache/spark in x[repository_name] 定义了一个匿名函数Lambda 函数它接收数据集中的每一条样本 x 作为输入判断其 repository_name 字段中是否包含字符串 apache/spark若条件成立则返回 True 保留该样本否则返回 False 将其过滤掉。Lambda 函数本质上是一个简洁的匿名函数这里的写法等价于def func(x): return apache/spark in x[repository_name]由于该函数只使用一次因此采用 lambda 写法更加简洁高效也便于直接作为 filter() 的筛选条件。编码器更新#运行不定长所以可以删掉begin字符 class CharTokenizer: def __init__(self, data, end_ind0): # data: list[str] # 得到所有的字符 chars sorted(list(set(.join(data)))) #self.char2ind {s: i 2 for i, s in enumerate(chars)} self.char2ind {s: i 1 for i, s in enumerate(chars)} #self.char2ind[|b|] begin_ind self.char2ind[|e|] end_ind self.ind2char {v: k for k, v in self.char2ind.items()} #self.begin_ind begin_ind self.end_ind end_ind def encode(self, x): # x: str return [self.char2ind[i] for i in x] def decode(self, x): # x: int or list[x] if isinstance(x, int): return self.ind2char[x] return [self.ind2char[i] for i in x] #测试 tokenizer CharTokenizer(datasets[whole_func_string]) test_str def f(x): re tokenizer.encode(test_str) print(re) .join(tokenizer.decode(range(len(tokenizer.char2ind))))定义了一个基于字符级别Character-Level的 CharTokenizer用于建立字符与编号之间的映射实现文本的编码encode和解码decode。与注释中的原始版本相比最大的变化是删除了起始标记Begin Token这是因为当前模型采用不定长运行方式不再需要在每个样本前添加固定数量的起始标记因此可以简化词表结构仅利用结束标记表示文本终止从而减少额外的输入符号使数据预处理和文本生成过程更加简洁。循环神经元定义class RnnCell(nn.Module): def __init__(self,input_size,hidden_size): super().__init__() self.input_size input_size self.hidden_size hidden_size self.inTohinn.Linear(input_sizehidden_size,hidden_size) def forward(self,input,hiddenNone): if hidden is None: hidden self.init_hidden(input.device) combined torch.concat((input,hidden),dim-1) hidden F.relu(self.inTohi(combined)) return hidden def init_hidden(self,device): return torch.zeros((1,self.hidden_size),devicedevice) # 测试 r_model RnnCell(2, 3) data torch.randn(4, 1, 2) hidden None for i in range(data.shape[0]): hidden r_model(data[i], hidden) print(hidden)1RnnCell 类的作用RnnCell 实现了一个最基本的循环神经网络RNN单元用于处理序列数据。与多层感知器MLP不同RNN 在每个时间步都会接收当前输入和上一时刻的隐藏状态Hidden State从而能够保留历史信息实现对序列上下文的建模。2初始化网络结构在 __init__() 中定义了输入维度 input_size 和隐藏层维度 hidden_size并创建了一个全连接层 inTohi。由于每次输入都需要与上一时刻的隐藏状态拼接因此该线性层的输入维度为 input_size hidden_size输出维度为 hidden_size用于计算新的隐藏状态。3前向传播过程forward() 函数首先判断是否存在上一时刻的隐藏状态若没有则调用 init_hidden() 初始化为全零向量。随后将当前输入 input 与上一时刻隐藏状态 hidden 在最后一个维度进行拼接形成包含当前信息和历史信息的特征向量再经过全连接层和 ReLU 激活函数得到当前时刻新的隐藏状态并作为输出返回。循环神经网络定义class CharRNN(nn.Module): def __init__(self, vs): super().__init__() self.emb nn.Embedding(vs, 30) self.rnn RnnCell(30, 50) self.lm nn.Linear(50, vs) def forward(self, x, hiddenNone): # x: (1) # hidden: (1, 50) embeddings self.emb(x) # (1, 30) hidden self.rnn(embeddings, hidden) # (1, 50) out self.lm(hidden) # (1, vs) return out, hidden简单网络不多说啦生成函数更新torch.no_grad() def generate(model, idx, tokenizer, max_new_tokens300): # idx: (1) out idx.tolist() hidden None model.eval() for _ in range(max_new_tokens): logits, hidden model(idx, hidden) probs F.softmax(logits, dim-1) # (1, 98) # 随机生成文本 ix torch.multinomial(probs, num_samples1) # (1, 1) ## 更新背景 #context torch.concat((context[:, 1:], ix), dim-1) out.append(ix.item()) idx ix.squeeze(0) if out[-1] tokenizer.end_ind: break model.train() return out #测试 inputs torch.tensor(tokenizer.encode(d), devicedevice) print(.join(tokenizer.decode(generate(c_model, inputs, tokenizer)))) def process(text, tokenizer): # text: str enc tokenizer.encode(text) inputs enc labels enc[1:] [tokenizer.end_ind] return torch.tensor(inputs, devicedevice), torch.tensor(labels, devicedevice) #测试 print(process(test_str, tokenizer))1generate 函数作用generate 用于利用训练好的循环神经网络RNN生成文本。函数以初始字符 idx 作为输入模型根据当前输入和历史隐藏状态逐步预测下一个字符并不断将预测结果作为下一时刻的输入实现字符级文本的连续生成。2随机采样与更新输入模型输出经过 Softmax 转换为概率分布后利用 torch.multinomial() 依概率随机采样得到下一个字符编号 ix并将其加入输出序列。同时将 ix 作为下一时刻模型的输入idx ix.squeeze(0)形成“预测一个字符再将其作为下一次输入”的自回归生成过程。代码中被注释掉的 context 更新语句是 MLP 固定窗口模型的实现方式而 RNN 利用隐藏状态记录上下文因此不再需要滑动窗口更新背景信息。3process 函数作用新的 process 函数用于构造 RNN 的训练数据。首先将输入文本编码为字符编号序列 enc然后直接将整个序列作为模型输入 inputs而标签 labels 则是输入序列整体向后移动一位并在末尾补充结束标记 end_ind。这种构造方式使模型能够学习“根据当前字符预测下一个字符”符合 RNN 自回归语言模型的训练目标。训练与测试def trainRnn(model,optimizer,epochs2): lossi [] for e in range(epochs): for data in datasets: inputs, labels process(data[whole_func_string], tokenizer) hidden None _loss 0.0 lens len(inputs) for i in range(lens): logits, hidden model(inputs[i].unsqueeze(0), hidden) _loss F.cross_entropy(logits, labels[i].unsqueeze(0)) / lens lossi.append(_loss.item()) optimizer.zero_grad() _loss.backward() optimizer.step() print(_loss) return lossi #测试 epochs 1 optimizer optim.Adam(c_model.parameters(), lrlr) losstrainRnn(c_model,optimizer,epochs) plt.plot(loss) plt.show() inputs torch.tensor(tokenizer.encode(d), devicedevice) print(.join(tokenizer.decode(generate(c_model, inputs, tokenizer))))正常训练的老三样损失优化循环

相关新闻

AI工作流是什么?为什么比单个工具更重要

AI工作流是什么?为什么比单个工具更重要

在当前数字化办公普及的环境下,绝大多数学生与职场人员的AI使用方式,仍停留在“单次提问、单次解决问题”的浅层阶段。日常工作中遇到写文案、整理表格、简单改错、内容润色等任务,多数人都是临时输入指令、单次获取结果,用完即结…

2026/11/17 10:24:09 阅读更多 →
共享屏幕怎么操作 异地共享屏幕的方法

共享屏幕怎么操作 异地共享屏幕的方法

异地对接工作、分隔两地相伴观影时,很多人都会疑惑共享屏幕怎么操作,常规共享软件存在时长限制、画面模糊等短板,普通投屏工具又只局限局域网使用,很难适配远距离场景。共享屏幕怎么操作才能兼顾流畅度与隐私保障?推荐…

2026/11/15 9:43:00 阅读更多 →
高速PCB设计实战:从传输线到电源平面,TI KeyStone II布线指南

高速PCB设计实战:从传输线到电源平面,TI KeyStone II布线指南

1. 项目概述:高速PCB设计的核心战场在处理器主频动辄突破GHz、数据速率向数十Gbps迈进的今天,硬件工程师面临的挑战早已超越了“连通即可”的初级阶段。信号在PCB走线上不再是理想的“瞬时”到达,而是以电磁波的形式,在由导体和介…

2026/11/15 21:35:46 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/17 8:22:52 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/16 6:41:34 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/16 8:22:12 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/16 8:22:12 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/16 7:30:18 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/16 8:22:12 阅读更多 →

日新闻

周新闻

月新闻