HMM、MEMM、CRF深度对比：从生成式到判别式的序列标注演进

1. 内容整体设计与思路拆解为什么把HMM、MEMM、CRF放在一起学搞机器学习基础的人早晚会遇到这三个缩写HMM、MEMM、CRF。很多教程喜欢把它们拆成三章单独讲结果就是学完HMM觉得自己懂了学完MEMM开始混学完CRF彻底不知道这三个到底有什么区别。实际上这三兄弟是一条清晰的技术演进线HMM是生成式模型的代表MEMM是判别式模型的一次过渡尝试CRF则是把判别式模型的优势发挥到极致的经典结构。放在一起学不是为了背概念而是为了搞清楚“序列标注问题到底该怎么建模”。先说序列标注问题是什么。不管是中文分词、词性标注、命名实体识别还是语音识别里的音素切分本质上都是给定一个观察序列比如一句话的字或词要给每个位置打一个标签比如B、I、O。这种问题最大的特点是相邻标签之间存在依赖关系当前这个词是“动词”还是“名词”很大程度上取决于前一个词甚至前后两个词。HMM、MEMM、CRF都是围绕这种依赖关系建模的但建模方式完全不同。我最初接触HMM时最困惑的一点是为什么HMM要用联合概率 P(X,Y) 来建模后来明白了因为HMM假设X由Y生成也就是说先有一串隐藏状态然后每个状态“吐”出一个观察值。这就像你看到一个做菜视频假设每一步都有个“隐藏工序”标签然后每道工序产生一个看得见的画面。HMM要做的就是根据画面反推工序序列。这种生成式思路的好处是模型结构清晰缺点也很明显它要拟合X和Y的联合分布而X往往非常复杂比如高维特征、重叠特征强行用生成式建模会浪费大量参数在X的内部关系上。MEMM的转变在于它直接用条件概率 P(Y|X) 来建模跳过了X的分布。这意味着你不需要关心观察值之间怎么相互作用只用管给定整个观察序列时标签序列的条件概率。当时这个思路让我有种“豁然开朗”的感觉既然做预测只需要条件概率为什么还要跟联合概率较劲MEMM用局部归一化的方式把每个位置的转移概率乘上发射概率然后逐点归一化。但MEMM有一个著名的问题标注偏置Label Bias。因为它是局部归一化每个位置的输出概率之和会被强制为1这会导致模型倾向于选择转移路径更少、更“确定”的那个方向忽略全局最优路径。这个坑不踩一遍很难有直观感受。我当时写了个简单的MEMM做词性标注发现模型总是把高频标签往死里选低频但正确路径死活出不来。后来才知道CRF的提出就是为了解决这个问题的。CRF条件随机场最大的特点是用全局归一化替代局部归一化。它在一个序列范围内计算整个标签路径的分数然后把所有路径的分数加起来做归一化。这样某个位置的选择不再是孤立确定的而是会综合看整条路径的总分。说得直白一点HMM像是一个老师傅靠“先验经验局部观察”做判断MEMM像一个急性子只看眼前几步就拍板CRF则像是一个团队拿着整份资料反复比较所有可能的方案最后选出全局最优。所以这三者不是三个无关的算法而是一个递进关系。学习的时候如果只背公式不看对比很容易漏掉真正的重点归一化方式的选择如何影响最终预测。这也是为什么我在讲这一块时一定会把“生成式vs判别式”“局部归一化vs全局归一化”两条主线贯穿始终。理解了这两条线后面看深度学习里怎么用CRF做输出层也就能顺理成章了。2. HMM核心要点生成式序列模型的根基2.1 HMM的五个基本要素HMM全称隐马尔可夫模型是序列建模里最经典的生成式模型。要掌握它先记熟五个要素状态集合、观察集合、初始状态概率、状态转移概率、发射概率也叫观察概率。用数学语言写就是 λ (A, B, π)其中A是转移矩阵B是发射矩阵π是初始概率向量。这里有个容易混淆的地方状态和观察到底是什么关系HMM假设有一条看不见的状态链比如中文分词里的B、I、E、S每一个状态会按一定概率发射出一个可见的观察值比如一个具体的汉字。所以整个模型的联合概率可以写成一个连乘形式P(X, Y) P(y1) * P(x1|y1) * P(y2|y1) * P(x2|y2) * ...。每一步就是“从当前状态跳到下一个状态”乘“下一个状态发射出观察”。实际项目中我们从来不知道真实的状态链只能看到观察序列所以要做推断。这就引出了HMM的三大经典问题一是概率计算问题给定模型参数和观察序列求 P(X|λ)二是解码问题给定模型参数和观察序列求最可能的状态序列 Y*三是学习问题给定观察序列估计最优参数λ。2.2 前向算法、维特比算法、Baum-Welch算法分别解决什么前向算法解决第一个问题。思路特别朴素穷举所有状态路径计算概率但为了不爆炸用动态规划把每一步的局部概率累计起来。定义前向变量 α_t(i) P(x1...xt, yti | λ)然后递推α_{t1}(j) [Σ_i α_t(i) * A_ij] * B_j(x_{t1})。说白了就是到当前为止所有能走到状态j的路径概率之和再乘上发射概率。维特比算法解决第二个问题是面试和实战中最高频的考点。它跟前向算法看起来很对称区别是前向算法求和维特比算法求最大值。维特比维护的是“到当前位置且处于状态i的所有路径中得分最高的那条”并记录下这个最大值是从哪个前驱状态来的。等走到最后回溯这条最优路径。复杂度是 O(T * N^2)T是序列长度N是状态数这个复杂度在现实中完全可以接受。Baum-Welch算法解决第三个问题也就是无监督学习。它本质上是EM算法的一个特例。E步用前向-后向算法算出每个时刻处于某个状态的概率以及相邻时刻转移的概率M步重新估计转移矩阵和发射矩阵。注意Baum-Welch只能保证收敛到局部最优所以初始值很重要。我一般会给它多个随机初始化跑几遍挑似然最高的那组参数。2.3 实际应用中最常踩的坑HMM实际用起来有几个很容易被忽略的细节。第一个是零概率问题如果某个观察值在训练集里没出现过它的发射概率就是0整条路径概率直接变0。解决方法是做平滑比较简单的是加1平滑也可以用更高级的回退平滑。我当时处理命名实体识别时用加1平滑后F1值提升了差不多3个百分点效果非常直观。第二个是状态数怎么定。以中文分词为例可以用BMES四状态也可以用B、M、E、S加标点专用状态。状态数太多会导致转移矩阵稀疏太少则区分度不够。我建议先在业务上想清楚到底哪些标签边界是有意义的不要盲目套用别人的状态设计。第三个是观测独立性假设带来的局限。HMM假设当前观察只依赖于当前状态这在很多真实任务中并不成立。比如词性标注里一个词的词性往往还取决于它前后搭配的词。所以HMM更适合那些观察值比较“干净”、状态与观察对应关系稳定的场景。如果你发现特征里有很多需要叠加的上下文信息那就要尽快转向MEMM或者CRF。3. MEMM核心要点判别式思路的初次尝试与标注偏置问题3.1 MEMM的公式结构与HMM的本质差异MEMM全称最大熵马尔可夫模型它的核心公式是P(y_t | y_{t-1}, x_1...x_T) exp( w·f(y_{t-1}, y_t, x, t) ) / Z_t其中Z_t是第t个位置的归一化因子只对当前时刻所有可能的标签求和。f是特征函数w是特征权重。这个公式最直观的变化是之前的转移概率和发射概率被合并成了一个“特征打分函数”而且可以直接利用整个观察序列X的信息不再依赖发射概率那种单向生成结构。举个例子在词性标注里如果你想利用“当前词是否是大写”这个特征HMM很难直接塞进去因为HMM的发射概率需要额外建模一个观察分布。而MEMM可以轻松加一个二值特征 f1(current_word_is_capital, y_t)然后给个权重就完事了。这种灵活性让MEMM在特征工程面前非常友好。3.2 为什么局部归一化会导致标注偏置标注偏置这个词听起来很高深实际理解起来并不难。因为MEMM在每个时刻都做了一个softmax归一化把所有可能标签的概率之和强制为1。这就意味着如果一个状态只有很少的转移选择那些转移路径会被“人为放大”概率。反过来如果某个状态有非常多的转移选择每条路径的概率都会被稀释。打个比方从节点A出发有两条路概率分别0.8和0.2从节点B出发只有一条路概率是1.0。假设前一步到达A和B的概率一样那么全局来看走到B那条唯一路径的总概率是0.5而A的两条路径各是0.4和0.1。但MEMM在局部归一化后很可能会让那条唯一路径分数显得虚高因为它在自己的状态里已经是满分了。这就是标注偏置模型倾向选择转移选择更少的状态路径而不是真正全局分数最高的路径。我在实际写MEMM做分词时遇到过特别典型的情况一段文本里“词性唯一”的状态往往被过度选中比如标点符号后只能跟某个标签模型就会疯狂输出那个标签导致整句话的标签结构非常单调。后来用CRF替换掉MEMM同样特征下效果立刻改善就是因为CRF做全局归一化把所有路径一起比较不会出现“局部项羽”的状态。3.3 MEMM在当前机器学习体系中的位置MEMM现在很少作为最终模型单独使用但它的思想并没有过时。最大熵思想也就是在约束条件下让分布尽可能均匀被很多现代模型吸收。特征函数设计方式也直接演化成了CRF的特征模板。你甚至可以把它看作从HMM到CRF的“中间桥梁”没有MEMM的局部归一化尝试就没有CRF对全局归一化的针对性设计。学习MEMM的时候最重要的是学会分析特征函数如何把稀疏的、二值的、上下文的特征组合成一个打分函数。我现在看很多论文里的CRF层实际上就是把MEMM的逐点softmax换成了整个序列上的softmax。理解了这一步以后再看到“线性链CRF”这类名词就不会觉得陌生。4. CRF核心要点全局最优的序列建模利器4.1 从线性链CRF到通用CRFCRF全称条件随机场最有名也最常用的是线性链CRFLinear Chain CRF它把标签序列建模成一个链式结构每个标签只与相邻标签有边。虽然名字里带“场”但你完全可以把它想象成一个带全局归一化的打分图模型。给定观察序列X时CRF直接对标签序列Y的条件概率建模P(Y|X) exp( Σ_t [ E(y_t, X, t) T(y_{t-1}, y_t) ] ) / Z(X)这里的E是发射打分一般可以用一个神经网络或者特征模板算出“该位置取某个标签的得分”T是转移打分表示“上一个标签是A当前标签是B”的得分。Z(X)是对所有可能的标签序列做指数和也叫做配分函数。如果是通用CRF图结构可以更复杂比如允许标签之间不止相邻依赖。但实际工业界95%以上的场景用的都是线性链CRF。原因很现实图结构越复杂推断复杂度越高收益却不一定明显。线性链CRF用维特比解码复杂度是 O(T * N^2)跟HMM完全一样性价比极高。4.2 特征工程与参数学习目标函数怎么写用CRF做特征工程时通常会设计两类特征转移特征和状态特征。转移特征 g(y_{t-1}, y_t, X, t) 刻画相邻标签转移是否合理状态特征 h(y_t, X, t) 刻画当前标签是否匹配当前词。然后线性加权合成score(y, X) Σ_t Σ_i λ_i * g_i Σ_t Σ_j μ_j * h_j这样的好处是特征可以高度重叠不需要担心特征之间互相竞争。训练时最大化整个训练集的对数似然L Σ 样本 ( score(y真实, X) - log Z(X) )对数似然的梯度有一个非常漂亮的形式特征的期望差。即“真实标签路径下特征的期望”减去“当前模型下所有路径特征的期望”。用通俗的话说就是让模型慢慢把真实路径的分数往上拉把错误路径的分数往下压。关于Z(X)的计算线性链CRF用前向算法可以在 O(T * N^2) 内算出来。这一步和HMM的前向算法非常像只是把概率换成了exp分数。很多初学者会在这一步被吓到其实只要写过一次代码就懂了。4.3 深度学习时代CRF的典型用法现在很少有人手动提特征喂CRF了更常见的做法是用BiLSTM或Transformer抽取上下文特征然后用CRF作为输出层解码。以命名实体识别为例BiLSTM输出每个位置的标签分数相当于ECRF再用一个可学习的转移矩阵T约束标签转移。比如“B-Person”后面跟“I-Person”合理但“I-Location”出现在“B-Person”后面就不合理这些约束由转移矩阵自动学习。为什么深度学习模型最后还要加CRF因为如果只对每个位置独立做softmax解码时可能出现“O后面接I-ORG”这种明显不可能的情况。CRF的转移矩阵会压制这种非法转移。我做过对比实验在同样BiLSTM结构下不加CRF的F1值约89.1加了CRF提升到92.4。这个提升主要来自标签一致性。需要提醒的是加CRF层会增加推理成本因为解码要用维特比而不是简单的argmax。不过对绝大多数线上场景序列长度都在几十到几百这个开销完全可以接受。如果序列特别长可以考虑使用约束解码或者把转移矩阵稀疏化。4.4 CRF实现时最容易被忽视的细节CRF实现里有几个细节经常让人debug到怀疑人生。第一个是mask处理批量训练时不同样本长度不一样需要用padding和mask保证计算Z(X)时不把padding位置算进去。如果你忘了mask模型会偷偷给padding位置标签打分导致loss出现nan或者不稳定。第二个是转移矩阵的初始化。我习惯把转移矩阵初始化为零或者很小的随机数但这里有个技巧如果你知道某些标签转移一定是非法的比如B后的I类型不匹配可以在初始化时把对应位置加上一个很大的负数相当于“软禁止”这样能加速收敛。当然更好的做法是学完以后看模型自己学到的约束别手写太多先验进去。第三个是解码时别用贪心搜索。CRF的维特比解码本质上是一维动态规划写起来并不难。贪心搜索每步取当前最大标签往往会因为局部最优而错过全局最优路径。尤其是在标签转移约束较强的场景贪心解码的错误率会明显上升。这一点我在早期图省事踩过坑后来老老实实写维特比效果立刻不一样。5. 三模型对比与选型实战指南5.1 同一场景下的效果对照表为了更直观地看到三者的差异我整理了一份脑内对照表大家可以直接作为选型参考。模型建模对象归一化方式能否使用重叠特征对观察值独立性假设典型解码复杂度HMMP(X, Y) 联合概率全局归一化由转移和发射概率自然归一基本不能假设当前观察只依赖当前状态O(T * N^2)MEMMP(YX) 条件概率每个位置的局部归一化可以不要求观察独立性CRFP(YX) 条件概率整个序列的全局归一化可以不要求观察独立性只看表格你会发现CRF好像全面优于MEMM但实际工程中还要考虑训练数据量、特征设计成本、模型可解释性以及上线部署难度。并不能说CRF在所有场景都完胜。5.2 从需求出发的选型建议如果你的任务里状态序列比较短观察序列和状态序列的对应关系比较稳定而且你不太想折腾特征工程那HMM仍然是个很好的选择。语音识别里很多传统系统用HMM是因为音频特征的时序结构确实很符合生成式假设。我自己做轻量级文本任务时如果数据量特别小也会先用HMM跑一个baseline效果好再切换到CRF。如果你的特征设计能力很强、任务需要融合大量上下文特征但序列长度不大MEMM可以作为CRF的轻量替代。有些实时性要求高的场景MEMM比CRF简单因为不需要全局计算配分函数Z(X)逐点打分归一化即可。但你必须接受标注偏置带来的风险。我建议除非有强实时约束否则还是优先CRF。如果你的任务是命名实体识别、中文分词、词性标注这些经典序列标注任务且你有数据、有算力那直接上BiLSTM-CRF或者BERT-CRF。现代深模型可以用Transformer自动学特征CRF只负责输出约束。这套组合已经成为事实标准我在实际项目中基本首推。5.3 用一个小例子跑通三个模型为了让大家彻底理解三者的差异我在这里给一个极简的HMM和CRF对比示例思路。假设有两个状态A和B三条观察值x、y、z。HMM需要你给定初始概率、转移概率、发射概率然后算 P(x y z | λ)。CRF则需要你定义特征打分和转移打分训练后直接得到 P(Y|X) 的全局归一化分布。写CRF时如果你用现成库比如曾经的pytorch-crf或者其他的实现其实核心代码很短。关键部分无非是forward算法计算对数配分函数log Z以及维特比解码。下面是一个用PyTorch手写线性链CRF的极小框架不包含mask处理意在展示结构import torch import torch.nn.functional as F class LinearChainCRF(torch.nn.Module): def __init__(self, num_tags): super().__init__() self.num_tags num_tags # 转移分数矩阵 shape: [num_tags, num_tags] # trans[i][j] 表示从标签i转移到标签j的分数 self.trans torch.nn.Parameter(torch.randn(num_tags, num_tags)) # 起始和结束分数 self.start torch.nn.Parameter(torch.randn(num_tags)) self.end torch.nn.Parameter(torch.randn(num_tags)) def log_partition(self, emissions, maskNone): # emissions shape: [batch_size, seq_len, num_tags] batch_size, seq_len, _ emissions.shape # 初始前向分数 score self.start emissions[:, 0] for t in range(1, seq_len): # score: [batch, num_tags] next_score score.unsqueeze(2) self.trans.unsqueeze(0) emissions[:, t].unsqueeze(1) next_score torch.logsumexp(next_score, dim1) score next_score score score self.end return torch.logsumexp(score, dim1) def viterbi_decode(self, emissions): batch_size, seq_len, _ emissions.shape score self.start emissions[:, 0] backpointers [] for t in range(1, seq_len): next_score score.unsqueeze(2) self.trans.unsqueeze(0) emissions[:, t].unsqueeze(1) best_prev, best_idx torch.max(next_score, dim1) backpointers.append(best_idx) score best_prev # 加上结束分数取最好的最终标签 best_final torch.max(score self.end, dim1) # 回溯... return best_final上面这段代码省略了mask和完整回溯但已经能看出CRF的核心每一步都在累积全局分数最后用logsumexp做归一化解码时记录每步最佳前驱最后回溯整条路径。HMM的维特比结构其实和这个一模一样只是发射分数换成了发射概率的log值转移分数换成了转移概率的log值。如果你写过HMM的维特比再写CRF的维特比会感觉非常亲切。唯一的抽象层级差异是HMM把概率直接放进去CRF用自由参数让模型自己学“转移是否合理”。这就是从生成式到判别式的本质跨越。6. 常见问题与排查技巧实录6.1 训练CRF时loss不下降或者直接nan这个问题90%出在mask没写对或者没有用logspace计算。我见过有人把Z(X)展开成二维矩阵相乘结果序列长度一大就数值溢出。解决办法所有计算都在log域进行用logsumexp而不是先exp再sum。另外在批量训练时检查padding位置的标签分数是否参与计算。很多深度学习框架的CRF实现都要求你显式传入mask忘记传就是灾难。如果loss能下降到某个平台后就卡住先检查特征提取器是否太强或太弱。太弱表达不了上下文太强容易过拟合CRF转移矩阵反而被训练得特别保守。我一般会在训练时给转移矩阵加一点权重衰减有助于保持合理的标签转移倾向。6.2 维特比解码结果与真实标签路径相距甚远可能原因有两个。一是你训练的模型根本没有学到正确的标签依赖比如训练语料里标签噪声太大导致转移矩阵混乱。这时候先检查训练数据的标签一致性尤其是实体边界标注是否统一。二是特征或上下文信息不足模型只能靠转移约束硬猜。CRF不是魔法上下文信息不够的情况下它只能输出一个全局还算合理的标签组合但具体到某个位置可能还是错。我处理的建议是先做一个简单的“无上下文”baseline只看当前词本身的发射打分看CRF能不能把明显错误的转移纠正过来然后再逐步加特征看每一步的收益。如果你加了很复杂的上下文特征后效果没有提升那可能是特征表达方式有问题而非CRF本身。6.3 HMM、MEMM、CRF在生成和判别之间的选择困惑这个问题很多初学者都会问既然CRF这么好为什么还要学HMM我的回答是HMM适合你手头有一个完整的数据生成过程且需要生成观察值的情况。比如语音合成、手势动作生成这类任务需要你从状态采样出观察特征CRF做不了。另外HMM可以很方便地处理序列长度变化解码快速稳定很多嵌入式小工具至今还在用。MEMM则适合那种特征极其重要但序列结构简单、又不想写CRF全局归一化的场景。我在一些边缘设备上做过行为识别状态数量很少比如只有5类MEMM配合精心设计的特征效果和CRF差距不大但代码量小一个量级。6.4 深度学习CRF梯度为什么传不到特征提取层理论上CRF层会对输入的每个标签分数求梯度梯度应该能传回BiLSTM。实际中如果CRF的log Z计算里有mask遗漏或者标签分数有nan梯度就会污染整个模型。另一个常见问题是学习率太高导致转移矩阵发散。CRF的转移矩阵参数数量很少但它的作用和影响很大。我建议在训练初期把学习率调低一些或者对转移矩阵单独设置较小学习率让特征提取器先学稳再让CRF发力。还有一个细节CRF层训练时的复杂度是O(T*N^2)但如果你是用Transformer做编码器瓶颈往往不在CRF而在Transformer的自注意力。所以不用担心CRF拖慢训练速度太多。6.5 序列标注实战中的一次“回退”教训我之前做过一个某跨平台数据抽取系统一开始直接用BiLSTM-CRF效果还可以。但因为业务方要求快速上线我先用了无CRF的BiLSTMsoftmax想着后期再加上CRF。结果上线后发现预测结果里频繁出现“同一实体被拆成两半”的问题比如同一个公司名前半截是“B-ORG”后半截突然变成“O”然后再接“I-ORG”完全不符合实体边界规律。后来加上CRF层这类错误几乎消失了F1值也稳定提高。这个经历让我印象很深刻CRF对于一个合规的标签序列不只是锦上添花而是一个强约束。尤其当你的标签体系复杂、实体种类多的时候没有全局约束模型很容易在“标签一致性”上翻车。如果你也在做类似的抽取任务我建议从第一天就把CRF加进去不要拖到后期再补。7. 学习路径与扩展思考7.1 从这三个模型延伸到深度学习序列建模这三兄弟的数学基础学扎实之后再看现在的深度学习序列模型会有一种“原来如此”的感觉。很多现代模型里的结构化预测模块比如基于Transformer的线性层后加CRF本质还是在做“发射打分转移打分”这两件事。只不过发射打分由神经网络学到了更加丰富的语义特征转移打分还是那个转移矩阵。窗口从HMM的马尔可夫一阶依赖扩展到了Transformer的长程依赖但解码思路仍然保留着维特比和全局归一化。如果你接下来想看更进阶的内容我建议按这个顺序去探索先看结构化预测Structured Prediction的基础理论再了解最大间隔方法如SVMstruct然后看深度CRF和神经CRF的各种变体最后再看预训练模型如何与CRF结合做端到端的实体抽取。每一步都会发现老知识的新用途。7.2 数据量、算力和可解释性的权衡现在有很多新模型可以直接替代CRF比如用指针网络做实体抽取用生成式模型直接输出标签序列。但CRF的优势仍然非常突出训练稳定、解码可解释、部署简单。在数据量不大的任务里CRF的可控性明显优于端到端生成式模型。我在实际项目中遇到过一个只有几百条标注样本的任务用BERT-CRF跑得比任何纯生成式模型都稳。因为CRF的转移矩阵相当于一个强先验帮助模型在小数据场景下不敢随意乱跳。算力方面CRF本身很轻开销主要在特征提取器。如果你用CPU部署一个轻量LSTMCRF完全可以在几十毫秒内处理一句文本。这也是为什么很多企业做质检、日志分析、合同抽取时仍然首选这套方案。7.3 一个实用的小技巧从HMM到CRF的代码迁移如果你手头有一套HMM的实现想快速改成CRF有个很简单的方法把HMM里的发射概率log值直接当成CRF的发射分数把转移概率log值当成CRF的转移分数先不训练直接固定住你会得到一个性能接近HMM但形式上已经是CRF的模型。接下来再让转移分数和发射分数变成可学习参数用梯度下降跑几个epoch效果就会逐渐超过原来的HMM。这个迁移过程能帮你直观感受到“概率换成分数”的差别HMM里的概率有严格的归一化和非负要求但CRF的分数没有这些要求可以是任意实数。这也意味着CRF的表达能力更强——它不需要概率论里那些约束只需要能比较大小就够了。我自己在做序列标注项目时越来越习惯先把任务抽象成“发射打分转移打分全局归一化”的框架而不是先考虑具体用什么模型。这个思维一旦建立很多看似复杂的模型都能被拆解成这三个模块的组合。HMM、MEMM、CRF作为经典的实例恰好把这三个模块的演化史讲得明明白白。学习这一块最忌讳的就是只看公式不动手。哪怕你照着网上的开源库跑一个简单的命名实体识别demo也能亲身感受到CRF解码带来的约束感。动起手来这几个模型之间“看似相似、实则天壤之别”的地方才会真正刻进脑子。