引言概念人工智能AL机器学习ML人工智能包括了感知、决策和行动三个方面的能力。机器学习可以分为监督学习、无监督学习、半监督学习、强化学习。监督学习分为分类问题、回归问题、排序问题三大类。无监督在数据中发现规律。例聚类、密度估计、降维。强化学习机器学习的4个基本元素1.特定样本集、2.目标函数、3.模型、4.优化过程、优化算法。机器学习模型的性能评估均方误差、平均绝对误差或最大误差评估有监督学习的回归错误率、准确率评估有监督学习的分类精度又叫查准率、召回率又叫查全率评估有监督的二分类P15F12*Pr*Re/(PrRe) //F1值综合考虑了精度和召回率值越大模型越准确。精度和召回率是相矛盾的指标。下图是P-R曲线。ROC曲线横轴为假阳率纵轴为真阳率。混淆矩阵评估有监督的多分类主对角线的元素之和为正确分类的样本数其他元素之和为错误分类的样本数。对角线的值越大分类器准确率越高。一些概念泛化一个模型对于在训练过程中未曾见过的数据的表现能力。也就是说一个具有良好泛化能力的模型在训练集之外的数据上也能表现出色。过拟合过拟合是指为了得到一致假设而使假设变得过度严格在训练误差达到很理想的结果但在测试集误差很大。训练集获得的过程难免引入噪声而训练过程模型过度拟合了噪声的趋势。解决方法增加数据集、降低模型复杂度、正则化。欠拟合欠拟合是指模型不能在训练集上获得足够低的误差。换句换说就是模型复杂度低模型在训练集上就表现很差没法学习到数据背后的规律。/模型过于简单无法表达数据中较复杂的变换规律训练误差无法下降到较小的程度。正则化保持训练集规模条件下的降低过拟合方法。笔记概率基础贝叶斯概率基础描述两个相关的随机事件或随机变量的概率关系。概念1.先验概率2.条件概率3.后验概率4.全概率5.贝叶斯贝叶斯分类器用贝叶斯公式解决分类问题预测出样本属于每个类的概率。三种贝叶斯分类器1.最小错误概率贝叶斯分类器使错误率最小后验概率最大的类作为分类输出前提条件使假设所有错误的代价是平等的。2.最小风险贝叶斯分类器还考虑了采取的分类策略后的后果。步骤典型题目流感传播如何对待疑似病例考虑对社会资源损失的影响。3.朴素贝叶斯分类器假设特征向量的各个分量相互独立若为离散分类器的预测函数为若为连续分类器的预测函数为典型题目西瓜分类。笔记回归分析一般情况下用于预测。研究因变量目标变量与自变量预测变量/特征之间的关系。通过学习得到模型确定模型参数的过程称为学习过程或训练过程带入新输入计算回归输出称为预测或推断。回归的目的建立一个回归函数/方程来预测目标值回归求解就是求回归方程的回归系数。评估因变量和自变量是否显著相关评估多个自变量对因变量的影响强度。最大似然许多机器学习模型属于参数化模型模型的表达式受一组参数控制即。对这类参数模型确定目标函数后通过在训练集上做优化求出参数向量最大似然方法是通过概率方法确定目标函数通过优化求得模型参数的常用技术。若通过概率方法表达这类模型时得到的概率表达式中包含了待求的参数则其概率表达式可表示成的形式首先通过这种概率形式给出似然函数的一个定义。似然函数。若将表达样本数据的随机向量的概率密度函数中的x固定即x取样本值将作为自变量考虑变化对的影响这时将称为似然函数可用表示似然函数。最大似然估计。对于一个样本向量x令时使似然函数达到最大则为参数的最大似然估计MLE。其中表示的取值空间。可设表示似然函数也可直接用作为似然函数。实际上更方便的是取似然函数的对数称其为对数似然函数。由于对数函数是0到正无穷区间的严格增函数所以和的最大值点一致。求最大值点对或求导最后求得参数。最小二乘法最小二乘法首先需要计算的逆矩阵。最小二乘法只适用于线性模型。参考文章机器学习十大经典算法之最小二乘法 - 知乎梯度下降不能用最小二乘法的可以用梯度下降。每个方向的偏导函数就是梯度。梯度下降法从初始点开始不断调整步伐和方向找出最优解。必须将所有资料点通通进行运算产生梯度。随机梯度下降算法SGD随机抽取足够多的资料点。正则化给线性回归的目标函数加上正则化项可以提高泛化能力结果过拟合。L1正则化项绝对值L2正则化项平方线性回归和逻辑回归线性回归主要是预测。逻辑回归将线性回归的值域映射到[0,1]区间内大于临界一类小于临界值分到另一类从而实现二分类。笔记分类算法决策边界特征空间中类别之间的界限。可以帮助我们直观地理解模型的分类效果特别是在低维特征空间中。线性判别函数模型——Fisher线性分类器LDA思想投影后类内方差最小类间方差最大。决策树分层的决策结构用于分类和回归是非参数学习方法归纳推理类算法。树形结构。ID3按信息增益C4.5按信息增益率CART只要剪枝后错误没增加就可以剪枝。笔记聚类和主成分分析聚类算法用于无监督分析。K均值聚类K-means为了分类。具体步骤K表示初始中心点个数计划聚类数Means求中心点到其他数据点距离的平均值。1.随机设置K个特征空间内的点作为初始的聚类中心2.对于每个点计算到K个中心的距离3.重新计算出每个聚类的新中心点平均值4.如果计算得出的新中心点与原中心点一样那么结束否则重新进行第二步。当迭代结果不变停下。主成分分析PCA高维数据由几个隐向量组成为了降维投影最后方便分类。人工神经网络要求给函数如sigmoid、tanh会计算输出。激活函数激活函数是为了引入非线性因素。早期激活函数1.符号激活函数2.门限激活函数饱和激活函数sigmoid、tanh1.sigmoid函数近似门控函数取值范围[0,1]2.tanh双曲正切函数近似符号函数取值范围(-1,1)非饱和激活函数ReLU、Leaky ReLU1.ReLU2.Leaky ReLU渗漏ReLU感知机感知机是输入特征向量输出分类以阶梯函数激活的人工神经元典型的线性分类器可做二分类决策。感知机算法设定准则函数的依据是最终分类器要能正确分类所有的样本。感知机算法的准则函数等于所有错分样本函数值之和乘-1。存在错分其值大于0都分类正确才能取到极小值。修改权向量/权向量递推神经网络的目标函数J(w)求系数批量梯度法随机梯度法学习速率调整步长实质是梯度下降法中每一步向当前负梯度方向调整的大小因子也就是分类器学习到最优权向量的速度。越大求解越快但求解路径不光滑精度差容易过冲甚至震荡。越小求解越慢但精度高。梯度下降法训练分类器精度和速度间存在矛盾。多层感知机MLP至少包含一个隐藏层。单层只有输入层和输出层只能学习线性函数。多层至少包含一个隐藏层可以学习非线性函数。神经网络目标函数和优化梯度算法梯度随机小批量随机梯度链式法则导出反向传播算法(BP)强化学习基本概念智能体环境笔记强化学习里智能体和环境的交互通过马尔科夫决策过程(MDP)进行建模。五元组(S状态集合APry)A(S)状态下可能的动作集合。表示状态s下采取行动时跳转到的转移概率。奖励函数r折扣因子y属于[0,1]之间。强化学习要学习策略从状态到行为的映射函数。强化学习的决策机制估值函数衡量某状态最终能够获得多少累计奖励。Q函数衡量某个状态下采取某个行为后最终能获得多少累计奖励。马尔可夫性质某时刻的状态只取决于上一时刻的状态被称为具有马尔可夫性质。贝尔曼方程是强化学习中的一个重要数学工具它描述了在不同状态和行动下如何计算和优化状态值或动作值。这个方程通过递归来定义最优解通常以动态规划的形式出现帮助确定在给定的策略下从当前状态到未来状态可能的最大或最小累积回报。强化学习要获得长期的累计收益最大化所以不能局限于当前即时奖励还要考虑到未来可能的奖励。典型算法Q-learning不断更新Q值函数。-Greedy贪婪算法以概率随机选择行为1-概率选择目前带来最大收益的行为更新收益函数Q。强化学习分类按环境是否划分免模型学习、有模型学习按学习方式划分在线策略必须是本人边玩边学习、离线策略还可以选择从别人的经验学习按学习目标划分基于策略输出概率根据概率选动作、基于价值输出动作价值根据动作价值选