物品冷启动 : 评价指标优化冷启的目标 :1.精准推荐 : 克服冷启的困难 , 把新笔记推荐给合适的用户 , 不引起用户方案 ;2.激励发布 : 流量向低曝光新笔记倾斜 , 激励作者发布 ;3.挖掘高潜 : 通过初期小流量的试探 , 找到高质量的笔记 , 给与流量倾斜.作者侧指标 : 发布渗透率 , 人均发布量 ; (反应作者的发布意愿)发布渗透率 : (可以衡量作者的发布积极性)发布渗透率 当日发布人数 / 日活人数发布一篇或以上 , 就算一个发布人数 ;人均发布量 :人均发布量 当日发布笔记数 / 日活人数发布渗透率 , 人均发布量反映出作者的发布积极性 .冷启的重要优化目标是 促进发布 , 增大内容池 ;新笔记获得的曝光越多 , 首次曝光和交互出现的越早 , 作者发布积极性越高 .用户侧指标 : 新笔记消费指标 , 大盘消费指标 ;新笔记的消费指标 :新笔记的点击率 , 交互率 .但这里存在的问题是 : 曝光的基尼系数很大 ; 少数头部新笔记占据了大部分的曝光 , 因此 , 只有头部热门新笔记获得好的曝光 , 消费指标依然会很高 ;为了解决这个问题 , 需要分别考察高曝光 , 低曝光新笔记 .大盘消费指标 : (目标是 : 确保新的策略不会显著伤害大盘指标)大盘的消费时长 , 日活 , 月活 .内容侧指标 : 高热笔记占比 .(反应冷启能否挖掘出有优质笔记)高热笔记占比越高 ,说明冷启阶段挖掘优质笔记的能力越强 ;冷启动的优化点 :优化推荐全链路 ; (包括召回和排序)流量调控 ( 流量怎么在新物品 , 老物品中分配)物品冷启动 : 简单的召回通道召回的难点 :新笔记缺乏重要信息 :1 . 没有用户交互 , 点赞等信息(无法使用ItemCF 与 User CF) ; 2. 没有笔记ID Embedding(从用户与笔记的交互中学习得到的) ;冷启召回的困难 :由于缺乏用户交互 , 还没学好笔记ID Embedding , 导致双塔模型(推荐系统中最重要的召回通道) 效果不好 ;缺少用户交互 , 导致Item CF 不适用 ;召回通道 :(改进的) 双塔模型 : (重点是要解决笔记ID Embedding 还没有学好的问题 )改进方案一 : 新笔记使用default embedding .物品塔在做ID Embedding时 , 让所有新笔记共享一个ID , 而不是使用自己真正的ID .Default Embedding : 共享的ID对应的Embedding 向量 . (全部使用一个学出来的Default Embedding , 比随机初始化得到的 或者全零的向量效果更好 )到下次模型训练的时候 , 新笔记才有自己的ID embedding 向量 .改进方案二 : 利用相似笔记embedding向量查找新笔记内容最相似的TopK的高曝笔记 ;把K个高曝笔记的Embedding向量取平均 , 作为新笔记的Embedding ;在实际中通常会使用多个向量召回池 :多个召回池 , 让新笔记有更多的曝光机会 ; (如 : 1小时新笔记 ; 6小时新笔记.....)多个召回池共用同一个双塔模型 , 那么多个召回池不增加训练的代价 .类目召回 :系统维护类目索引 :类目 - 笔记列表(按时间倒排)用类目索引做召回 :用户画像 - 类目 - 笔记列表取回笔记列表上的前k篇笔记 ( 即最新的k篇)基于关键词的召回 :系统维护关键词索引 :关键词 - 笔记列表 (按时间倒排)根据用户画像上的关键词做召回 ;基于类目与关键词召回的缺点 :缺点一 : 只对刚刚发布的新笔记有效 ;取回的是某类目/关键词下最新的k篇笔记 .发布几小时后 , 就再没有机会被召回 ;缺点二 : 弱个性化 , 不够精准 ;聚类召回 :基本思想 : 如果用户喜欢一篇笔记 , 那么他会喜欢内容相似的笔记 .需要事先训练一个神经网络 , 基于笔记的类目和图文内容 , 把笔记映射到向量 ;对笔记向量做聚类 , 划分为1000个cluster , 记录每个cluster的中心方向 . (K-means 聚类 , 用余弦相似度 ) ;聚类索引的构建方法 :一篇新笔记发布之后 , 用神经网络把它映射到一个特征向量 .从1000个向量(对应1000个cluster)中找到最相似的向量 , 作为新笔记的cluster , 这样新笔记就会绑定到一个cluster上.索引 :cluster - 笔记ID列表 (按时间倒排)线上召回的步骤 :首先会给定用户的ID , 然后便可以找到它的Last-n 交互的笔记列表 , 把这些笔记作为种子笔记 ;(用神经网络) 把用户交互的每篇种子笔记映射成向量 , 寻找最相似的cluster.(知道了用户对那些cluster感兴趣)从每个cluster的笔记列表中 , 取回最新的m篇笔记 ;最多会取回nm篇新笔记 ;内容相似模型 :聚类召回需要调用一个神经网络 , 把笔记图文内容映射到一个向量 , (如果两篇笔记的内容相似, 那么两篇笔记的向量便有较大的余弦相似度 )提取图文特征 :eg :通过CNN提取图片信息 , 得到对应的向量 ; 通过Bert 得到文字对应的向量 , 之后两向量进行拼接 , 然后输入到全连接层 , 得到一个输出的向量 , 便作为该笔记的特征向量 .两篇笔记的相似度:通过刚才的步骤 , 然后使用同样参数的全连接层 , 最后得到两篇笔记分别的特征向量 , 最后通过余弦相似度 , 来计算两篇笔记的相似度大小 .训练内容相似度模型 :正样本笔记 , 种子笔记 以及负样本笔记 均通过一个相同的神经网络 来得到对应的向量 , 之后分别计算 正样本与种子笔记的余弦相似度 , 以及 负样本笔记与种子笔记的相似度 .基本想法 : 鼓励Cos(a , b) 大于Cos(a , b-)种子笔记 , 正样本 (正样本的选取方式)方法一 : 人工标注二元组的相似度方法二 : 算法自动选真样本筛选条件 :只用高曝光笔记作为二元组( 因为有充足的用户交互信息)两篇笔记有相同的二级类目 , 比如都是菜谱教程筛选后 , 用ItemCF的物品相似度选正样本 .种子笔记 , 负样本 从全体笔记中随机选出满足条件的 :字数较多 ; 笔记质量高 , 避免图文无关 ;物品冷启动 : Look-Alike人群扩散 :思想 : 来源于互联网广告 ;eg :Tesla 自己知道他们产品的受众用户是 : 年龄25-35 , 本科学历以上 , 关注科技数码 , 喜欢苹果数字产品 .满足这里所有条件的用户 , 被称为种子用户 , 但这样的用户通常不会很多 , 只会有几万人 .为了找到潜在的种子用户 , 便会使用Look-Alike进行人群扩散 , 来找到与种子用户相似的用户 .Look-Alike用于推荐时 , 如何计算两个用户的相似度 ?方法一 : UserCF : 通过分析两个用户的共同兴趣点来比较其相似度 .方法二 : 使用两个用户的ID Embedding , 计算两个向量的相似度 .Look-Alike用于新笔记召回 :Look-Alike人群扩散召回 :点击 , 点赞 , 收藏 , 转发 -- 用户对笔记可能感兴趣 ;把有交互的用户作为新笔记的种子用户用Look-Alike 在相似用户中扩散 .具体做法 :当新笔记发布时 , 将有交互的用户作为种子用户 , 将其特征向量取平均 , 便得到一个新的特征向量 , 这些特征向量会存放到数据库中 , 之后新用户刷新时 , 便会比较该用户的向量 与 数据库中向量的相似性 , 若相似 , 则将对应的新笔记推荐给他 .特征向量需要近线更新 , 每当有用户交互该物品 , 就需要更新该笔记的特征向量 .