简介这是一篇《机器学习算法在P2P网贷平台风险评级中的应用》的学术论文PDF面向金融科技研究者、互联网金融从业者及机器学习爱好者系统阐述如何利用机器学习模型对P2P平台及其借款人进行风险评级。论文刊于《时代金融》2017年以网贷之家真实平台数据为基础先采用无监督学习的二分K-means聚类对网贷平台分类并评定风险等级再运用有监督学习算法研究借款人信用风险实验表明AdaBoost算法效果最佳。内容覆盖原始数据抓取、指标变量处理、算法原理推导与实证对比读者可从中获得完整的研究设计思路、实验步骤和可引用的结论也可借鉴其将聚类与集成学习结合的风险分析框架。资源文件总数1个为PDF格式压缩包大小2.13MB支持离线阅读与重点标注。目前已有131人学习适合用于学术论文写作、课题研究或专业方向指导。1. 机器学习算法做P2P风险评级先想清楚这三件事把机器学习算法塞进P2P网贷平台的风险评级本质上是在回答一个老问题借出去的钱哪些人大概率还不上。传统做法是风控人员凭经验打分但面对几万条借款申请人工根本看不过来而且判断标准因人而异——机器学习算法在这里的价值是把“逾期风险”从主观经验变成可重复、可量化的预测结果。这个场景并不玄学它就是标准的二分类监督学习用借款人的历史数据训练模型预测未来发生逾期的概率。适合谁适合已经在做信贷业务、有历史还款数据、想用更客观的方式替代或辅助人工审核的团队。但我要先泼一盆冷水这个标题听起来很美好落地时真正的难点不在算法本身而在数据质量、标签定义和特征工程这三件事上算法反而是最容易的部分。2. 从业务问题到监督学习标签定义与样本窗口2.1 逾期标签怎么定别小看这个二分类做P2P风险评级第一步不是选算法而是把“风险”翻译成模型能学的标签。行业里最常见的做法是把逾期超过某个天数定义为坏客户。这个天数不是拍脑袋定的——定太短比如逾期1天就算坏会把只是忘记还款的好客户误伤定太长比如逾期180天样本量可能少到模型学不出东西。我的一般做法是先用M3逾期超过90天作为坏客户标准因为M3以上的回收率显著下降业务上基本等同于损失。同时看FPD首期逾期率作为辅助指标如果首期逾期率特别高说明反欺诈环节有漏洞那不是评级模型该管的事。标签定义直接影响样本量和正负样本比例这一步错了后面全白做。import pandas as pd import numpy as np # 假设loan_df包含每一笔借款的记录 # repay_df包含每一期的还款流水 # 核心逻辑计算每笔借款从放款日到观察截止日的最大逾期天数 loan_df[loan_date] pd.to_datetime(loan_df[loan_date]) repay_df[due_date] pd.to_datetime(repay_df[due_date]) repay_df[actual_date] pd.to_datetime(repay_df[actual_date]) # 逾期天数实际还款日 - 应还日 repay_df[overdue_days] (repay_df[actual_date] - repay_df[due_date]).dt.days # 每笔借款的坏客户标签最大逾期天数 90 bad_label repay_df.groupby(loan_id)[overdue_days].max().reset_index() bad_label[is_bad] np.where(bad_label[overdue_days] 90, 1, 0) loan_df loan_df.merge(bad_label[[loan_id, is_bad]], onloan_id, howleft) print(loan_df[is_bad].value_counts())这段代码先把逾期天数算出来再按借款ID聚合取最大逾期天数最后生成二分类标签。参数说明overdue_days是核心中间变量 90这个阈值可以按业务调整有的平台用60天有的用120天关键是看逾期天数分布曲线的拐点在哪里。howleft确保没还款记录的借款也保留但这些样本要检查一下——没有还款记录可能是数据缺失也可能是借了就没还两种情况要分开处理。2.2 观察期与表现期模型的时间地基标签定好了接下来要解决一个更隐蔽的问题用什么时间段的特征去预测什么时间段的标签。这就是观察期和表现期的划分。观察期是收集特征的时间窗口表现期是判断是否逾期的时间窗口。两者必须严格错开否则就是用未来的信息预测过去模型线下表现会虚高。常见做法是观察期取申请日前6个月表现期取放款后12个月。为什么是12个月因为信贷风险需要足够长的周期才能暴露M3客户通常要等到第6个月才显现12个月能给足暴露时间。但P2P平台的借款期限长短不一有的只有3个月这种就不能统一用12个月表现期要按借款期限的分布来定。application_date pd.to_datetime(2022-01-01) # 观察期申请日前6个月 obs_start application_date - pd.DateOffset(months6) # 表现期放款后12个月 perf_start application_date perf_end application_date pd.DateOffset(months12) # 只保留观察期内有行为数据的样本 train_df loan_df[loan_df[loan_date] perf_start] # 只保留表现期已结束且能观察到结果的样本 train_df train_df[train_df[loan_date] pd.DateOffset(months12) perf_end]这段代码的核心是DateOffset——它把日期计算变成业务语义避免手动算月份差踩闰年和跨年的坑。参数说明观察期6个月和表现期12个月是两个最关键的窗口参数如果样本量不够可以缩短观察期到3个月但不要少于3个月否则特征覆盖度会严重不足表现期则优先保证完整性宁可减少样本量也不要截断表现期。2.3 原始数据字段盘点能用和不能用的P2P平台的原始数据大概分几类注册信息年龄、学历、职业、历史借款记录借款次数、在贷余额、历史逾期次数、行为数据登录频次、浏览时长、第三方数据征信查询次数、司法记录。这些字段不是都能直接进模型的有些是强变量有些是噪音。我的经验是先把字段分成两个清单可用字段和禁区字段。禁区字段包括借款人ID、姓名、手机号、身份证号等标识类字段这些字段放进模型会导致过拟合而且有数据合规风险还有申请日期这种时间字段直接放进模型会让模型学到季节趋势而非风险规律。可用字段里历史逾期次数、负债收入比、近3个月征信查询次数通常是P2P场景最强的三个变量。原始数据还有个普遍问题缺失率。第三方数据的缺失率经常超过50%这种字段直接丢弃太可惜可以考虑转成“是否缺失”的布尔特征往往这个布尔特征本身就有区分度——也许是因为第三方数据拉取失败的用户本身就属于风险较高或较低的人群。3. 特征工程把原始字段变成模型口粮WOE分箱与IV筛选3.1 为什么不直接把原始字段扔给模型很多新手直接把年龄、收入、借款金额扔给逻辑回归结果模型表现稀烂。问题在于逻辑回归是线性模型它假设特征与目标变量之间是线性关系而现实中年龄和逾期率的关系往往是倒U型——年轻人没钱还、中年人负担重、老年人收入低每个年龄段的风险原因不同。把原始数值直接放入模型模型只能学到单调关系学不到这种分段规律。解决方案是分箱。把连续变量切成若干区间每个区间单独计算坏客户占比再映射成WOEWeight of Evidence证据权重值。WOE的本质是衡量每个分箱内好客户与坏客户的分布差异公式是ln(坏客户占比 / 好客户占比)。WOE为正说明该分箱坏客户占比高于整体水平为负则相反。这样做的好处是不管原始特征是线性还是非线性变换后都变成单调且有业务含义的变量。import pandas as pd import numpy as np def calc_woe_iv(df, feature, target): # df: 数据集, feature: 要分箱的特征, target: 标签列(0好/1坏) # 简单等频分箱按分位数切成5箱 df[bin] pd.qcut(df[feature], q5, duplicatesdrop) grouped df.groupby(bin, as_indexFalse).agg( total(target, count), bad(target, sum) ) grouped[good] grouped[total] - grouped[bad] grouped[bad_pct] grouped[bad] / grouped[bad].sum() grouped[good_pct] grouped[good] / grouped[good].sum() # WOE和IV计算给分箱概率加平滑项避免除零 grouped[woe] np.log((grouped[bad_pct] 1e-6) / (grouped[good_pct] 1e-6)) grouped[iv] (grouped[bad_pct] - grouped[good_pct]) * grouped[woe] iv_total grouped[iv].sum() return grouped, iv_total # 计算年龄字段的IV值 age_woe, age_iv calc_woe_iv(train_df, age, is_bad) print(f年龄字段IV值: {age_iv:.4f})这个函数做了两件事先用pd.qcut做等频分箱再按公式算WOE和IV。参数说明q5是分箱数量箱数太少会丢失信息箱数太多每个箱的样本量不够稳定实践中5到10箱比较常见duplicatesdrop会自动处理数据中出现大量重复值导致分位数边界相同的情况分母加1e-6是为了防止某箱好客户为0导致除零错误如果你用的是sklearn的KBinsDiscretizer它是用策略参数控制分箱的原理一样但实现方式不同。3.2 IV值筛选把几十个特征砍到十几个特征不是越多越好这在风控场景里是铁律。特征太多会导致过拟合、训练时间变长、模型不稳定而且P2P场景里很多特征之间高度相关。IV值Information Value信息量是筛选特征的常用指标它衡量一个特征对坏客户的区分能力。经验阈值是IV小于0.02基本没用0.02到0.1勉强能用0.1到0.3是中等强度特征大于0.3是强特征。但要注意两个坑。一是IV高的特征不一定适合上线比如某个特征虽然区分度高但业务解释性差风控总监问起来你说不清楚这种特征很难过评审。二是IV对异常值敏感某个分箱里只有几个样本但坏客户占比100%IV会被拉得很高这其实是噪音而不是信号。def select_features_by_iv(df, features, target, threshold0.02): selected [] iv_dict {} for feat in features: # 缺失率超80%的特征直接跳过 if df[feat].isnull().mean() 0.8: continue _, iv_total calc_woe_iv(df, feat, target) iv_dict[feat] iv_total if iv_total threshold: selected.append(feat) # 按IV从高到低排序方便后续人工审核 iv_series pd.Series(iv_dict).sort_values(ascendingFalse) return selected, iv_series features [age, income, loan_amount, history_overdue, credit_count] selected_feats, iv_ranking select_features_by_iv(train_df, features, is_bad) print(iv_ranking)这段代码把筛选逻辑封装成一个函数。参数说明threshold0.02是IV筛选门槛实践中我会分两轮——先用0.02粗筛再用0.1精筛中间会结合相关性分析去重。缺失率0.8跳过不是硬性标准有的场景缺失率高的字段仍然有强区分度可以特判。筛选完成后务必把IV排序结果打印出来人工看一眼特征落在哪个分箱、WOE的单调性如何比单纯看数值重要得多。3.3 时间截面特征一个容易忽略的细节P2P场景的特征还有一个特殊性很多行为特征随时间变化。借款人在申请日的账户余额、近1个月的登录次数、近3个月的借款申请次数这些属于“截面特征”只取申请时点的值。但有些数据源记录的是全量历史比如“历史累计借款次数”如果不加时间窗口限制这个值在观察期内会一直增长造成特征穿越。我的做法是给每个行为特征加上明确的时间窗口限定近30天、近90天、近180天。这些窗口特征对模型更有价值因为近期的行为比久远的行为更能反映当前的风险状态。同时窗口越短的特征波动越大模型上线后容易不稳定所以要在区分度和稳定性之间权衡。经验值是核心特征用90天窗口辅助特征用30天和180天窗口对比取IV更高的那个。4. 模型选型与参数逻辑回归、随机森林与XGBoost的取舍4.1 为什么逻辑回归仍然是底线模型不管外面怎么追捧“十大机器学习算法”在信贷风控这个场景里逻辑回归始终是底线模型。原因有三个训练快、可解释性强、上线部署成本低。P2P平台的风控团队要定期面对监管和内部审计模型能不能说清楚“为什么拒绝这个借款人”逻辑回归可以给出清晰的概率和特征贡献方向。逻辑回归的缺点也很明显需要特征工程做得很精细因为它本身学习不了非线性关系。但这是缺点也是优点——强迫你先把特征做好而不是把一堆原始字段扔给黑匣子模型。我的习惯是先用逻辑回归跑出一个底线模型用这个模型的AUC作为基准后面所有复杂模型都要超过这个基准才值得上线。from sklearn.linear_model import LogisticRegression from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler # X是WOE变换后的特征矩阵y是坏客户标签 X_train, X_val, y_train, y_val train_test_split( X, y, test_size0.2, random_state42, stratifyy ) # 逻辑回归对特征尺度敏感先做标准化 scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train) X_val_scaled scaler.transform(X_val) # C是正则化强度的倒数C越小正则化越强 lr LogisticRegression(C0.1, max_iter500, solverliblinear) lr.fit(X_train_scaled, y_train) print(fTrain AUC: {roc_auc_score(y_train, lr.predict_proba(X_train_scaled)[:, 1]):.4f}) print(fVal AUC: {roc_auc_score(y_val, lr.predict_proba(X_val_scaled)[:, 1]):.4f})这段代码里最值得调的参数是C。C值过大容易过拟合C值过小模型太简单欠拟合我一般从1.0开始往0.1和0.01方向调。solverliblinear适合中小数据集和二分类场景大数据量可以换saga。stratifyy保证了训练集和验证集中坏客户比例一致这个在样本不均衡时很关键。4.2 XGBoost参数怎么落地调逻辑回归做底线XGBoost或LightGBM做上限这是P2P风控最常见的双模型策略。树模型能自动捕捉非线性关系对异常值也更鲁棒而且可以直接处理缺失值。但树模型的参数比逻辑回归多得多新手最容易在这里翻车。我的经验参数如下learning_rate控制在0.01到0.1之间学习率越小模型越慢但精度越高max_depth控制在3到6之间太深容易过拟合n_estimators配合早停来定而不是拍脑袋设500棵树subsample和colsample_bytree设置在0.7到0.9之间给模型加一点随机性防止过拟合。这些参数不是玄学每个都对模型的偏差方差权衡有直接影响。import xgboost as xgb from sklearn.model_selection import GridSearchCV # 先固定学习率用小步长试出合适的树的数量 xgb_model xgb.XGBClassifier( learning_rate0.05, max_depth4, n_estimators500, subsample0.8, colsample_bytree0.8, eval_metricauc, early_stopping_rounds50, random_state42 ) # 用早停找最优树的数量 xgb_model.fit( X_train, y_train, eval_set[(X_val, y_val)], verboseFalse ) print(fBest n_estimators: {xgb_model.best_iteration}) print(fVal AUC: {roc_auc_score(y_val, xgb_model.predict_proba(X_val)[:, 1]):.4f})这段代码的关键是early_stopping_rounds50模型发现在验证集上连续50轮AUC没有提升就自动停止训练避免过拟合。best_iteration告诉我们最优的树数量之后可以用这个值重新训练一次完整模型。参数说明subsample0.8表示每棵树随机使用80%的样本colsample_bytree0.8表示每棵树随机使用80%的特征这两个参数是树模型防过拟合的核心手段。4.3 双模型融合逻辑回归兜底树模型冲刺在P2P评级这个场景我不会只用一个模型而是做双模型融合策略是逻辑回归负责可解释性和稳定性XGBoost负责抓复杂模式最终用加权概率融合或分层决策。加权融合最简单最终得分 0.4 x LR概率 0.6 x XGB概率权重根据它们在验证集上的表现来定。分层决策则更业务化LR和XGB都判定为高风险的直接拒绝都判定为低风险的通过两者不一致的进入人工审核队列。后者的好处是把矛盾的样本交给人工降低了纯模型误判的风险。我一般两种都试看验证集上哪个的KS值更高。# 加权融合示例 lr_prob lr.predict_proba(X_val_scaled)[:, 1] xgb_prob xgb_model.predict_proba(X_val)[:, 1] # 权重网格搜索 best_weight 0.5 best_auc 0 for w in np.arange(0, 1.05, 0.05): combined w * lr_prob (1 - w) * xgb_prob auc roc_auc_score(y_val, combined) if auc best_auc: best_auc auc best_weight w print(fBest weight: {best_weight:.2f}, Fused AUC: {best_auc:.4f})这段代码用网格搜索找最优融合权重步长0.05已经够用不用更细因为权重的微小变化对最终AUC的影响很小。注意这里用的是验证集寻优找到最优权重后要在独立的测试集上重新验证防止权重本身过拟合到验证集上。5. 实战避坑五个经常翻车的细节5.1 样本不均衡别一上来就无脑过采样现象P2P场景中坏客户占比通常只有3%到10%直接用原始数据训练模型会把所有样本预测为好客户AUC看着不低但毫无业务价值。原因模型在优化整体准确率时预测全好客户就能做到90%以上的准确率自然倾向于走捷径。解决先试调整分类阈值而不是先动样本。在逻辑回归中把决策阈值从默认的0.5降到0.2甚至0.1看KS和AUC的变化。我见过不少案例模型本身没换只是阈值调低就能让坏客户召回率从20%提升到60%。如果调阈值不够再用SMOTE过采样或欠采样但后者会丢失好客户的信息要慎重。5.2 缺失值填充用全局均值这是一个大坑现象某字段缺失率30%用均值填充后模型训练出来这个特征的系数极其显著但上线后预测效果明显变差。原因全局均值填充掩盖了缺失本身的业务含义。P2P场景里很多缺失不是随机的——第三方征信数据拉取失败可能意味着用户授权不完整或信用记录过少这些缺失本身就携带风险信息。解决把缺失单独编码成一个分箱而不是填充。在WOE变换时缺失样本单独作为一箱参与计算让模型自己学缺失的权重。如果一定要填充用同组样本的中位数或众数但最终都要保留一个“是否缺失”的特征作为补充信号。5.3 线下AUC高但线上不准时间序列切分问题现象用随机切分的方式划分训练集和测试集线下AUC达到0.85上线后实际表现只有0.7。原因信贷数据有时间相关性随机切分会让训练集和测试集有重叠时间段的样本模型学到的是时间段内的规律而非跨时间的规律。解决必须用时间切分——按申请日期排序前70%的样本做训练集后30%做验证集和测试集。同时训练集和验证集之间要留出至少3个月的空窗期模拟真实的“用过去预测未来”场景。这是信贷建模最不能妥协的纪律。5.4 特征穿越用了申请时点还不存在的数据现象模型特征里包含“放款后30天的登录次数”而这个特征在申请时点根本无法获取。模型线下表现极好上线后崩溃。原因特征工程时不注意时间顺序把未来信息混进来了这在行业里叫特征穿越或未来函数。解决每条特征都要标注“截至申请日可获取”的时间约束。写代码时统一用一个as_of_date参数计算所有特征时强制限制在这个日期之前的数据。这个检查最好放在代码review里让同事互相盯一个人容易犯这种错。5.5 模型上线后不监控静默失效现象模型上线三个月后审批通过率没变但逾期率逐步上升团队没有察觉。原因用户群体在变信贷政策在变外部经济环境在变模型的预测能力会随时间衰减。没有监控机制衰减不会被发现。解决每周监控三个指标——PSI群体稳定性指数看特征分布漂移、KS看区分度变化、通过率和逾期率看业务结果。PSI小于0.1说明分布稳定0.1到0.25需要关注超过0.25就要考虑重训练了。6. 验证与上线KS和PSI决定了你敢不敢把模型放到生产环境6.1 KS和AUC各看什么AUC衡量的是模型全局的排序能力随机抽一个好客户和一个坏客户模型把坏客户排前面的概率。KS衡量的是模型在某个分数段的最大区分度它更能反映“在哪个阈值附近模型最能把好坏客户分开”。对P2P评级来说KS比AUC更具业务参考价值因为最终要选一个审批阈值。KS大于0.3算合格大于0.4算优秀小于0.2基本不能用。from sklearn.metrics import roc_curve def ks_value(y_true, y_prob): # 按概率排序后计算好坏客户的累计分布差异 fpr, tpr, thresholds roc_curve(y_true, y_prob) ks max(tpr - fpr) ks_threshold thresholds[np.argmax(tpr - fpr)] return ks, ks_threshold ks, best_thr ks_value(y_val, lr_probs) print(fKS: {ks:.4f}, 最优阈值: {best_thr:.3f})这段代码直接用roc_curve的中间结果计算KS。注意ks_threshold是模型得分的最优切分点但它只是统计意义上的最优业务上还要结合通过率和坏账率来确定最终阈值。6.2 阈值最终怎么定算坏账成本统计最优阈值不一定是业务最优阈值。假如拒绝一个坏客户能避免1万元损失但误拒一个好客户损失3000元佣金收入那么阈值就应该偏向宽松宁可放过一些坏客户也不误伤好客户。具体做法是拿到模型概率后把不同阈值下的通过率、坏账率、预期损失拉成一张表选总成本最低的点。def calc_profit_at_threshold(threshold, y_true, y_prob, loan_amount, bad_cost0.5): pred np.where(y_prob threshold, 1, 0) tp np.sum((pred 1) (y_true 1)) # 正确拒绝的坏客户 fp np.sum((pred 1) (y_true 0)) # 误拒的好客户 saved tp * loan_amount * bad_cost lost fp * loan_amount * 0.03 # 假设好客户贡献3%佣金 return saved - lost thresholds np.arange(0.1, 0.6, 0.05) best_t, best_p 0.1, -9999 for t in thresholds: profit calc_profit_at_threshold(t, y_val, lr_probs, 10000) if profit best_p: best_p profit best_t t print(f业务最优阈值: {best_t:.2f}, 预期收益: {best_p:.0f})这个函数把决策阈值换算成钱是我最推荐的方式。参数说明bad_cost0.5表示一笔坏账回收后仍需承担约50%的本金损失0.03是好客户贡献的毛利率这两个值要根据平台实际经营数据去填填错了算出来的阈值会偏离业务真实最优解。6.3 我的收尾习惯在P2P风控建模这件事上我吃过最大的亏就是对数据太乐观对时间窗口太随意。现在每个项目启动前我必先把标签定义和时间窗口写成一页纸方案让业务方签字确认再去碰数据。模型训练完必须做时间切分验证和特征穿越自检这两关过不了再高的AUC我都不会上线。评分卡时代的前辈留下的一句话我一直记着风控模型不是想做就做而是敢做敢停。希望这套方案和踩坑记录帮你在机器学习算法落地风险评级时少走几条弯路。本文还有配套的精品资源点击获取