告别海外账号与网络限制稳定直连全球优质大模型限时半价接入中。 点击领取海量免费额度1. 这次要跑通什么日志脱敏脚本 Token 账本日志脱敏是个很典型的“看起来简单、跑起来全是坑”的任务。你要把sample.log里的邮箱和手机号替换成占位符规则本身不复杂但真实日志里邮箱可能带别名、手机号可能夹在 URL 参数里、还可能混着时间戳里的数字串。我这次用 MiniMax M3 来生成脱敏脚本重点不是“能不能写出来”而是三件事脱敏准确率、每千行 Token 消耗、失败样例归类。产物有三样一份可直接跑的 Python 脱敏脚本、一份 Token 账本 CSV、以及模型响应样例。TaoToken 出现在两个位置——拿 Key 和提供 Token 账本对照基线。你到 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_generateutm_content 创建 Key把 Base URL 填https://taotoken.net/api后面所有调用都走这个入口。适合谁看需要批量处理日志、又想把 Token 成本算清楚的人。下面按“准备样本 → 生成脚本 → 接入配置 → 验证与失败分支 → 成本与模型选择”走一遍。2. 准备样本与生成脱敏脚本先造一份sample.log故意埋几种边界情况方便后面统计准确率和归类失败样例。cat sample.log EOF 2024-05-01 10:00:01 INFO useraliceexample.com phone13800138000 actionlogin 2024-05-01 10:00:02 INFO userbobtagmail.co phone8613900139000 actionpay 2024-05-01 10:00:03 WARN callback urlhttps://api.test.com?emailcarolsub.domain.orgphone13700137000 2024-05-01 10:00:04 INFO order20240501100004 userdavex.io phone13600136000 2024-05-01 10:00:05 ERROR retry3 userevetest.cn phone13500135000 ts1714000000 EOF wc -l sample.log5 行样本覆盖普通邮箱、带别名邮箱、URL 参数里的邮箱和手机号、纯数字订单号干扰、时间戳干扰。接下来让 MiniMax M3 生成脚本。调用走 OpenAI 兼容格式Base URL 用 TaoToken 的地址。import os from openai import OpenAI client OpenAI( api_keyos.environ[TAOTOKEN_API_KEY], base_urlhttps://taotoken.net/api ) prompt 写一个 Python 脚本 desensitize.py读取 sample.log 把邮箱替换为 [EMAIL]手机号含 86 前缀替换为 [PHONE]。 要求 1. 用正则邮箱要能匹配带 别名的形式 2. 手机号匹配 1[3-9]\\d{9}可选 86 前缀 3. 不要误伤订单号和时间戳 4. 输出脱敏后的文件 sample.masked.log并打印替换计数。 只输出代码。 resp client.chat.completions.create( modelMiniMax-M3, messages[{role: user, content: prompt}], temperature0.2 ) print(resp.choices[0].message.content) print(usage:, resp.usage)这里resp.usage就是 Token 账本的原始数据prompt_tokens、completion_tokens、total_tokens三个字段直接进 CSV。模型返回的代码我贴一段核心逻辑正则部分它写得比较稳import re EMAIL_RE re.compile(r[A-Za-z0-9._%\-][A-Za-z0-9.\-]\.[A-Za-z]{2,}) PHONE_RE re.compile(r(?:\86)?1[3-9]\d{9}) def desensitize(line): line, n_email EMAIL_RE.subn([EMAIL], line) line, n_phone PHONE_RE.subn([PHONE], line) return line, n_email, n_phone注意手机号正则放在邮箱之后执行避免邮箱里的数字被误判。这个顺序是模型自己加的注释实测下来确实必要。3. TaoToken 接入与配置拿 Key 的入口在 https://taotoken.net/api-keys 创建后复制出来别写进代码用环境变量。export TAOTOKEN_API_KEYsk-你的KeyBase URL 固定填https://taotoken.net/api不要带路径后缀。如果你用 curl 直接测可以这样验证连通性curl https://taotoken.net/api/v1/chat/completions \ -H Authorization: Bearer $TAOTOKEN_API_KEY \ -H Content-Type: application/json \ -d { model: MiniMax-M3, messages: [{role:user,content:ping}], max_tokens: 16 }返回里带usage字段就说明通了。模型名以官网文档为准不同版本命名可能有差异接入前到 https://taotoken.net/doc 核对一下当前可用的模型标识。配置层面就两件事Key 走环境变量Base URL 走 TaoToken 入口。剩下的调用逻辑和你平时用 OpenAI SDK 没区别。4. 可验证结果与失败样例归类跑脚本把结果和计数打出来python desensitize.py cat sample.masked.log预期输出里aliceexample.com、bobtagmail.co、carolsub.domain.org、davex.io、evetest.cn全部变成[EMAIL]13800138000、8613900139000、13700137000、13600136000、13500135000全部变成[PHONE]订单号20240501100004和时间戳1714000000保持不变。脱敏准确率按“正确替换数 / 应替换总数”算这份样本是 10/10。Token 账本 CSV 这样生成每跑一次追加一行import csv, datetime with open(token_ledger.csv, a, newline) as f: w csv.writer(f) w.writerow([ datetime.datetime.now().isoformat(), MiniMax-M3, resp.usage.prompt_tokens, resp.usage.completion_tokens, resp.usage.total_tokens, desensitize.py ])每千行 Token 消耗 total_tokens / 行数 * 1000。5 行样本如果 total_tokens 是 800那每千行约 160000 tokens——注意这是“生成脚本”的一次性消耗不是“处理日志”的消耗。真正处理日志时脚本本地跑不再调模型这点要分清楚否则账本会算错。失败样例归类我遇到三类一是邮箱正则漏掉带的别名早期版本会截断成tagmail.co二是手机号误伤订单号因为订单号里也有连续数字三是 URL 参数里的phone被替换后保留但值没了格式上没问题但语义要确认。这三类分别对应“正则边界”“上下文干扰”“格式保留”归类后回填到脚本注释里下次改规则有据可查。5. 限制、成本与模型选择MiniMax M3 在这类结构化文本处理任务上表现稳定正则生成基本一次过但有两个限制要说清楚。第一它不会主动帮你验证正则的边界86前缀和订单号干扰是我手动加进样本才暴露的你最好也准备一份“对抗样本”。第二长日志文件不要整份塞进 prompt模型上下文有上限正确做法是让模型生成脚本、脚本本地跑Token 消耗只发生在生成阶段。成本方面Token 账本的意义就是让你看到每次生成的实际消耗。生成脚本这种任务 completion 通常比 prompt 长因为代码是输出。模型选择上MiniMax M3 适合需要一次性产出完整可运行代码的场景如果只是改一行正则用更小的模型更划算。具体价格和可用模型以官网为准到 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_generateutm_content 看当前说明。最后给个实用技巧把sample.log和token_ledger.csv放同一个目录每次改脚本前先git commit一版失败样例归类直接写进 commit message。这样 Token 账本和脚本版本能对上回头查“哪次改动让准确率掉了”特别快。 告别海外账号与网络限制稳定直连全球优质大模型限时半价接入中。 点击领取海量免费额度