前言先把标题里的前提点破「每秒千次」对单一站点发起请求不是技术指标而是压站行为。任何有一定规模的网站一秒收到上千次来自同一来源的请求都会被判定为异常流量并触发限流甚至封禁从合规角度这也不符合「礼貌抓取」的基本共识。所以本文不教你冲这个数字而是反过来讲怎么用asyncioaiohttp把并发压到一个可控、可解释的值并配合限速访问公开页面。需要明确aiohttp是第三方库不属于 Python 标准库需要单独安装。本文只描述它的典型用法思路具体 API、参数名与行为以 aiohttp 官方文档为准。正文真正要讲的是两件事一是aiohttp怎么和事件循环配合做异步请求二是用asyncio.Semaphore控制并发上限——这才是高并发抓取里最有价值的工程技能比任何「每秒多少次」的口号都管用。一、aiohttp 是什么为什么用它标准库urllib.request是同步的一个请求要阻塞到响应回来。放进协程里它会把整个事件循环卡住。aiohttp提供了基于asyncio的 HTTP 客户端让「发出请求」和「等待响应」这两步都能await等待期间事件循环可以去处理其他请求。一个最典型的用法骨架是先建一个客户端会话session在会话里发起请求请求返回的对象作为异步上下文管理器读取响应体。# 适用于 Python 3.8需要第三方库 aiohttpAPI 细节以其官方文档为准import asyncioimport aiohttpasync def fetch_one(session, url):async with session.get(url) as resp:resp.raise_for_status()return await resp.text()async def main():async with aiohttp.ClientSession() as session:html await fetch_one(session, https://example.com/)print(len(html))asyncio.run(main())这里有两个实践原则一个会话复用连接。ClientSession内部维护连接池复用 TCP 连接能显著减少握手开销。不要每请求都新建 session。会话要用async with或手动await session.close()。忘了关闭会留下「Unclosed client session」警告长期运行会泄漏资源。二、用 Semaphore 限制并发上限无限并发是这个领域最大的坑。你以为「有多少 URL 就并发多少」是高效实际上本地文件描述符会被耗尽对目标站构成突发压力容易被封大量连接同时等待反而拖慢整体。正确做法是用信号量asyncio.Semaphore把「同时进行」的请求数量锁死在一个小值上。信号量的语义是拿不到名额就等有人释放了才轮到下一个。# 适用于 Python 3.8需要第三方库 aiohttpimport asyncioimport aiohttpasync def fetch_one(session, sem, url):async with sem: # 超过上限就在这里排队async with session.get(url) as resp:resp.raise_for_status()return await resp.text()async def crawl(urls, limit5, delay0.5):sem asyncio.Semaphore(limit) # 最多 limit 个请求同时进行results []async with aiohttp.ClientSession() as session:async def task(u):html await fetch_one(session, sem, u)await asyncio.sleep(delay) # 每个请求后主动退让降低频率return htmltasks [asyncio.create_task(task(u)) for u in urls]for coro in asyncio.as_completed(tasks):results.append(await coro)return results信号量里有几个值得注意的细节limit设多大没有万能值。对公开页面从个位数起步观察目标站的响应时间与是否返回 429/503再决定要不要调整。宁可慢不要打到对方。用asyncio.sleep(delay)做请求间隔是简单的限速手段想更精确可以算令牌桶但对个人规模的采集没必要上那么复杂。Semaphore是asyncio自带的协作式原语不能用threading.Semaphore代替后者会阻塞事件循环。三、合规抓取的最低要求并发能力是一把双刃剑用之前先满足这几条遵守 robots.txt标准库urllib.robotparser可以解析它。被标注为不允许的路径就别抓。只抓公开页面不要试图绕过登录墙、付费墙——本文也不提供任何此类做法。限速与退避既控制并发数也在收到 429/503 时退避重试而不是加倍猛冲。标明身份给请求带上说明用途的 User-Agent方便站长识别与联系别伪装成浏览器做对抗。尊重数据许可抓下来的内容能否存储、二次使用要看网站条款与当地法规。# 适用于 Python 3.8import urllib.robotparserdef can_fetch(url: str, user_agent: str *) - bool:rp urllib.robotparser.RobotFileParser()rp.set_url(https://example.com/robots.txt)# 实际使用时需先 rp.read()会发起网络请求这里只演示判定逻辑rp.parse([User-agent: *, Disallow: /private/])return rp.can_fetch(user_agent, url)上面为了可读性直接用parse()喂了几行规则文本真实使用时可以先rp.read()去拉取 robots.txt。can_fetch(useragent, url)返回布尔值告诉你这个地址是否允许抓取。四、一个更完整的骨架带超时与错误隔离把前面的点拼起来就是一段可以直接改改就用的骨架会话复用、并发上限、单请求超时、失败不拖垮整体。# 适用于 Python 3.8需要第三方库 aiohttpAPI 细节以其官方文档为准import asyncioimport aiohttpasync def fetch(session, sem, url, timeout10.0):async with sem:try:async with session.get(url, timeoutaiohttp.ClientTimeout(totaltimeout)) as resp:resp.raise_for_status()return url, await resp.text()except (aiohttp.ClientError, asyncio.TimeoutError) as exc:return url, fERROR: {type(exc).__name__}async def main(urls):sem asyncio.Semaphore(5)async with aiohttp.ClientSession() as session:tasks [asyncio.create_task(fetch(session, sem, u)) for u in urls]for done in asyncio.as_completed(tasks):url, body await doneprint(url, len(body))if __name__ __main__:asyncio.run(main([https://example.com/] * 10))要点解释每个任务内部包了try/except单个请求失败只影响它自己其他任务照跑。这是「错误隔离」。超时用aiohttp.ClientTimeout其具体参数名以官方文档为准配合asyncio.wait_for也可以但一层就够不要叠。as_completed让结果按完成先后返回不必等最慢的那个。再次强调把Semaphore(5)改成Semaphore(1000)不会让你「每秒抓一千次」只会让你更快被封、更快把本地文件描述符用光。常见坑点把「每秒千次」当目标❌ 无限并发猛冲单一站点✅ 用Semaphore把并发压到个位数并加请求间隔每个请求都新建 ClientSession❌ 在fetch里aiohttp.ClientSession()✅ 全程复用一个 session用async with管理生命周期session 用完不关❌ 脚本结束冒出 Unclosed client session 警告✅async with aiohttp.ClientSession() as session:或显式await session.close()用线程版同步原语❌threading.Semaphore/queue.Queue放进协程✅ 用asyncio.Semaphore/asyncio.Queue不读响应、不判断状态码❌ 只session.get(url)就算成功✅resp.raise_for_status()并对 429/503 做退避收到限流还加倍重试❌ 429 后立刻再发更多请求✅ 指数退避仍被拒就停手绕过 robots.txt 或登录墙❌ 想方设法抓不允许访问的内容✅ 只用合规途径访问公开页面遵守站点规则把 aiohttp 的 API 当标准库背书❌ 凭记忆写参数名并声称是官方接口✅ 不确定就以 aiohttp 官方文档为准只写确定的用法总结主题错误认知正确做法并发数越多越快用Semaphore限制上限会话每请求一个 session全程复用用后关闭频率冲到极限加延迟、退避、遵 robots.txt异常一失败全崩任务内 try/except 隔离库属性标准库第三方以官方文档为准aiohttp的价值在于让成百上千个「等待响应」的时刻重叠起来而不是让你把某个站点打垮。真正需要练的功夫是知道并发上限该设多少、什么时候退避、哪些内容不该抓。把这些想清楚你写的采集脚本才是能长期跑下去的。