GO_网络编程---HTTP 编程

发布时间：2026/9/24 0:16:31

GO_网络编程---HTTP 编程
一、HTTP 基础前置知识1. 网页访问完整流程用户输入域名域名发送至DNS 服务器DNS 解析返回对应服务器 IP 地址客户端通过拿到的 IP 地址向 Web 服务器发起 TCP 连接客户端发送HTTP 请求包给服务端Web 服务器处理请求返回HTTP 响应包网页 HTML / 资源客户端浏览器渲染页面展示给用户。2. 基础概念SSL/TLSHTTP 明文传输不安全SSL/TLS 为 HTTP 加密层加密后协议为 HTTPS域名 URL域名方便人类记忆用于 DNS 解析成 IPURL完整资源定位地址包含域名、路径、请求参数HTTP 核心通信模型客户端浏览器 / 程序→ 请求包 → 服务端 → 响应包 → 客户端一问一答短连接。报文结构请求报文请求行 请求头key:value键值对 空行 请求体响应报文状态行 响应头 空行 响应体常见状态码200 OK请求成功404 Not Found请求资源不存在。二、底层 TCP 通信HTTP 底层基于 TCPHTTP 本质是封装后的 TCP 应用层协议先掌握原生 TCP 服务端 / 客户端。1. TCP 服务端代码go运行package main import ( fmt net ) func main() { // 1. 监听端口8000 listener, err : net.Listen(tcp, :8000) if err ! nil { fmt.Println(Listen err , err) return } defer listener.Close() // 延迟关闭监听套接字 // 2. 阻塞等待客户端连接 conn, errl : listener.Accept() if errl ! nil { fmt.Println(Accept errl , errl) return } defer conn.Close() // 延迟关闭客户端连接 // 3. 读取客户端发送的数据 buf : make([]byte, 1024*4) // 4KB缓冲区 n, err2 : conn.Read(buf) if n 0 { fmt.Println(Read err , err2) return } fmt.Printf(#%v#, string(buf[:n])) }2. TCP 客户端手动构造 HTTP 请求报文原生 TCP 手动拼接标准 HTTP1.1 请求报文向 HTTP 服务端发送请求并接收响应go运行package main import ( fmt net ) func main() { // 1. 主动连接TCP服务端 conn, err : net.Dial(tcp, :8000) if err ! nil { fmt.Println(dial err , err) return } defer conn.Close() // 2. 手动构造标准HTTP GET请求报文 requestBuf : GET /go HTTP/1.1\r\nAccept: image/gif, image/jpeg, image/pjpeg, application/x-ms-application, application/xamlxml, application/x-ms-xbap, */*\r\nAccept-Language: zh-Hans-CN,zh-Hans;q0.8,en-US;q0.5,en;q0.3\r\nUser-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.30729; .NET CLR 3.5.30729)\r\nAccept-Encoding: gzip, deflate\r\nHost: 127.0.0.1:8000\r\nConnection: Keep-Alive\r\n\r\n // 发送请求包服务端才会返回响应 conn.Write([]byte(requestBuf)) // 3. 读取服务器返回的HTTP响应报文 buf : make([]byte, 1024*4) n, errl : conn.Read(buf) if n 0 { fmt.Println(Read err , errl) return } // 打印完整响应报文 fmt.Printf(#%v#, string(buf[:n])) }三、Go 标准库 net/http 编程重点Go 内置net/http封装了 TCP 底层逻辑无需手动处理套接字快速实现 HTTP 服务端、客户端。核心 API 说明http.HandleFunc(path string, handler func(ResponseWriter, *Request))注册路由与处理函数http.ListenAndServe(addr string, handler Handler) error监听端口启动 HTTP 服务addr监听地址如:8000、127.0.0.1:8000handler统一处理器填 nil 使用默认多路分发器。1. 最简 HTTP 服务端固定路由访问地址http://127.0.0.1:8000/gogo运行package main import ( fmt net/http ) // 业务逻辑处理函数 func myHandler(w http.ResponseWriter, r *http.Request) { // w向客户端写响应数据 // r读取客户端请求信息 fmt.Fprintln(w, hello world) } func main() { // 注册路由访问/go 自动执行myHandler http.HandleFunc(/go, myHandler) // 监听8000端口启动HTTP服务 http.ListenAndServe(127.0.0.1:8000, nil) }2. 全局路由 HTTP 服务端根路径 /所有路径都匹配该处理函数使用w.Write()返回字节数据go运行package main import ( net/http ) // w给客户端回复数据 // req读取客户端发送的数据 func HandConn(w http.ResponseWriter, req *http.Request) { w.Write([]byte(hello go)) // 写入响应体 } func main() { // 注册根路由所有访问路径都会进入该函数 http.HandleFunc(/, HandConn) // 监听绑定8000端口 http.ListenAndServe(:8000, nil) }3. HTTP 服务端获取客户端完整请求信息通过*http.Request结构体提取请求方法、URL、请求头、请求体go运行package main import ( fmt net/http ) func HandConn(w http.ResponseWriter, r *http.Request) { // 打印客户端请求信息 fmt.Println(r.Method , r.Method) // 请求方法 GET/POST fmt.Println(r.URL , r.URL) // 请求URL与参数 fmt.Println(r.Header , r.Header) // 请求头所有key-value fmt.Println(r.Body , r.Body) // 请求体流 // 返回响应给客户端 w.Write([]byte(hello go)) } func main() { http.HandleFunc(/, HandConn) http.ListenAndServe(:8000, nil) }4. HTTP 客户端http.Get 网页请求模拟浏览器发起 GET 请求读取服务端响应状态、响应头、网页源码go运行package main import ( fmt net/http ) func main() { // 发起GET请求 resp, err : http.Get(http://www.baidu.com) if err ! nil { fmt.Println(http.Get err , err) return } defer resp.Body.Close() // 必须关闭响应体释放资源 // 打印响应基础信息 fmt.Println(Status , resp.Status) // 状态文本 200 OK fmt.Println(StatusCode , resp.StatusCode) // 状态码 200/404 fmt.Println(Header , resp.Header) // 服务端响应头 fmt.Println(Body , resp.Body) // 网页数据流 // 循环读取完整网页内容 buf : make([]byte, 4*1024) var tmp string for { n, err : resp.Body.Read(buf) if n 0 { fmt.Println(read err , err) break } tmp string(buf[:n]) } fmt.Println(网页完整内容\n, tmp) }四、实战网络爬虫基于 http 包爬虫四大步骤明确目标确定爬取网站、分页规则爬取HTTP GET 获取页面完整源码提取筛选需要的有效数据持久化数据写入文件 / 数据库。1. 单任务爬虫串行爬取速度慢go运行package main import ( fmt net/http os strconv ) // HttpGet 请求url返回页面完整源码 func HttpGet(url string) (result string, err error) { resp, err1 : http.Get(url) if err1 ! nil { err err1 return } defer resp.Body.Close() // 循环读取网页body buf : make([]byte, 1024*4) for { n, err : resp.Body.Read(buf) if n 0 { // 读取完毕或异常 fmt.Println(resp.Body.Read err , err) break } result string(buf[:n]) } return } // 爬取指定区间页面 func DoWork(start, end int) { fmt.Printf(正在爬取 %d 到 %d 的页面\n, start, end) // 贴吧分页规则pn(页码-1)*50 for i : start; i end; i { url : http://tieba.baidu.com/f?kw%E7%BB%9D%E5%9C%B0%E6%B1%82%E7%94%9Fieutf-8pn strconv.Itoa((i-1)*50) fmt.Println(当前爬取url , url) // 爬取页面源码 result, err : HttpGet(url) if err ! nil { fmt.Println(HttpGet err , err) continue } // 写入html文件保存 fileName : strconv.Itoa(i) .html f, err1 : os.Create(fileName) if err1 ! nil { fmt.Println(os.Create err1 , err1) continue } f.WriteString(result) f.Close() } } func main() { var start, end int fmt.Printf(请输入起始页 ( 1) :) fmt.Scan(start) fmt.Printf(请输入终止页 ( 起始页) :) fmt.Scan(end) DoWork(start, end) }2. 并发版爬虫goroutine 通道速度大幅提升核心优化每页启动独立 goroutine 并发爬取channel 做同步等待所有任务完成go运行package main import ( fmt net/http os strconv ) // 公共函数请求网页获取源码 func HttpGet(url string) (result string, err error) { resp, err1 : http.Get(url) if err1 ! nil { err err1 return } defer resp.Body.Close() buf : make([]byte, 1024*4) for { n, err : resp.Body.Read(buf) if n 0 { fmt.Println(resp.Body.Read err , err) break } result string(buf[:n]) } return } // 单个页面爬取协程函数 func SpiderPage(i int, pageChan chan- int) { url : http://tieba.baidu.com/f?kw%E7%BB%9D%E5%9C%B0%E6%B1%82%E7%94%9Fieutf-8pn strconv.Itoa((i-1)*50) fmt.Printf(正在爬第%d页网页%s\n, i, url) // 爬取页面 result, err : HttpGet(url) if err ! nil { fmt.Println(HttpGet err , err) pageChan - i return } // 保存文件 fileName : strconv.Itoa(i) .html f, err1 : os.Create(fileName) if err1 ! nil { fmt.Println(os.Create err1 , err1) pageChan - i return } f.WriteString(result) f.Close() // 爬取完成向通道发送页码标记任务结束 pageChan - i } func main() { var start, end int fmt.Printf(请输入起始页 ( 1) :) fmt.Scan(start) fmt.Printf(请输入终止页 ( 起始页) :) fmt.Scan(end) // 创建同步通道缓冲大小为总页面数 pageChan : make(chan int, end-start1) // 循环启动goroutine并发爬取 for i : start; i end; i { go SpiderPage(i, pageChan) } // 阻塞等待所有页面爬取完成 for i : start; i end; i { -pageChan } close(pageChan) fmt.Println(全部页面爬取完成) }五、学习总结HTTP 是应用层协议底层依赖 TCPDNS 负责域名转 IP 建立连接Go 原生net包可手动实现 TCP 通信手动拼接 HTTP 报文理解底层原理net/http标准库封装 TCP 细节一行代码快速搭建 HTTP 服务端 / 客户端服务端HandleFunc注册路由ListenAndServe启动服务客户端http.Get快速发起网页请求注意defer resp.Body.Close()释放资源爬虫基于 HTTP 客户端实现串行爬取效率低搭配 goroutinechannel 实现并发爬虫提速。

相关新闻

树莓派驱动6屏Cyberdeck：多屏扩展、3D打印外壳与系统配置全攻略

树莓派驱动6屏Cyberdeck：多屏扩展、3D打印外壳与系统配置全攻略

1. 项目概述：当树莓派遇上“赛博甲板”如果你和我一样，是个对复古未来主义科技和DIY硬件着迷的人，那么“Cyberdeck”这个词一定不会陌生。它源自赛博朋克文化，描绘的是一种高度个性化、模块化、甚至有点粗犷的便携式计算终端。最近…

2026/9/23 14:19:45 阅读更多 →
JS - 一些小技巧

JS - 一些小技巧

一、String Skill 格式化金钱 const ThousandNum num > num.toString().replace(/\B(?(\d{3})(?!\d))/g, ","); const money ThousandNum(19941112); // money > "19,941,112"生成随机ID const RandomId len > Math.random().toString(36).s…

2026/9/24 2:25:05 阅读更多 →
C++程序设计 原理与实践 Hello World std_lib_facilities.h

C++程序设计 原理与实践 Hello World std_lib_facilities.h

作为小白&#xff0c;刚开始看《C程序设计 原理与实践 第二版》&#xff0c;第2章 Hello World 书中的经典程序很简要 // hello_world.cpp #include "std_lib_facilities.h"int main() {cout << "Hello, World!\n";return 0; }笔者采用的是自带的cl…

2026/9/15 7:10:21 阅读更多 →

最新新闻

Word内容粘贴到富文本编辑器样式丢失？一套清洗管线方案彻底解决

Word内容粘贴到富文本编辑器样式丢失？一套清洗管线方案彻底解决

1. 问题根源&#xff1a;为什么Word内容一进浏览器就“变脸”做前端的人&#xff0c;尤其是跟CMS后台、富文本编辑器、协同文档打过交道的&#xff0c;基本都遇到过一个让人抓狂的场景&#xff1a;客户或者运营同事在Word里排版排得漂漂亮亮&#xff0c;标题带色、段落缩进、表…

2026/9/24 20:30:47 阅读更多 →
JavaWeb仓库管理系统：Layui+Layer+Laydate实战

JavaWeb仓库管理系统：Layui+Layer+Laydate实战

简介&#xff1a;这是一套面向JavaWeb初学者与信息系统课程设计者的完整仓库管理系统实战项目&#xff0c;聚焦企业库存管理核心场景&#xff0c;融合传统Web开发与基础AI应用理念。资源包含13个功能模块的可运行代码及配套文档&#xff0c;覆盖登录注册、商品/库存/出入库/订单…

2026/9/24 20:30:47 阅读更多 →
Python电影数据集探索实战：从清洗到可视化全流程

Python电影数据集探索实战：从清洗到可视化全流程

简介&#xff1a;一份基于Python的电影数据分析项目包&#xff0c;面向正在完成课程设计、期末大作业或毕设的计算机、人工智能、大数据、数学、电子信息等相关专业学生&#xff0c;也适合刚入门数据分析的开发者参考。包内共3个文件&#xff1a;一个Python脚本用于完整执行分析…

2026/9/24 20:30:47 阅读更多 →
V100 16GB跑通Qwen 27B：推理速度从4.2到63.8 tok/s的优化实录

V100 16GB跑通Qwen 27B：推理速度从4.2到63.8 tok/s的优化实录

几个月前&#xff0c;我从仓库角落翻出一台配着 Tesla V100 16GB 的老服务器时&#xff0c;同事的第一反应是&#xff1a;这卡还能跑 Qwen 27B 大模型&#xff1f;说实话我自己也没底。Qwen 27B 的 FP16 权重就有 54GB&#xff0c;一块 16GB 显存的 V100 连一半都装不进去&…

2026/9/24 20:30:47 阅读更多 →
5分钟打造你的专属AI助手：Strands Agents零基础入门指南

5分钟打造你的专属AI助手：Strands Agents零基础入门指南

5分钟打造你的专属AI助手&#xff1a;Strands Agents零基础入门指南 【免费下载链接】harness-sdk Build an agent harness and control it end-to-end. Open-source SDK for production AI agents in Python & TypeScript - any model, any cloud. 项目地址: https://gi…

2026/9/24 20:30:47 阅读更多 →
离线知识服务器搭建实战：Kiwix+Ollama实现断网AI问答

离线知识服务器搭建实战：Kiwix+Ollama实现断网AI问答

说实话&#xff0c;这个项目是我被网络逼出来的。去年去一个偏远项目现场&#xff0c;网络差到连搜索都打不开&#xff0c;临时要查一个设备说明&#xff0c;翻遍手机缓存也没找到&#xff0c;最后只能打电话回去让人查了再念给我听。那种憋屈感让我下了一个决心——搞一台完全…

2026/9/24 20:29:46 阅读更多 →

日新闻

基于YOLOv8的渔船作业监控系统：从环境搭建到边缘部署全流程

基于YOLOv8的渔船作业监控系统：从环境搭建到边缘部署全流程

简介&#xff1a;这是一套面向计算机、人工智能、自动化等专业学生与教师的毕业设计级项目资源&#xff0c;围绕YOLOv8实现渔船作业监控系统&#xff0c;可用于毕设、课程设计、大作业或项目立项演示。压缩包共97个文件&#xff0c;约24.21MB&#xff0c;以70个Python源码文件为…

2026/9/24 0:00:19 阅读更多 →
单细胞注释实战：基于Scanpy的标记基因与参考映射流程解析

单细胞注释实战：基于Scanpy的标记基因与参考映射流程解析

简介&#xff1a;一份基于单细胞RNA测序数据的细胞类型注释算法研究Python毕业设计源码&#xff0c;针对计算机相关专业正在做毕设或需要项目实战的学习者&#xff0c;可用于课程设计与期末大作业。项目代码完整、经导师指导评审通过&#xff0c;可直接运行&#xff0c;覆盖数据…

2026/9/24 0:00:19 阅读更多 →
C#源生成器实战：用增量生成器替代反射，告别AOT崩溃

C#源生成器实战：用增量生成器替代反射，告别AOT崩溃

第一次在项目里被反射卡住&#xff0c;是在一个老旧的WinForms模块里&#xff1a;几十个类依赖PropertyChanged通知&#xff0c;运行时反射读属性、发通知&#xff0c;每次启动慢半拍不说&#xff0c;一上.NET Native/AOT裁剪模式几乎全面崩盘。后来我把这段逻辑全部改成C#源生…

2026/9/24 0:00:19 阅读更多 →

周新闻

Flutter for OpenHarmony游戏卡片渐变背景实战：从原理到性能优化

Flutter for OpenHarmony游戏卡片渐变背景实战：从原理到性能优化

直接铺开项目本身吧。这几个月我一直在折腾一件事&#xff1a;用Flutter给OpenHarmony做一款游戏集合类的App&#xff0c;说白了就是把若干小游戏塞进一个壳里&#xff0c;用统一入口分发。这个方向本身不算新鲜&#xff0c;真正让我花了不少心思的&#xff0c;是首页那堆游戏卡…

2026/9/24 14:34:13 阅读更多 →
Word表格编号全攻略：从列表编号到题注交叉引用

Word表格编号全攻略：从列表编号到题注交叉引用

写Word文档&#xff0c;最让人头疼的往往是那些“看起来不起眼”的小问题。比如表格编号这事&#xff1a;今天在表后面多加了两个空白行&#xff0c;明天给客户交稿前发现整个章节的编号全部错位&#xff0c;光是挨个改序号就能耗掉大半个下午。我前阵子帮人整理一份上百页的技…

2026/9/24 9:10:42 阅读更多 →
从第一个站到第二个站：独立开发者的静态网站选型与落地实践

从第一个站到第二个站：独立开发者的静态网站选型与落地实践

1. 项目概述1.1 核心需求解析做独立开发者这几年&#xff0c;说实话&#xff0c;第一个网站上线的那天晚上我兴奋得没睡着。但等它跑了半年&#xff0c;流量惨淡、功能臃肿、代码自己都懒得看第二遍之后&#xff0c;我才慢慢琢磨明白一个道理&#xff1a;第一个网站是练手&…

2026/9/24 14:33:56 阅读更多 →

月新闻

持续集成 流水线自动化与 声明式交付 实践：原型怎样变成可用功能

持续集成 流水线自动化与 声明式交付 实践：原型怎样变成可用功能

持续集成 流水线自动化与 声明式交付 实践&#xff1a;原型怎样变成可用功能分类&#xff1a;[AI/大模型]细分主题&#xff1a;AI 增强型 CI/CD 流水线自动化与 GitOps 实践&#xff1a;Agent 工作流、工具调用与任务拆解&#xff1a;从原型到生产的验收清单很多团队在尝试用大…

2026/9/24 12:50:34 阅读更多 →
容器编排 生产环境运维与排障实战：复盘记录怎样真正派上用场

容器编排 生产环境运维与排障实战：复盘记录怎样真正派上用场

容器编排 生产环境运维与排障实战&#xff1a;复盘记录怎样真正派上用场分类&#xff1a;[工程技术]细分主题&#xff1a;Kubernetes 生产环境运维与排障实战&#xff1a;可复制的项目复盘模板与决策记录大部分团队的事故复盘报告&#xff0c;最后都变成了躺在 Confluence 或钉…

2026/9/24 14:33:48 阅读更多 →
容器 容器化技术与镜像安全管理：核心链路应该先拆哪一步

容器 容器化技术与镜像安全管理：核心链路应该先拆哪一步

容器 容器化技术与镜像安全管理&#xff1a;核心链路应该先拆哪一步分类&#xff1a;[工程技术]细分主题&#xff1a;Docker 容器化技术与镜像安全管理&#xff1a;核心链路的逐步实现与关键代码取舍面对一个积累了五六年历史包袱的单体架构应用&#xff08;包含 Web 接口、后台…

2026/9/24 12:49:17 阅读更多 →