常见的字符编码有哪些?有什么区别?
✅常见的字符编码有哪些有什么区别典型回答就像电报只能发出滴和答声一样计算机只认识 0 和 1。人类的文字多种多样如何把人类的文字转换成计算机认识的 01 字符呢这个过程需要通过字符编码。字符编码Character encoding是一套法则使用该法则能够对自然语言的字符的一个集合如字母表或音节表与另一套东西如号码或电脉冲进行配对。和摩尔斯电码功能类似上个世纪 60 年代美国制定了一套字符编码对英语字符与二进制位之间的关系做了统一规定这被称为 ASCII 码一直沿用至今。由于 ASCII 只有 128 个字符虽然可以表示英文字符但世界上还有很多其他文字无法表示所以需要一种更加全面的字符编码。于是又出现了Unicode 字符集常见的 Unicode Transformation Format 有UTF-8、UTF-16 以及 UTF-32 等除此之外还有一些常用的中文编码GBK、GB2312、GB18030等。扩展知识Unicode 和 UTF-8 有什么关系Unicode中文万国码、国际码、统一码、单一码是计算机科学领域里的一项业界标准。它对世界上大部分文字系统进行了整理、编码使得计算机可以用更为简单的方式来呈现和处理文字。Unicode 备受认可并广泛地应用于计算机软件的国际化与本地化过程。很多新技术如可扩展置标语言XML、Java 编程语言以及现代的操作系统都采用 Unicode 编码。Unicode 是一套通用的字符集包含世界上的大部分文字也就是说Unicode 是可以表示中文的。但是Unicode 虽然统一了全世界字符的编码但没有规定如何存储。如果 Unicode 统一规定每个符号用三个或四个字节表示那么每个英文字母前必然有多个字节是 0英文字母在 ASCII 中已有一个字节的表示。这样文本文件的大小会因此大出两三倍对于存储来说是极大的浪费。为了解决存储效率问题就出现了一些中间格式的字符集它们被称为通用转换格式即 UTFUnicode Transformation Format。常见的 UTF 格式有UTF-8、UTF-16 以及 UTF-32。UTF-8 使用一至四个字节为每个字符编码UTF-16 使用二或四个字节为每个字符编码UTF-32 使用四个字节为每个字符编码所以我们可以说UTF-8、UTF-16 等都是 Unicode 的一种实现方式。有了 UTF-8为什么还要有 GBKUTF-8 是 Unicode 的一种实现包含了世界上的所有文字采用 1~4 字节变长编码。对于那些优先纳入的文字可以使用 1 字节或 2 字节存储对于后来纳入的文字则需要 3 字节或 4 字节存储。正是由于 UTF-8 太全面了那些纳入较晚的字符在 UTF-8 中占用的字节数可能更多存储空间要求更大。对于常用的汉字在 UTF-8 中采用 3 字节编码而如果有一种只包含中文和 ASCII 的编码就只需要 2 个字节。大多数网站只服务一个国家或地区。例如一个中国网站通常只出现简体字、繁体字以及一些英文字符很少出现日文或韩文。出于这样的考虑中国国家标准总局于 1981 年制定并实施了 GB 2312-80 编码即中华人民共和国国家标准简体中文字符集。后来微软利用 GB 2312-80 未使用的编码空间收录 GB 13000.1-93 全部字符制定了 GBK 编码。注从时间线来看GB 23121981 年早于 UTF-81993 年出现因此 GB 系列编码最初并非为替代 UTF-8 而诞生而是独立发展的国家标准。这里的问题有了 UTF-8 为什么还要 GBK更适合理解为既然 Unicode 体系已经覆盖全球文字为什么在实际系统中仍存在 GBK 编码——主要原因在于 GBK 对中文的存储效率更高且存量系统兼容性有历史惯性。有了标准中文字符集纯中文网站可以采用这种编码方式从而节省存储空间。常用的中文编码有 GBK、GB2312、GB18030 等最常用的是 GBK。GB23121980/1981 年16 位字符集收录 6763 个简体汉字、682 个符号共 7445 个字符。优点适用于简体中文环境属于中国国家标准通行于大陆、新加坡等地。缺点不兼容繁体中文汉字集合过少。GBK1995 年16 位字符集收录 21003 个汉字、883 个符号共 21886 个字符。优点适用于简繁中文共存的环境为简体 Windows 所使用向下完全兼容 GB2312向上支持 ISO-10646 国际标准所有字符可一对一映射到 Unicode 2.0。缺点不属于国家标准而是 Microsoft 对 GB2312 的扩展与 Big5 之间需要转换很多搜索引擎不能很好地支持 GBK 汉字。GB180302000 年32 位字符集收录 27484 个汉字同时收录藏文、蒙文、维吾尔文等主要少数民族文字。优点可收录几乎所有文字和符号是中国最新的国家标准。缺点目前支持它的软件较少。为什么会出现乱码文件中的内容归根到底都是由 0101 组成的至于 0101 的二进制码如何转成人们可以理解的字符串则需要通过规定好的字符编码标准进行转换。如果把一串中文字符通过 UTF-8 编码传输给别人别人拿到之后通过 GBK 进行解码得到的内容就会是锟斤拷锟斤拷…之类的乱码。

相关新闻

Circle Loss:深度度量学习的圆形决策边界优化

Circle Loss:深度度量学习的圆形决策边界优化

1. Circle Loss:从线性到圆形的优化革命 第一次看到Circle Loss这篇论文时,我正被项目中的人脸识别性能瓶颈困扰。传统的Triplet Loss调参就像在走钢丝,而Softmax分类又总觉得少了点什么。直到发现这个将两种范式统一起来的圆形决策边界&…

2026/9/29 20:58:28 阅读更多 →
施乐P115b打印机墨粉盒错误排查与维护指南

施乐P115b打印机墨粉盒错误排查与维护指南

1. 施乐P115b打印机墨粉盒错误排查指南 最近工作室那台老将施乐P115b又开始闹脾气,明明刚换了全新硒鼓和墨粉盒,却反复提示"墨粉盒错误"。这种问题在激光打印机里其实很典型,今天就把我折腾两天的排查经验系统梳理下,遇…

2026/9/27 0:09:29 阅读更多 →
.avif 文件怎么打开?OpenFiles 预览、转换导出与 AI 理解完整教程

.avif 文件怎么打开?OpenFiles 预览、转换导出与 AI 理解完整教程

结论先放前面:.avif 是基于 AV1 编码标准的现代图片格式,优点是压缩效率高、画质好;问题是 Windows/macOS 的系统预览器、办公软件、聊天工具和旧版浏览器并不一定都能稳定打开。临时收到 .avif 文件时,可以先用 OpenFiles 做本地…

2026/9/29 5:51:14 阅读更多 →

最新新闻

大模型推理集群架构:从单卡到千卡的负载均衡实践

大模型推理集群架构:从单卡到千卡的负载均衡实践

1. 从单卡到千卡:先搞懂推理集群到底在解决什么问题这些年做大模型推理,最常见的开场白是:“我有一个H100,跑一个70B模型,怎么QPS只有几十?”然后一问细节,显存不够用、多卡通信绕、请求一多就超…

2026/9/30 9:05:49 阅读更多 →
初探Python元编程:理解并使用元编程改变代码行为

初探Python元编程:理解并使用元编程改变代码行为

在编程领域, 存在一种非常厉害的技术,这种技术使得我们能够对代码进行修饰, 或者在程序运行期间创造出全新的代码片段, 这就是所谓被称呼为元编程的存在。用于执行元编程操作的相关助手与手段主要涵盖装饰器这一形式、元类这一概念, 还包括针对函数和类的多种不同方…

2026/9/30 9:05:49 阅读更多 →
储能调度中的特性分布与多时间尺度优化:Matlab建模与实现

储能调度中的特性分布与多时间尺度优化:Matlab建模与实现

1. 问题拆解:为什么储能调度必须考虑“特性分布”和“多时间尺度”做电网调度的人都有一个共识:储能电站不是一块“万能电池”,接入电网后,它到底是当调频电源用、削峰填谷用,还是配合新能源平抑波动用,取决…

2026/9/30 9:05:49 阅读更多 →
高开归因:AI投研中的四类驱动逻辑与智能工作流

高开归因:AI投研中的四类驱动逻辑与智能工作流

做AI投研这些年,我越来越发现一个反直觉的事实:模型再复杂,最后卡住你的往往是最朴素的问题。就拿“高开”来说,同样是竞价阶段跳空高开2%,有的票开盘后一路走高,有的票五分钟内就跳水翻绿。你要问我为什么…

2026/9/30 9:05:49 阅读更多 →
python中如何导入numpy_Python数据分析:Pycharm如何添加numpy包?

python中如何导入numpy_Python数据分析:Pycharm如何添加numpy包?

已经完成安装操作, 可是在导入numpy的时候, 系统里面弹出了一个提示, 说没有发现这个包或者模块。问题详情: 我已经完成了安装操作, 可是当我尝试学习 numpy 这个库的时候, 在导入 numpy 这个包的过程中, 系统提示我没有这个模块, 具体显示为 No named numpy, 如下图所示。按理…

2026/9/30 9:05:49 阅读更多 →
手写Spring AOP:从JDK动态代理到拦截器链的完整原理与实战

手写Spring AOP:从JDK动态代理到拦截器链的完整原理与实战

Spring AOP天天写,注解一加,事务、日志、权限全都变成“隐形”的。可真让你离开Spring环境,自己动手做一版手写Spring AOP,很多平时觉得理所当然的东西会瞬间露馅。我围绕Spring 6.0把AOP的原理重新梳理了一遍,又按照源…

2026/9/30 9:04:44 阅读更多 →

日新闻

Base64 图片头部特征识别:从文件头到格式判断的完整指南

Base64 图片头部特征识别:从文件头到格式判断的完整指南

1. 项目概述:为什么说看懂 base64 图片头部是基本功这几年跟 base64 打交道的机会越来越多,后端接口返回图片、前端渲染验证码、小程序里存小图、还有一些老系统导出报表,动不动就给你一段长到怀疑人生的 base64 字符串。很多人拿到字符串就直…

2026/9/30 0:00:35 阅读更多 →
Java公交站牌广告管理系统:JSP+Servlet+MySQL实战落地指南

Java公交站牌广告管理系统:JSP+Servlet+MySQL实战落地指南

简介:本资源是一份面向Java初学者与课程设计学生的公交站牌广告灯箱管理系统毕业设计文档,聚焦城市公共广告资源信息化管理痛点,提供从需求分析到技术实现的完整方案。文档采用标准学术论文结构,含摘要、英文摘要、目录及五章正文…

2026/9/30 0:00:35 阅读更多 →
用 Redis Lua 构建大模型 API 多租户原子配额治理体系

用 Redis Lua 构建大模型 API 多租户原子配额治理体系

我去年年底接了一个内部 AI 平台的治理需求,背景很直接:公司把 DeepSeek、MiniMax 这类大模型 API 统一封装成内部网关,开放给几个业务团队用。结果第一个月账单出来,额度直接超了 4 倍。仔细查日志,发现原因并不复杂—…

2026/9/30 0:00:35 阅读更多 →

周新闻

如何划分训练/验证集:Spirula Studio五种eval_mode策略详解

如何划分训练/验证集:Spirula Studio五种eval_mode策略详解

如何划分训练/验证集:Spirula Studio五种eval_mode策略详解 【免费下载链接】spirula-studio Cross-vendor 3D Gaussian Splatting trainer - video to splat to mesh, Vulkan or CUDA. 项目地址: https://gitcode.com/GitHub_Trending/sp/spirula-studio Sp…

2026/9/29 8:16:59 阅读更多 →
SEO怎么推广速查手册新手避坑实战指南

SEO怎么推广速查手册新手避坑实战指南

SEO怎么推广速查手册新手避坑实战指南 模板网站太丑不够用?别急着加滤镜,那是治标不治本。很多老板盯着后台流量掉得眼红,却还在纠结首页Banner的圆角是不是3像素。这就像穿着西装去挖土,姿势不对,努力白费。我整理这份 速查手册…

2026/9/29 16:41:41 阅读更多 →
FireRed-OpenStoryline少样本仿写深度解析:AI Agent如何复刻你的独特文案风格与节奏

FireRed-OpenStoryline少样本仿写深度解析:AI Agent如何复刻你的独特文案风格与节奏

FireRed-OpenStoryline少样本仿写深度解析:AI Agent如何复刻你的独特文案风格与节奏 【免费下载链接】FireRed-OpenStoryline FireRed-OpenStoryline is an AI video editing agent that transforms manual editing into intention-driven directing through natural language …

2026/9/29 8:24:48 阅读更多 →

月新闻

持续集成 流水线自动化与 声明式交付 实践:原型怎样变成可用功能

持续集成 流水线自动化与 声明式交付 实践:原型怎样变成可用功能

持续集成 流水线自动化与 声明式交付 实践:原型怎样变成可用功能分类:[AI/大模型]细分主题:AI 增强型 CI/CD 流水线自动化与 GitOps 实践:Agent 工作流、工具调用与任务拆解:从原型到生产的验收清单很多团队在尝试用大…

2026/9/29 19:29:29 阅读更多 →
容器编排 生产环境运维与排障实战:复盘记录怎样真正派上用场

容器编排 生产环境运维与排障实战:复盘记录怎样真正派上用场

容器编排 生产环境运维与排障实战:复盘记录怎样真正派上用场分类:[工程技术]细分主题:Kubernetes 生产环境运维与排障实战:可复制的项目复盘模板与决策记录大部分团队的事故复盘报告,最后都变成了躺在 Confluence 或钉…

2026/9/29 5:58:00 阅读更多 →
容器 容器化技术与镜像安全管理:核心链路应该先拆哪一步

容器 容器化技术与镜像安全管理:核心链路应该先拆哪一步

容器 容器化技术与镜像安全管理:核心链路应该先拆哪一步分类:[工程技术]细分主题:Docker 容器化技术与镜像安全管理:核心链路的逐步实现与关键代码取舍面对一个积累了五六年历史包袱的单体架构应用(包含 Web 接口、后台…

2026/9/29 3:55:56 阅读更多 →