25 元把旧眼镜变 AI 智能眼镜:OpenGlass 开源项目全解析
25 元把旧眼镜变 AI 智能眼镜OpenGlass 开源项目全解析【免费下载链接】OpenGlassTurn any glasses into AI-powered smart glasses项目地址: https://gitcode.com/GitHub_Trending/op/OpenGlass商业 AI 眼镜上千元起、固件还锁死。OpenGlass 用一块 ESP32 S3、一颗摄像头加一块锂电池把旧眼镜改成能拍照、记场景、AI 问答的智能眼镜零件成本不到 25 元。图佩戴 OpenGlass 智能眼镜的第一人称现场画面项目全景它是什么、凭什么行主控芯片拇指大小的双核摄像头开发板选的是 Seeed Studio XIAO ESP32 S3 Sense。ESP32 S3 可以理解成一块拇指大的双核小电脑主频 240MHz一边抓图像一边传数据不打架。关键在它把 OV2640 摄像头和 PDM 麦克风都焊在同一块小板上你不用再单独拼主板、镜头、麦克风。板载 8MB OPI PSRAM外挂的大容量临时内存照片缓冲放得下传输不卡顿。体感差异整块直接卡进镜腿比市售 AR 眼镜那种一体机身小得多也便宜得多。传输链路一套省电的蓝牙数据管道用 BLE蓝牙低功耗GATT 像给蓝牙定义的一套插座音频、照片、控制各占一个口互不干扰。眼镜不经过手机中转直接对浏览器传固件里audioData、photoData、photoControl各是一个特征值。照片按 200 字节一小块分片推送末尾用0xFF 0xFF标志收尾断包能识别。体感差异弱信号下传输也不容易整张丢图连接稳定。供电与固定一枚锂片电池加一个打印支架电池选 EEMB LP5020303.7V、250mAh像手机里那种薄扁纽扣电池薄到能贴进镜腿不鼓包。支架用仓库提供的 STL 文件 3D 打印卡住开发板即可免焊接。固件每 60 秒把电池等级上报一次电量状态随时可查。体感差异整机几乎无感比市售一体式智能眼镜轻一截。图镜腿上的 OpenGlass 硬件ESP32 S3 小板与摄像头特写快速问答问真的不到 25 元吗答核心是 XIAO ESP32 S3 Sense 开发板、集成摄像头和 250mAh 锂片电池再加打印支架耗材合计约 25 美元比上千元的商业 AI 眼镜低一个数量级。问需要会编程和焊接吗答硬件卡进支架免焊固件用 Arduino IDE 一键烧录软件是现成 Expo 应用你只填密钥就能跑。问需要买显示屏吗答不需要。它没有内置屏识别结果发到手机或浏览器页面显示靠眼镜采集 手机呈现分工。能力深潜核心功能怎么跑起来的场景记忆让你不用翻相册也能问刚才看见什么戴着眼镜走动时它每 5 秒自动拍一张把你看到的攒成一份带描述的记忆库。固件loop()按间隔触发take_photo()JPEG 编码后经蓝牙分块推到前端前端usePhotos()重组图像交给 Ollama 的moondream:1.8b-v2-fp16视觉模型生成文字描述连画面里的文字都一起转写。5 秒一张一小时通勤能攒约 700 条描述之后随时可追问。图眼镜每 5 秒自动抓拍一次第一人称场景看图问答把一连串照片变成可以追问的记忆你只管提问它从所有照片的描述里找答案不用你回翻。Agent.answer()把已存的照片描述按Image #i拼成一段长文本交给 Groq 的llama3-70b-8192或 OpenAIgpt-4o系统提示词限定只根据照片描述回答、不要泛化。问我钥匙放哪了它只基于你拍过的画面回答不瞎编。图向眼镜提问后AI 基于历史照片描述作答️语音播报让答案不只在屏幕上还能读出来答案除了显示还能念给你听。openai.ts里textToSpeech()调tts-1nova 音色把文字合成音频AudioContext直接播放麦克风侧经 I2S 16kHz 采样可选 Opus/MuLaw/PCM 三种编码。走路时听答案不用低头看屏解放双手。快速问答问模型跑在本地还是云端答看图描述走本地 Ollama 的 moondream断网也能出描述最终问答走云端 llama3-70b / gpt-4o需联网。问前端为什么把照片旋转 270°答摄像头装在镜腿时画面是侧的DeviceView.tsx用rotateImage(buffer, 270)校正方向再送模型。实测场景把项目放进真实生活通勤路上外语路牌不用掏手机进异国城市戴着眼镜走它每 5 秒拍一张路牌和店招moondream 把画面里的文字连同场景一起转写出来攒成记忆。到地铁口你问刚才那个蓝色牌子写的什么llama3-70b 直接从描述里摘出文字念给你全程不用掏手机。一张 JPEG 约按 200 字节分片经蓝牙传完抬头就是答案。图通勤途中眼镜抓拍路牌与环境文字️逛展看展拍过的都能再问回来在玻璃穹顶展馆里走动它默默记录每件展品、每块说明牌。逛到后面忘了某块牌子讲什么开口问刚才那块展板的重点是什么它基于你走过的路线描述作答省去了翻几十张图的步骤。一次 30 分钟逛展约累积 360 张照片描述追问命中率靠本地 OCR 转写支撑。图逛展时眼镜持续记录第一人称视野️找东西默认玩法我的车在哪项目 demo 名就叫 Dude wheres my car?——把车停进车位拍一圈环境走开后问我的车停在哪个柱子旁它比对各张描述回答适合停车、找钥匙、找钱包。操作步骤启动应用 → 自动每 5 秒拍一张 → 提问 → 语音 文字双通道出答案三步走完。快速问答问完全不会代码能玩起来吗答可以。硬件卡进支架免焊固件 Arduino IDE 一键烧录软件 clone 后npm start打开浏览器 localhost 即可唯一门槛是给 Ollama、Groq/OpenAI 各填一个密钥。上手指南从零到跑通的最短路径阶段一跑通最简体验10 分钟见到界面先装好硬件、烧录固件见阶段二软件侧一条命令拉代码、装依赖、起应用用 Chrome 打开浏览器打印的 localhost 链接点 Connect to the device 就连上眼镜。从输入命令到看见连接按钮约 10 分钟。# 一条命令拉代码 → 进目录 → 装依赖 → 起应用 git clone https://gitcode.com/GitHub_Trending/op/OpenGlass cd OpenGlass npm i npm start⚙️阶段二配好模型让问答真正可用识别跑在本地 Ollama问答走云端。下载视觉模型、填密钥、重启应用即可# 下载本地视觉模型识别靠它 ollama pull moondream:1.8b-v2-fp16 # 编辑 sources/keys.ts 填入 Groq / OpenAI / Ollama 密钥后重启 npm start固件用 arduino-cli 烧录时务必指定 OPI PSRAM# 编译并上传固件-p 换成你的真实端口 arduino-cli compile -u -p COM5 -b esp32:esp32:XIAO_ESP32S3:PSRAMopi firmware️阶段三进阶定制改哪都看得懂换问答引擎sources/modules/ 下groq-llama3.ts与openai.ts可互换或换成 Ollama 本地模型改动集中在 sources/agent/imageDescription.ts。调拍照节奏firmware/firmware.ino 的handlePhotoControl支持 5~300 秒间隔前端写入对应控制值。省流量传音频同文件把CODEC_PCM切成CODEC_OPUS音频体积更小、蓝牙更省。常见坑位问题原因解法烧录后相机不出图PSRAM 没选对Arduino IDE 的 Tools 里设为 OPI PSRAM网页连不上设备浏览器不支持 Web Bluetooth换 Chrome / Edge 并允许蓝牙识别很慢或超时本地模型没下载先跑ollama pull moondream:1.8b-v2-fp16照片方向歪 90°摄像头装反前端默认rotateImage270°装反则调 firmware/camera_pins.h快速问答问没手机、只用浏览器行不行答可以Web 版跑在 Chrome/Edge若要 AppExpo 也支持安卓/iOS蓝牙插件已配好。问烧录时端口识别不出来答换 USB 口或换线Windows 装 CP210x 芯片驱动再用arduino-cli board list确认真实端口名。生态与玩法社区正在做什么语音寻物版答案直接读进耳朵在内置问答上强化语音闭环——拍过的场景里找东西答案用 OpenAI TTS 念出来解放双手。难度低。入口在 sources/modules/openai.ts。Opus 低延迟传输版更省流量的蓝牙把固件音频编码切到 Opus16kHz 音频体积更小弱网下照片和语音都更快。难度中。改 firmware/firmware.ino 顶部宏即可。本地全离线版断网也能看图描述用 Ollama 自托管把问答也搬到本地配合 moondream弱信号环境仍能出描述。难度高。改 sources/agent/imageDescription.ts 把llamaFind指向本地模型。回到开头那个千元改不了的痛点你花 25 元就能拥有一副听你指挥的 AI 智能眼镜。下一步很具体——clone 仓库、在 sources/keys.ts 填好密钥、ollama pull moondream:1.8b-v2-fp16拉模型再打开浏览器连上眼镜。上游已并入 Omi 项目关注它的后续更新你的改造也能提 PR 回流社区。【免费下载链接】OpenGlassTurn any glasses into AI-powered smart glasses项目地址: https://gitcode.com/GitHub_Trending/op/OpenGlass创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关新闻

ArtCraft:用Python将参数化设计转化为可切割的制造工艺

ArtCraft:用Python将参数化设计转化为可切割的制造工艺

1. ArtCraft 是什么:从艺术到工艺的最后一厘米如果你跟我一样,既喜欢在电脑上画图,又喜欢拿实物做测试,大概率会遇到同一个尴尬:屏幕上看着精巧的图案,落到木材、纸张或者布料上,要么线条切不断…

2026/11/19 1:13:19 阅读更多 →
基于YOLO的人脸识别门禁算法全链路实战:从检测到部署

基于YOLO的人脸识别门禁算法全链路实战:从检测到部署

早高峰的闸机口永远是门禁系统最残酷的考场。我们之前在某园区的刷脸门禁试点,高峰期一群人堵在闸机前,有人歪着头怎么都刷不过,有人戴着口罩被保安拦住,还有人在逆光下被识别成了另一个人。问题不在闸机硬件,而是算法…

2026/11/18 1:33:07 阅读更多 →
用 cogito-v2-preview-llama-70B-GGUF 构建本地推理 API:llama-server 部署完整实战教程

用 cogito-v2-preview-llama-70B-GGUF 构建本地推理 API:llama-server 部署完整实战教程

【免费下载链接】cogito-v2-preview-llama-70B-GGUF 项目地址: https://ai.gitcode.com/hf_mirrors/unsloth/cogito-v2-preview-llama-70B-GGUF 点击查看 免费下载 本文带你用 cogito-v2-preview-llama-70B-GGUF 的 GGUF 量化权重,通过 llama.cpp 的 ll…

2026/11/19 3:34:37 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/18 13:59:04 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/18 15:33:23 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/18 17:05:28 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/18 14:33:19 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/18 17:05:28 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/18 14:13:08 阅读更多 →

日新闻

周新闻

月新闻