“端到端”这个概念，在智驾圈已经吵了好几年，但大家聊的基本都是四个轮子的车。最近某海洋大学（筹）把一套VLA端到端自动驾驶系统装到了无人船上，在真实海域跑完了验证，还打出了“海洋具身智能全球首发”的旗号。不少朋友跑来问我：这到底是真突破，还是概念包装？我今天把这套方案的来龙去脉、技术细节、工程落地里容易翻车的地方，从头到尾拆一遍。这篇文章适合三类人看：一是做无人船、海洋机器人、水下设备的硬件和算法工程师，二是关注具身智能赛道、想看看“大模型上船”到底怎么落地的AI从业者，三是做海洋观测、港口巡检、海上风电运维等场景的甲方和管理者。你不需要先懂无人船，只需要有一点AI和自动驾驶的基础，跟着我的思路走就能明白。1. 为什么海洋装备突然谈“具身智能”1.1 传统无人船方案的三个天花板过去十几年，国内无人船的主流方案是“模块化”：感知模块用激光雷达、摄像头、毫米波雷达做目标检测，规划模块写一堆规则和采样算法，控制模块用PID或者MPC跟轨迹。这个架构本身没有错，但放到真实海域里跑，问题一个接一个。首先是链路长。感知、融合、预测、规划、控制分成好几个独立模块，每个模块都要单独调参、单独标定。传感器数据在模块间传递的时候，坐标转换、时间戳对齐这些小问题，能活活耗掉几个月的联调时间。真到了海上，摄像头因为盐雾起雾、激光雷达因为浪涌造成的船体倾斜点云变形，任何一个模块退化，整条链路的性能都会断崖式下滑。其次是规则写不完。海上的情况比道路更“开放”：浮标、渔网、渔船、货轮、礁石、浅滩、水下养殖设施，甚至还有漂过来的集装箱。传统规则只能覆盖预设场景，遇到没见过的组合，比如“渔船旁边带着几条小舢板又拖着浮标”，规则就容易失效。就算效果不好，你很难定位是感知的锅还是规划的锅。第三是数据利用率低。模块化方案里，每个模块的标注成本极高：雷达点云要标，图像要标，融合后的目标也要标。采集了1000多公里的数据，真正能用来提升系统能力的大概只有两三成。端到端模型恰恰相反，它直接吃原始传感器数据，输出控制指令，中间不需要逐级标注，数据和系统的能力增长是直接挂钩的。1.2 VLA不是在船上放个“大喇叭”，而是把“眼睛、小脑、手脚”统一起来很多人听到VLA，第一反应是“把一个大语言模型塞进船里”。这个理解不太准确。VLA的全称是Vision-Language-Action，视觉-语言-动作，它的核心不是“会说话”，而是把“看懂环境、理解任务、输出动作”这三件事揉进同一个模型。地面自动驾驶圈的VLA模型，输入是摄像头画面、激光雷达点云，再加上导航指令或者路况描述，输出的是方向盘转角、油门刹车开度。到了船上，输入变成了多个视角的摄像头画面、雷达目标投影、海图语义、任务指令，输出的是目标航向、航速、左右推进器的推力差。你可以把它理解成一个“会开船的多模态大模型”。这里要特别强调一点：端到端不意味着“一个模型从头管到尾”，中间完全可以有结构化输出。比如说模型先输出“前方500米有渔船，占用航道南侧，预计10秒后到达会遇点”，再输出“建议减速到3节并向右偏航15度”。这种“中间带语义”的端到端，比纯黑盒端到端更可控，也更容易定位问题。1.3 “海洋具身智能”的定义边界具身智能这个概念，在地面机器人上已经讲了很多年，核心是“AI要有身体，能感知物理世界，并且能在物理世界里做动作”。海洋具身智能，就是把这套逻辑从陆地搬到海上。但海洋环境和陆地有本质区别。陆地机器人面对的是相对规则的几何世界，有路沿、有车道线、有交通规则；海面上没有这些东西，船体本身还在一个六自由度的动态环境里——横摇、纵摇、垂荡一直存在。海洋具身智能的“身体”也不只是一条船，还包括船上的机械臂、水下探针、水质传感器、声学设备。模型真正的能力边界在于：它能不能根据当前海况和任务语义，自主决定“船该怎么动、设备该怎么用”。某海洋大学（筹）这次验证的亮点，恰恰就在这里：他们不只是让船沿着航线走，而是让船在看懂海域场景的基础上，结合任务指令做出航行决策。这在国内公开的无人船项目里，确实是第一次见到完整的VLA闭环方案跑完真实海试。2. VLA端到端无人船的核心技术拆解2.1 系统总体架构：从传感器到执行机构的完整链路要理解VLA无人船，先要把整条硬件链路看清楚。这次海试的船型没公开太多细节，但从行业公开资料和同类项目推断，典型的VLA无人船由四层构成。感知层：前视、后视、左右舷的多个广角摄像头，加上一个固态激光雷达做中近距离补充，还有AIS接收机和毫米波雷达做远距离目标感知。摄像头负责纹理、颜色和语义信息，激光雷达负责精确的几何距离，AIS负责识别带应答器的船只身份和动态，三者互补。计算层：船载工控机，配置一块车规级或者工业级的GPU模块，比如128TOPS以上的算力，外加实时控制用的MCU。模型跑在GPU上，安全兜底逻辑和底层伺服控制跑在MCU上，这个分工很关键。定位层：RTK-GNSS加光纤惯导，输出厘米级位置和船体姿态。姿态数据不能只用来看轨迹，还要用来做摄像头画面防抖和激光雷达点云校正。执行层：左右舷独立推进器，或者舵机加单推进器，底层用CAN总线或者以太网接MCU。整套系统的关键，在于“模型输出的动作指令如何安全地变成推进器的转速”。VLA模型输出的是一个高层意图，比如“向右偏航15度”，底线安全层负责判断这个意图会不会导致触礁、碰撞或者违反海事规则，没有问题时才发给伺服控制器。2.2 VLA模型的输入输出设计：多模态信息如何进模型VLA模型要把船上五花八门的信息变成“统一语言”，这是整个方案里最吃功夫的部分。某海洋大学（筹）的公开信息显示，他们采用的是“视觉token + 语义token + 动作token”的混合输入。视觉token来自多路摄像头画面，做法是把多路图像拼接成全景图，再经过视觉编码器切成patch序列。这样做的好处是，模型可以同时看到前后左右，不会出现“前视摄像头看着没船，但侧舷已经有船逼近”的盲区。雷达点云和毫米波雷达目标则被投影到俯视图网格上，再编码成雷达token，和视觉token拼在一起。语义token来自任务指令和海图信息，比如“从1号浮标到达2号浮标”“避开作业渔船”“前方航道限速8节”，这些指令经过文本编码器变成向量。模型输出的动作token，设计成“定航向+定速度”的组合：目标航向角用弧度表示，目标航速用节表示，再配合一个可选的“期望横距”。这个输出空间看起来简单，实际上对训练非常友好。船不像车，车要在车道内精确控制方向和速度，船在水里本来就会被浪推来推去，强行让模型输出精确到厘米级的轨迹没有意义，不如让模型学会“朝哪个方向开、开多快”，剩下的由底层控制器去消磨。2.3 区别于地面自动驾驶的特别设计：船体动力学和动作空间VLA自动驾驶在陆地上已经有了一些落地实践，但直接搬到船上会碰壁，因为船和车的动力学差异实在太大了。车辆响应快，刹车距离按米算；船的惯性大，高速转向需要提前几十米甚至上百米开始动作，低速时候舵效又明显变差。船舶的横摇会产生一部分横向速度，导致船头指向和实际航迹方向不一致，这个现象叫漂角。VLA模型如果只输出舵角，不学习漂角补偿，航迹会有稳定偏差。某海洋大学（筹）的团队在动作空间里加了一个“侧漂补偿量”，模型输出的不是“舵角多少度”，而是“期望航行方向向量”，这个方向向量天然包含了漂角修正。底层控制器再把方向向量换算成舵角和推进器差速。这个设计值得点赞：它让模型不需要内生地精确理解流体力学，而是直接从“看画面->猜该往哪个方向走”的角度学习，大量降低训练难度。还有一个地面自动驾驶不常遇到的麻烦：水面目标几乎都是“慢速且有不确定性”的。渔船可能突然加速或者掉头，货轮虽然轨迹规律但避让空间巨大，浮标则随浪摆动。VLA模型要同时处理“静态语义障碍物”“动态合作目标”“动态非合作目标”三类对象，模型结构上必须用不同的token类型来区分，否则训练时容易互相干扰。2.4 数据与训练闭环：真实海域数据如何变成模型能力VLA模型最耗时的不是调模型结构，而是造数据集。从公开信息看，某海洋大学（筹）的数据来源有三个方面：实船采集、仿真合成、公开海洋感知数据集。实船采集是最核心的部分。船在近海、港口、养殖区、航道分别跑，采集摄像头画面、雷达目标、高精度定位和人工驾驶操作指令。采集时不要求完美驾驶，反而故意收集一些“新手操作”“异常情况”的片段，比如差点蹭到浮标、被浪推到航道边缘再拉回来。这些边缘样本对模型学习“如何纠正错误”非常关键。仿真合成用来补长尾场景：没有那么多船会故意做诡异机动，那就用Unreal Engine或者Unity搭一套海面仿真环境，批量生成“渔船+浮标+弱光”的组合。公开数据集用来做预训练底座，让模型先学会基础的视觉语义理解。训练分三步走。第一步，用海量陆地和海洋通用图文数据，训练视觉编码器和语言编码器的对齐能力。第二步，在仿真环境里做模仿学习，让模型模仿专家驾驶员的动作，同时加入数据增强，如随机改变浪高、光照、镜头净度。第三步，在实船数据上做强化学习，以“安全到达目标点、保持安全距离、航迹误差小”作为奖励，让模型走出模仿学习里“只会照着学、不会随机应变”的局限。这套三阶段训练流程，和地面自动驾驶行业的做法一致，但数据分布完全不同，所以不能用陆地数据直接灌入模型。3. 真实海域验证的全流程复盘3.1 验证目标与指标设定：什么叫“验证成功”这次海试最让我感兴趣的地方，是他们的测试指标设置。很多项目展示无人船，拍一段“船自己开到对面再开回来”的视频就说成功了，这在陆地上也许可以糊弄过去，在海洋工程里完全不够。某海洋大学（筹）这次公开的验证结果，涵盖了五个维度：自主航行成功率、平均航迹偏差、最小安全距离、无人工接管的里程、决策耗时。自主航行成功率，指的是在预定的测试航线里，系统没有发生严重故障、没有触发安全兜底停船，完整跑通的比例。平均航迹偏差，是船的实际航迹与计划航线的横向偏差，正常航速下能压在半个船身以内就算优秀，船身通常不到10米，所以5米内的偏差已经能应付大部分狭窄航道。最小安全距离，是指模型在避障过程中，与最近障碍物保持的距离，这个指标能看出模型是会提前绕行，还是会一头扎到跟前再急转。无人工接管的里程，反映系统的综合稳定度，地面上做L4的都在拼这个。决策耗时则从传感器数据进入模型到输出指令，再到推进器响应完成，整个闭环的延迟，这个指标最容易被人忽略。3.2 现场条件：真实海域比模拟环境“残酷”多少真实的近海环境，是模拟器再怎么做都做不像的：风浪让船一直在摇，阳光在波光粼粼的海面上产生强烈反射和闪烁，盐雾给镜头罩上一层白膜，航道里的渔船根本不按“标准行为”行驶，有些小船看到无人船还会出于好奇故意靠近。某海洋大学（筹）的第二批海试在近岸开放海域进行，水文气象条件达到“轻浪”级别，风速不低于四五级。在这种环境下，摄像头画面的退化和船体姿态变化是VLA模型的第一大敌。我看到海试影像资料里，画面有浪涌带来的俯仰和横滚，而模型依然能稳定输出航向，说明团队在预处理层做了姿态补偿。另一个细节是，船在接近航道边界时果断选择减速并保持安全横距，而不是强行贴线航行。这一点听上去简单，但很多传统规划算法只会机械地“到达目标路径点”，完全没有“贴线很危险”的语义理解。3.3 分阶段测试：从码头弱信号测到大风浪耐力测真实海域验证不是把船往海里一放就开始记录。某海洋大学（筹）这次测试，按危险程度和数据成熟度分了四个阶段，每个阶段之间至少隔了一周用来分析数据。第一阶段是码头系泊测试。船拴在码头边，启动VLA模型，让它识别港池内的船只、人员进行避碰避让。这个阶段不考验航行能力，考验的是模型在强反光、船体晃动受限条件下的感知稳定性，以及安全兜底逻辑是否会误触发。第二阶段是港池内自由航行，速度控制在低速，在几艘抛锚船和浮标之间穿行，验证模型关闭港口地图后能不能依赖实时感知完成局部避障。第三阶段是近岸航道巡航，船驶出港池，按预设航线在航道内自主航行，如果有渔船靠近，系统要主动让出主航道。第四阶段是长距离耐力测试，连续航行几个小时，观察模型输出精度会不会做阶跃性下降，设备在持续振动和盐雾环境里是否扛得住。分阶段测试的最大价值，是能定位问题出现的阶段。如果第二阶段就出问题，那大概率是感知或者避障逻辑的锅；如果前三个阶段都正常，第四阶段才崩，那要考虑是热稳定性、时漂或者数据偏移的问题。3.4 一个容易忽略的细节：“端到端”也有多层安全兜底很多人一听“端到端”，就觉得“完全交给AI，出了事我认”。真正的工程落地永远不能这么赌。某海洋大学（筹）这次海试，虽然没有详细展开，但通过对公开资料研读，可以看出他们做了三层安全兜底。第一层，模型自身的安全约束。训练的时候就告诉模型，某些行为会被高额惩罚，比如“距离障碍物小于X米”或者“未经许可越出航道”。第二层，规则安全层，在模型输出之后加了一个实时检查器，参考COLREGS，也就是国际海上避碰规则，对模型输出的期望航向做合法性校验。第三层，硬件急停，让岸端操作员可以随时遥控接管或者触发紧急停机。三层之间没有优先级冲突：模型可以自由发挥，但一旦触碰安全规则层，指令就会被拦截或修正。这个设计是地面自动驾驶已经验证过的“端到端+规则兜底”范式，放到船上同样成立。4. 工程落地中最容易翻车的细节与排查心得4.1 别小看端到端时延：一帧慢等于全盘崩VLA模型跑在船载显卡上，和跑在服务器上不一样。陆地上的自动驾驶测试车，可以背一整台高功率计算平台，船的载荷和供电有限。某海洋大学（筹）用的是工业级GPU模块加边缘推理优化，这个选型是对的，但即使硬件性能不错，模型在推理时也可能出现两三百毫秒的延迟。船的决策不需要像汽车那样到20到50Hz，海上的动态变化慢，10Hz到20Hz的决策率足够用，但整条闭环的延迟必须压进500毫秒以内。这里的瓶颈往往是预处理：多路摄像头要同步曝光，雷达点云要做畸变校正，两路数据还要做时间戳对齐。实测中如果发现转向动作总是慢半拍，先别急着优化模型，去看看预处理管线里有没有“等待同步”导致的排队延迟。4.2 水花、盐雾、阳光反射：摄像头的三大“隐形杀手”海试项目最容易栽的地方，不是算法，而是摄像头什么都拍不到。海水打在镜头上形成盐膜，白天阳光一照，整个画面变成白茫茫一片；浪花时不时溅到镜头上，瞬间遮挡；傍晚逆光时，水面反光强得让自动曝光完全失效。我是强烈建议无人船项目配备镜头防水喷淋和加热装置。喷淋可以定时把盐雾冲洗掉，加热可以在关键时候避免镜头起雾。还有一个只靠软件就能做的小技巧：在训练数据里主动加入“镜头脏污模拟”，把模拟器画面做模糊、白色斑点、局部过曝，让VLA模型学会看到退化画面时不摆烂，而是进入保守航行模式。这次海试里，我注意到他们的视觉画面在部分时段有明显的水珠干扰，但模型仍然没有误判障碍物，说明训练数据里这些退化情况是覆盖到了的。4.3 GNSS拒止下的定位退路海上定位听起来比地下车库容易，卫星信号开阔，但真实情况并非如此：高架桥底、大型货轮侧面、码头塔吊下方，都会造成GNSS信号遮挡和多路径效应。RTK在近岸掉固定解是常事，一旦定位精度从厘米级掉到米级甚至十米级，任何依赖绝对坐标的规划算法都会瞬间失效。VLA模型的优势在于，它不完全依赖GPS。模型能从摄像头画面和雷达点云中直接感知障碍物和航道边界，即使GPS定位降级，依然可以靠“相对场景理解”完成低速航行。但“能开”不意味着“安全”，工程上必须有降级策略：当RTK失锁时，系统自动切换为视觉惯导组合导航，同时把最大航速限制到两节以内，并把风险等级上报到岸端。这次海试没有公开掉定位的片段，但据我了解，实测里出现过几次GNSS短暂抖动，系统都自动降速并保持航向，直到RTK恢复正常。4.4 模型在陌生海域的泛化：别把“水域颜色”当成“海水颜色”VLA模型在地面自动驾驶里有一个著名痛点：训练数据都是晴天中午拍的，雨天晚上就“失明”。到了海上，这个问题变成了“水域颜色过拟合”。近海是黄绿色的，远海是深蓝色的，内河是褐色的，港口水可能是灰绿色的。如果VLA模型的训练数据绝大多数来自某一类水域，它就会把“深蓝色”当成“可航行区域”的隐含特征，换一个海域就不知道该往哪里开。解决方法是做多海域的数据混合，训练时主动做水体颜色迁移和风格随机化。某海洋大学（筹）这次海试从内河航道做到了近海开放海域，模型在两种不同水质环境下都保持了感知稳定，说明团队在仿真阶段应该做了充分的水体风格扰动。这个方法不用加模型复杂度，只是数据层面多花点功夫，值得所有无人船团队参考。4.5 海试问题速查与解决记录根据行业内同类项目的经验，我把最常见的海试问题整理成一张速查表，方便大家按图索骥。现象可能原因检查与解决思路模型对静止浮标识别不稳定正负样本不平衡，退化的视觉特征增加仿真浮标样本、加入运动补偿靠近大型货轮时机头不自觉外偏模型学到了不安全的“让路优先”调整强化学习奖励权重，增大安全距离惩罚波浪中航迹出现锯齿状摆动输出航向变化率过大，底层控制器响应滞后在动作输出头增加平滑约束，降低最大转向角速度夜间湿气导致镜头起雾光学系统缺乏加热装置增加镜片加热和防雾镀层RTK短暂失锁后船长时间停车定位退化触发了过度保守策略引入视觉惯导组合导航，设定分级别降级策略雷达目标与视觉目标融合错位传感器标定存在时间/空间偏差重新做联合标定，外参标定板上船实测我一直强调一个理念：无人船在海上的问题，80%是工程问题，只有20%是算法问题。算法再强，镜头起雾看不见，一切都白搭。5. 影响范围与后续演进5.1 对海洋观测与科学考察模式的影响过去十年的海洋观测，基本是“调查船开出去、科学家和设备在船上、数据带回实验室处理”的模式。调查船租金高、航次有限、受海况影响大，很多海域“想去没船去”。VLA无人船真正改变的是“人船分离”的能力。船自己开，船上的传感器自己测，数据通过卫星实时回传，人只管在岸上下指令和看数据——这是海洋科考的数字化转型。某海洋大学（筹）这次验证的船上据说也挂载了多参数水质传感器，说明他们不只是验证“开船”，还在验证“船到了目标点之后自动执行采样任务”。一旦这条链路跑通，近海网格化加密观测、赤潮应急追踪、溢油污染巡查这类需要快速响应的任务，就能批量从“派大船”变成“派小船集群”。5.2 港口、风电、养殖等高价值场景的落地机会海洋具身智能的第一批商业化落地，大概率不是远洋，而是近海的高频刚需场景。港口巡检是典型场景。港区水域大、船舶多、盲区多，传统人工巡逻艇速度慢、成本高，VLA无人船可以24小时在港池里跑，自动识别违规闯入的小船、监测溢油和落水人员。海上风电运维是另一个热门场景。风机基础、海缆、升压站的巡检需要高频出船，以前靠人开着运维船绕着风机转，现在无人船可以自动规划每座风机的巡检航线，用视觉和声纳识别基础结构损伤和冲刷坑。海洋牧场也值得关注。养殖网箱需要定期检查破损、监测水质和鱼的密度，这些任务要求船在水下设施周围慢速精确航行，VLA模型天然适合这种“看一眼周边环境，再决定下一步怎么动”的模式。5.3 从单体智能到群体智能：VLA只是起点这次海试验证的是“一条船自己会开”，下一阶段必然是“一群船自己协”。海洋观测如果靠单船作业，覆盖范围始终有限；如果用十条VLA无人船组成集群，分别负责不同区域，再通过一条中心船或者卫星中继做协同调度，整个近海的动态感知能力会指数级上升。多船协同对VLA模型提出了新要求：模型不仅要懂船，还要懂别的船会怎么走。这有点像多智能体系统中的通信和默契问题。我判断，未来两三年的演进方向是——VLA模型从“单船驾驶模型”变成“舰队调度大脑”，同时把机械臂、水下机器人这些执行机构接进来。海洋具身智能的“身体”，会从一条船扩展为一整支海上机器人编队。最后再分享一个我个人很深的体会：做这种前沿工程项目，最大的考验不是模型精度能到99%还是99.9%，而是你愿不愿意把剩下的0.1%当成工程问题去死磕。某海洋大学（筹）这次能跑完真实海域验证，说白了就是靠把大量时间花在数据、标定、传感器可靠性这些“不性感”的事情上。海试成功只是一个节点，长期看，谁把数据闭环做得越扎实，谁在海洋具身智能这条赛道上就能走得越远。后续他们如果能把这个模型从近海开放到专属经济区级别的长航程任务，对整个行业的影响会比今天这一场海试大得多。
“端到端”这个概念，在智驾圈已经吵了好几年，但大家聊的基本都是四个轮子的车。最近某海洋大学（筹）把一套VLA端到端自动驾驶系统装到了无人船上，在真实海域跑完了验证，还打出了“海洋具身智能全球首发”的旗号。不少朋友跑来问我：这到底是真突破，还是概念包装？我今天把这套方案的来龙去脉、技术细节、工程落地里容易翻车的地方，从头到尾拆一遍。这篇文章适合三类人看：一是做无人船、海洋机器人、水下设备的硬件和算法工程师，二是关注具身智能赛道、想看看“大模型上船”到底怎么落地的AI从业者，三是做海洋观测、港口巡检、海上风电运维等场景的甲方和管理者。你不需要先懂无人船，只需要有一点AI和自动驾驶的基础，跟着我的思路走就能明白。1. 为什么海洋装备突然谈“具身智能”1.1 传统无人船方案的三个天花板过去十几年，国内无人船的主流方案是“模块化”：感知模块用激光雷达、摄像头、毫米波雷达做目标检测，规划模块写一堆规则和采样算法，控制模块用PID或者MPC跟轨迹。这个架构本身没有错，但放到真实海域里跑，问题一个接一个。首先是链路长。感知、融合、预测、规划、控制分成好几个独立模块，每个模块都要单独调参、单独标定。传感器数据在模块间传递的时候，坐标转换、时间戳对齐这些小问题，能活活耗掉几个月的联调时间。真到了海上，摄像头因为盐雾起雾、激光雷达因为浪涌造成的船体倾斜点云变形，任何一个模块退化，整条链路的性能都会断崖式下滑。其次是规则写不完。海上的情况比道路更“开放”：浮标、渔网、渔船、货轮、礁石、浅滩、水下养殖设施，甚至还有漂过来的集装箱。传统规则只能覆盖预设场景，遇到没见过的组合，比如“渔船旁边带着几条小舢板又拖着浮标”，规则就容易失效。就算效果不好，你很难定位是感知的锅还是规划的锅。第三是数据利用率低。模块化方案里，每个模块的标注成本极高：雷达点云要标，图像要标，融合后的目标也要标。采集了1000多公里的数据，真正能用来提升系统能力的大概只有两三成。端到端模型恰恰相反，它直接吃原始传感器数据，输出控制指令，中间不需要逐级标注，数据和系统的能力增长是直接挂钩的。1.2 VLA不是在船上放个“大喇叭”，而是把“眼睛、小脑、手脚”统一起来很多人听到VLA，第一反应是“把一个大语言模型塞进船里”。这个理解不太准确。VLA的全称是Vision-Language-Action，视觉-语言-动作，它的核心不是“会说话”，而是把“看懂环境、理解任务、输出动作”这三件事揉进同一个模型。地面自动驾驶圈的VLA模型，输入是摄像头画面、激光雷达点云，再加上导航指令或者路况描述，输出的是方向盘转角、油门刹车开度。到了船上，输入变成了多个视角的摄像头画面、雷达目标投影、海图语义、任务指令，输出的是目标航向、航速、左右推进器的推力差。你可以把它理解成一个“会开船的多模态大模型”。这里要特别强调一点：端到端不意味着“一个模型从头管到尾”，中间完全可以有结构化输出。比如说模型先输出“前方500米有渔船，占用航道南侧，预计10秒后到达会遇点”，再输出“建议减速到3节并向右偏航15度”。这种“中间带语义”的端到端，比纯黑盒端到端更可控，也更容易定位问题。1.3 “海洋具身智能”的定义边界具身智能这个概念，在地面机器人上已经讲了很多年，核心是“AI要有身体，能感知物理世界，并且能在物理世界里做动作”。海洋具身智能，就是把这套逻辑从陆地搬到海上。但海洋环境和陆地有本质区别。陆地机器人面对的是相对规则的几何世界，有路沿、有车道线、有交通规则；海面上没有这些东西，船体本身还在一个六自由度的动态环境里——横摇、纵摇、垂荡一直存在。海洋具身智能的“身体”也不只是一条船，还包括船上的机械臂、水下探针、水质传感器、声学设备。模型真正的能力边界在于：它能不能根据当前海况和任务语义，自主决定“船该怎么动、设备该怎么用”。某海洋大学（筹）这次验证的亮点，恰恰就在这里：他们不只是让船沿着航线走，而是让船在看懂海域场景的基础上，结合任务指令做出航行决策。这在国内公开的无人船项目里，确实是第一次见到完整的VLA闭环方案跑完真实海试。2. VLA端到端无人船的核心技术拆解2.1 系统总体架构：从传感器到执行机构的完整链路要理解VLA无人船，先要把整条硬件链路看清楚。这次海试的船型没公开太多细节，但从行业公开资料和同类项目推断，典型的VLA无人船由四层构成。感知层：前视、后视、左右舷的多个广角摄像头，加上一个固态激光雷达做中近距离补充，还有AIS接收机和毫米波雷达做远距离目标感知。摄像头负责纹理、颜色和语义信息，激光雷达负责精确的几何距离，AIS负责识别带应答器的船只身份和动态，三者互补。计算层：船载工控机，配置一块车规级或者工业级的GPU模块，比如128TOPS以上的算力，外加实时控制用的MCU。模型跑在GPU上，安全兜底逻辑和底层伺服控制跑在MCU上，这个分工很关键。定位层：RTK-GNSS加光纤惯导，输出厘米级位置和船体姿态。姿态数据不能只用来看轨迹，还要用来做摄像头画面防抖和激光雷达点云校正。执行层：左右舷独立推进器，或者舵机加单推进器，底层用CAN总线或者以太网接MCU。整套系统的关键，在于“模型输出的动作指令如何安全地变成推进器的转速”。VLA模型输出的是一个高层意图，比如“向右偏航15度”，底线安全层负责判断这个意图会不会导致触礁、碰撞或者违反海事规则，没有问题时才发给伺服控制器。2.2 VLA模型的输入输出设计：多模态信息如何进模型VLA模型要把船上五花八门的信息变成“统一语言”，这是整个方案里最吃功夫的部分。某海洋大学（筹）的公开信息显示，他们采用的是“视觉token + 语义token + 动作token”的混合输入。视觉token来自多路摄像头画面，做法是把多路图像拼接成全景图，再经过视觉编码器切成patch序列。这样做的好处是，模型可以同时看到前后左右，不会出现“前视摄像头看着没船，但侧舷已经有船逼近”的盲区。雷达点云和毫米波雷达目标则被投影到俯视图网格上，再编码成雷达token，和视觉token拼在一起。语义token来自任务指令和海图信息，比如“从1号浮标到达2号浮标”“避开作业渔船”“前方航道限速8节”，这些指令经过文本编码器变成向量。模型输出的动作token，设计成“定航向+定速度”的组合：目标航向角用弧度表示，目标航速用节表示，再配合一个可选的“期望横距”。这个输出空间看起来简单，实际上对训练非常友好。船不像车，车要在车道内精确控制方向和速度，船在水里本来就会被浪推来推去，强行让模型输出精确到厘米级的轨迹没有意义，不如让模型学会“朝哪个方向开、开多快”，剩下的由底层控制器去消磨。2.3 区别于地面自动驾驶的特别设计：船体动力学和动作空间VLA自动驾驶在陆地上已经有了一些落地实践，但直接搬到船上会碰壁，因为船和车的动力学差异实在太大了。车辆响应快，刹车距离按米算；船的惯性大，高速转向需要提前几十米甚至上百米开始动作，低速时候舵效又明显变差。船舶的横摇会产生一部分横向速度，导致船头指向和实际航迹方向不一致，这个现象叫漂角。VLA模型如果只输出舵角，不学习漂角补偿，航迹会有稳定偏差。某海洋大学（筹）的团队在动作空间里加了一个“侧漂补偿量”，模型输出的不是“舵角多少度”，而是“期望航行方向向量”，这个方向向量天然包含了漂角修正。底层控制器再把方向向量换算成舵角和推进器差速。这个设计值得点赞：它让模型不需要内生地精确理解流体力学，而是直接从“看画面->猜该往哪个方向走”的角度学习，大量降低训练难度。还有一个地面自动驾驶不常遇到的麻烦：水面目标几乎都是“慢速且有不确定性”的。渔船可能突然加速或者掉头，货轮虽然轨迹规律但避让空间巨大，浮标则随浪摆动。VLA模型要同时处理“静态语义障碍物”“动态合作目标”“动态非合作目标”三类对象，模型结构上必须用不同的token类型来区分，否则训练时容易互相干扰。2.4 数据与训练闭环：真实海域数据如何变成模型能力VLA模型最耗时的不是调模型结构，而是造数据集。从公开信息看，某海洋大学（筹）的数据来源有三个方面：实船采集、仿真合成、公开海洋感知数据集。实船采集是最核心的部分。船在近海、港口、养殖区、航道分别跑，采集摄像头画面、雷达目标、高精度定位和人工驾驶操作指令。采集时不要求完美驾驶，反而故意收集一些“新手操作”“异常情况”的片段，比如差点蹭到浮标、被浪推到航道边缘再拉回来。这些边缘样本对模型学习“如何纠正错误”非常关键。仿真合成用来补长尾场景：没有那么多船会故意做诡异机动，那就用Unreal Engine或者Unity搭一套海面仿真环境，批量生成“渔船+浮标+弱光”的组合。公开数据集用来做预训练底座，让模型先学会基础的视觉语义理解。训练分三步走。第一步，用海量陆地和海洋通用图文数据，训练视觉编码器和语言编码器的对齐能力。第二步，在仿真环境里做模仿学习，让模型模仿专家驾驶员的动作，同时加入数据增强，如随机改变浪高、光照、镜头净度。第三步，在实船数据上做强化学习，以“安全到达目标点、保持安全距离、航迹误差小”作为奖励，让模型走出模仿学习里“只会照着学、不会随机应变”的局限。这套三阶段训练流程，和地面自动驾驶行业的做法一致，但数据分布完全不同，所以不能用陆地数据直接灌入模型。3. 真实海域验证的全流程复盘3.1 验证目标与指标设定：什么叫“验证成功”这次海试最让我感兴趣的地方，是他们的测试指标设置。很多项目展示无人船，拍一段“船自己开到对面再开回来”的视频就说成功了，这在陆地上也许可以糊弄过去，在海洋工程里完全不够。某海洋大学（筹）这次公开的验证结果，涵盖了五个维度：自主航行成功率、平均航迹偏差、最小安全距离、无人工接管的里程、决策耗时。自主航行成功率，指的是在预定的测试航线里，系统没有发生严重故障、没有触发安全兜底停船，完整跑通的比例。平均航迹偏差，是船的实际航迹与计划航线的横向偏差，正常航速下能压在半个船身以内就算优秀，船身通常不到10米，所以5米内的偏差已经能应付大部分狭窄航道。最小安全距离，是指模型在避障过程中，与最近障碍物保持的距离，这个指标能看出模型是会提前绕行，还是会一头扎到跟前再急转。无人工接管的里程，反映系统的综合稳定度，地面上做L4的都在拼这个。决策耗时则从传感器数据进入模型到输出指令，再到推进器响应完成，整个闭环的延迟，这个指标最容易被人忽略。3.2 现场条件：真实海域比模拟环境“残酷”多少真实的近海环境，是模拟器再怎么做都做不像的：风浪让船一直在摇，阳光在波光粼粼的海面上产生强烈反射和闪烁，盐雾给镜头罩上一层白膜，航道里的渔船根本不按“标准行为”行驶，有些小船看到无人船还会出于好奇故意靠近。某海洋大学（筹）的第二批海试在近岸开放海域进行，水文气象条件达到“轻浪”级别，风速不低于四五级。在这种环境下，摄像头画面的退化和船体姿态变化是VLA模型的第一大敌。我看到海试影像资料里，画面有浪涌带来的俯仰和横滚，而模型依然能稳定输出航向，说明团队在预处理层做了姿态补偿。另一个细节是，船在接近航道边界时果断选择减速并保持安全横距，而不是强行贴线航行。这一点听上去简单，但很多传统规划算法只会机械地“到达目标路径点”，完全没有“贴线很危险”的语义理解。3.3 分阶段测试：从码头弱信号测到大风浪耐力测真实海域验证不是把船往海里一放就开始记录。某海洋大学（筹）这次测试，按危险程度和数据成熟度分了四个阶段，每个阶段之间至少隔了一周用来分析数据。第一阶段是码头系泊测试。船拴在码头边，启动VLA模型，让它识别港池内的船只、人员进行避碰避让。这个阶段不考验航行能力，考验的是模型在强反光、船体晃动受限条件下的感知稳定性，以及安全兜底逻辑是否会误触发。第二阶段是港池内自由航行，速度控制在低速，在几艘抛锚船和浮标之间穿行，验证模型关闭港口地图后能不能依赖实时感知完成局部避障。第三阶段是近岸航道巡航，船驶出港池，按预设航线在航道内自主航行，如果有渔船靠近，系统要主动让出主航道。第四阶段是长距离耐力测试，连续航行几个小时，观察模型输出精度会不会做阶跃性下降，设备在持续振动和盐雾环境里是否扛得住。分阶段测试的最大价值，是能定位问题出现的阶段。如果第二阶段就出问题，那大概率是感知或者避障逻辑的锅；如果前三个阶段都正常，第四阶段才崩，那要考虑是热稳定性、时漂或者数据偏移的问题。3.4 一个容易忽略的细节：“端到端”也有多层安全兜底很多人一听“端到端”，就觉得“完全交给AI，出了事我认”。真正的工程落地永远不能这么赌。某海洋大学（筹）这次海试，虽然没有详细展开，但通过对公开资料研读，可以看出他们做了三层安全兜底。第一层，模型自身的安全约束。训练的时候就告诉模型，某些行为会被高额惩罚，比如“距离障碍物小于X米”或者“未经许可越出航道”。第二层，规则安全层，在模型输出之后加了一个实时检查器，参考COLREGS，也就是国际海上避碰规则，对模型输出的期望航向做合法性校验。第三层，硬件急停，让岸端操作员可以随时遥控接管或者触发紧急停机。三层之间没有优先级冲突：模型可以自由发挥，但一旦触碰安全规则层，指令就会被拦截或修正。这个设计是地面自动驾驶已经验证过的“端到端+规则兜底”范式，放到船上同样成立。4. 工程落地中最容易翻车的细节与排查心得4.1 别小看端到端时延：一帧慢等于全盘崩VLA模型跑在船载显卡上，和跑在服务器上不一样。陆地上的自动驾驶测试车，可以背一整台高功率计算平台，船的载荷和供电有限。某海洋大学（筹）用的是工业级GPU模块加边缘推理优化，这个选型是对的，但即使硬件性能不错，模型在推理时也可能出现两三百毫秒的延迟。船的决策不需要像汽车那样到20到50Hz，海上的动态变化慢，10Hz到20Hz的决策率足够用，但整条闭环的延迟必须压进500毫秒以内。这里的瓶颈往往是预处理：多路摄像头要同步曝光，雷达点云要做畸变校正，两路数据还要做时间戳对齐。实测中如果发现转向动作总是慢半拍，先别急着优化模型，去看看预处理管线里有没有“等待同步”导致的排队延迟。4.2 水花、盐雾、阳光反射：摄像头的三大“隐形杀手”海试项目最容易栽的地方，不是算法，而是摄像头什么都拍不到。海水打在镜头上形成盐膜，白天阳光一照，整个画面变成白茫茫一片；浪花时不时溅到镜头上，瞬间遮挡；傍晚逆光时，水面反光强得让自动曝光完全失效。我是强烈建议无人船项目配备镜头防水喷淋和加热装置。喷淋可以定时把盐雾冲洗掉，加热可以在关键时候避免镜头起雾。还有一个只靠软件就能做的小技巧：在训练数据里主动加入“镜头脏污模拟”，把模拟器画面做模糊、白色斑点、局部过曝，让VLA模型学会看到退化画面时不摆烂，而是进入保守航行模式。这次海试里，我注意到他们的视觉画面在部分时段有明显的水珠干扰，但模型仍然没有误判障碍物，说明训练数据里这些退化情况是覆盖到了的。4.3 GNSS拒止下的定位退路海上定位听起来比地下车库容易，卫星信号开阔，但真实情况并非如此：高架桥底、大型货轮侧面、码头塔吊下方，都会造成GNSS信号遮挡和多路径效应。RTK在近岸掉固定解是常事，一旦定位精度从厘米级掉到米级甚至十米级，任何依赖绝对坐标的规划算法都会瞬间失效。VLA模型的优势在于，它不完全依赖GPS。模型能从摄像头画面和雷达点云中直接感知障碍物和航道边界，即使GPS定位降级，依然可以靠“相对场景理解”完成低速航行。但“能开”不意味着“安全”，工程上必须有降级策略：当RTK失锁时，系统自动切换为视觉惯导组合导航，同时把最大航速限制到两节以内，并把风险等级上报到岸端。这次海试没有公开掉定位的片段，但据我了解，实测里出现过几次GNSS短暂抖动，系统都自动降速并保持航向，直到RTK恢复正常。4.4 模型在陌生海域的泛化：别把“水域颜色”当成“海水颜色”VLA模型在地面自动驾驶里有一个著名痛点：训练数据都是晴天中午拍的，雨天晚上就“失明”。到了海上，这个问题变成了“水域颜色过拟合”。近海是黄绿色的，远海是深蓝色的，内河是褐色的，港口水可能是灰绿色的。如果VLA模型的训练数据绝大多数来自某一类水域，它就会把“深蓝色”当成“可航行区域”的隐含特征，换一个海域就不知道该往哪里开。解决方法是做多海域的数据混合，训练时主动做水体颜色迁移和风格随机化。某海洋大学（筹）这次海试从内河航道做到了近海开放海域，模型在两种不同水质环境下都保持了感知稳定，说明团队在仿真阶段应该做了充分的水体风格扰动。这个方法不用加模型复杂度，只是数据层面多花点功夫，值得所有无人船团队参考。4.5 海试问题速查与解决记录根据行业内同类项目的经验，我把最常见的海试问题整理成一张速查表，方便大家按图索骥。现象可能原因检查与解决思路模型对静止浮标识别不稳定正负样本不平衡，退化的视觉特征增加仿真浮标样本、加入运动补偿靠近大型货轮时机头不自觉外偏模型学到了不安全的“让路优先”调整强化学习奖励权重，增大安全距离惩罚波浪中航迹出现锯齿状摆动输出航向变化率过大，底层控制器响应滞后在动作输出头增加平滑约束，降低最大转向角速度夜间湿气导致镜头起雾光学系统缺乏加热装置增加镜片加热和防雾镀层RTK短暂失锁后船长时间停车定位退化触发了过度保守策略引入视觉惯导组合导航，设定分级别降级策略雷达目标与视觉目标融合错位传感器标定存在时间/空间偏差重新做联合标定，外参标定板上船实测我一直强调一个理念：无人船在海上的问题，80%是工程问题，只有20%是算法问题。算法再强，镜头起雾看不见，一切都白搭。5. 影响范围与后续演进5.1 对海洋观测与科学考察模式的影响过去十年的海洋观测，基本是“调查船开出去、科学家和设备在船上、数据带回实验室处理”的模式。调查船租金高、航次有限、受海况影响大，很多海域“想去没船去”。VLA无人船真正改变的是“人船分离”的能力。船自己开，船上的传感器自己测，数据通过卫星实时回传，人只管在岸上下指令和看数据——这是海洋科考的数字化转型。某海洋大学（筹）这次验证的船上据说也挂载了多参数水质传感器，说明他们不只是验证“开船”，还在验证“船到了目标点之后自动执行采样任务”。一旦这条链路跑通，近海网格化加密观测、赤潮应急追踪、溢油污染巡查这类需要快速响应的任务，就能批量从“派大船”变成“派小船集群”。5.2 港口、风电、养殖等高价值场景的落地机会海洋具身智能的第一批商业化落地，大概率不是远洋，而是近海的高频刚需场景。港口巡检是典型场景。港区水域大、船舶多、盲区多，传统人工巡逻艇速度慢、成本高，VLA无人船可以24小时在港池里跑，自动识别违规闯入的小船、监测溢油和落水人员。海上风电运维是另一个热门场景。风机基础、海缆、升压站的巡检需要高频出船，以前靠人开着运维船绕着风机转，现在无人船可以自动规划每座风机的巡检航线，用视觉和声纳识别基础结构损伤和冲刷坑。海洋牧场也值得关注。养殖网箱需要定期检查破损、监测水质和鱼的密度，这些任务要求船在水下设施周围慢速精确航行，VLA模型天然适合这种“看一眼周边环境，再决定下一步怎么动”的模式。5.3 从单体智能到群体智能：VLA只是起点这次海试验证的是“一条船自己会开”，下一阶段必然是“一群船自己协”。海洋观测如果靠单船作业，覆盖范围始终有限；如果用十条VLA无人船组成集群，分别负责不同区域，再通过一条中心船或者卫星中继做协同调度，整个近海的动态感知能力会指数级上升。多船协同对VLA模型提出了新要求：模型不仅要懂船，还要懂别的船会怎么走。这有点像多智能体系统中的通信和默契问题。我判断，未来两三年的演进方向是——VLA模型从“单船驾驶模型”变成“舰队调度大脑”，同时把机械臂、水下机器人这些执行机构接进来。海洋具身智能的“身体”，会从一条船扩展为一整支海上机器人编队。最后再分享一个我个人很深的体会：做这种前沿工程项目，最大的考验不是模型精度能到99%还是99.9%，而是你愿不愿意把剩下的0.1%当成工程问题去死磕。某海洋大学（筹）这次能跑完真实海域验证，说白了就是靠把大量时间花在数据、标定、传感器可靠性这些“不性感”的事情上。海试成功只是一个节点，长期看，谁把数据闭环做得越扎实，谁在海洋具身智能这条赛道上就能走得越远。后续他们如果能把这个模型从近海开放到专属经济区级别的长航程任务，对整个行业的影响会比今天这一场海试大得多。