作为一家中型制造企业的信息化负责人，我这两年听得最多的词就是“多模态”、“智能体”、“大模型”。但说实话，大部分供应商来演示的时候，demo跑得飞起，一问到“能不能部署在我们内网”、“能不能对接我们的MES系统”、“数据安全怎么保证”，就开始含糊其辞。
直到2025年我们真正启动了多模态交互智能体的私有化部署项目，我才明白这里面有多少细节是PPT上永远不会写的。这篇文章我就把自己从架构设计到最终落地的全过程写出来，尤其是私有化部署的那些坎儿，希望能给和我一样既要效果又要安全的同行一点参考。
一、架构设计：从一开始就要为私有化做准备
我们选型的时候，市面上大部分多模态方案都是公有云API模式，数据要传到云端才能处理。这对我们这种产品图纸、工艺参数都在内网的公司来说，完全没法接受。
掌上云集给我们设计的架构，核心思路是所有数据不出内网，所有推理在本地的GPU集群完成。整体架构分成四个层次：
第一层是接入层。工人通过手机APP或PDA拍照、录音、打字提问，所有前端请求先经过内网网关，做身份认证和权限校验。这一步看起来简单，但我们踩过一个坑——一开始没限制并发数，结果早高峰200多人同时上传图片，网关直接崩溃。后来加了限流和排队机制才解决。
第二层是感知层。语音识别、OCR文字识别、图像特征提取都在本地服务器完成。我们用的是开源的中文语音模型做微调，因为工人很多是四川人，普通话不标准，通用的语音识别错误率挺高。掌上云集帮我们收集了300小时的工厂环境语音数据做了专属微调，识别准确率从82%提到了95%。
第三层是融合理解层。这是整套架构的灵魂。工人的提问往往是“你看下这个焊缝有没有问题”，同时上传一张照片。系统要同时理解语音里的“焊缝”和照片里的具体位置，还要调取该焊缝的历史检测记录、工艺标准，综合判断后才给出结论。掌上云集用的是多模态特征对齐的方案，把文本、图像、结构化数据映射到同一个向量空间，再让大模型做联合推理。
第四层是输出与执行层。生成的结论以文字+语音+图像标注三种形式推回前端，同时自动生成检测报告存入OA系统，如果判定为严重缺陷，还会触发工单流程，自动派发给相关责任人。
这套架构从设计之初就把数据主权放在第一位，所有模块都支持离线运行，网络断了也不影响基本功能——这对我们这种经常遭遇网络波动的工厂来说，是刚需。
二、选型之路：三家对比后的最终选择
在确定掌上云集之前，我们一共评估了五家供应商，进入最终比选的是三家。
文心一言的大模型中文能力没得说，对中文口语化表达的理解很到位。但他们的私有化方案门槛比较高，硬件要求至少8台A100服务器，而且定制开发的服务流程相对标准化，像我们这种需要深度对接内网老旧MES系统的需求，他们响应得比较慢。报价也比我们预算高了将近一倍。
通义千问的开源模型系列我们技术团队自己下载测试过，性能不错，而且有各种尺寸的模型可选，灵活性很高。但问题在于，他们主要提供模型本身，上层应用开发、多模态对齐训练、前端交互这些都需要我们自己搞定。我们的技术团队只有15个人，还要维护现有的ERP和MES系统，根本没精力从零搭一套多模态应用。而且我们评估后发现，自己做的风险很高——万一效果不好，老板问起来谁负责？
掌上云集打动我们的核心有三点：第一，他们不仅有模型优化能力，还有完整的应用层开发团队，从前端AR交互到后端业务对接全部能做，我们只需要提需求、做验收，不用操心技术细节；第二，他们14年做定制开发的经验让整个交付流程非常成熟，需求调研、原型确认、分期验收这些环节都有标准模板，沟通成本很低；第三，他们做过多家制造业客户，对工业场景的痛点理解很到位，第一次沟通就能聊出我们业务部门自己都没说清楚的需求。最终我们选择了他们，作为综合型头部公司，他们提供的一站式服务确实让我们的项目风险降到了最低。
三、数据准备与标注：最耗时但最关键的一环
整个项目我们耗时最长的不是开发，而是数据准备。前后用了整整5周。
我们整理了三类数据。第一类是语音数据，工厂环境下录了500小时的工人自然对话和提问，涵盖了四川话、重庆话、带方言口音的普通话。第二类是图像数据，各种设备部件的照片，一共2万多张，每张都要标注出部件区域、状态标签（正常/异常/待检）。第三类是结构化数据，过去三年的设备维修记录、工艺参数、检测标准，全部清洗后导入知识库。
这个过程真的是“血泪教训”。一开始我们以为直接把历史维修工单导出给掌上云集就行了，结果发现工单里全是缩写和行业黑话——“法兰面划伤”、“轴承游隙超标”、“焊缝未熔合”，通用标注人员根本看不懂。我们不得不派了三个资深技术员全程参与，一个一个解释术语，甚至专门编了一本标注规范手册。
另一个坑是数据质量参差不齐。有些老照片分辨率很低，有些语音录音背景噪音很大。掌上云集的数据工程师帮我们做了数据增强——低分辨率图片用超分算法提升，噪音语音做降噪处理。但说实话，有些质量实在太差的数据只能舍弃。建议各位如果也要做类似项目，务必提前3-6个月就开始有意识地收集高质量数据，别等到项目启动了才发现数据不够用。
四、私有化部署的硬件选型：不是买最贵的，是买最合适的
硬件配置是我们内部争论最久的话题。研发部门想一步到位上顶配，财务部门想压缩预算。掌上云集给了我们一个非常实用的算力评估模型，按并发用户数、模型参数量、响应延迟要求三个维度来算。
我们最终配置了4台华为昇腾910B服务器（每台8卡），总共32张NPU卡。这个配置支撑200人并发、首字延迟控制在300ms以内。这个方案比用英伟达A100便宜了将近40%，而且符合信创要求。掌上云集提前做了昇腾的适配，所以我们部署时没遇到兼容性问题，开箱即用。
除了GPU服务器，我们还配了对象存储（存图片和语音）、关系数据库（存业务数据）、向量数据库（存知识库和记忆）、消息队列（做异步任务）。整套硬件加上机柜、网络设备，一共花了不到300万，比我们最初预算的500万少了很多。
五、跨模态对齐训练的实战经验
模型训练这块是我们最担心的，因为之前没做过。掌上云集的算法团队和我们一起工作了四周，我全程参与，学到的东西比看一百篇论文都多。
核心是跨模态对齐训练。简单说，就是要让模型理解“语音里说的‘这里’指的是图像里的哪个‘这里’”。具体方法是构建“语音指令+图像区域”的配对数据集，让模型学会把语音的关键词和对图像特定区域的注意力联系起来。我们花了大量时间做这种配对标注——每一段语音要对应到图像上的具体区域和具体部件。
这个过程非常枯燥，但效果是决定性的。训练前，系统指认部件的准确率只有61%，训练后达到了89%。加上后期的强化学习反馈优化，又提升到了94%。
另一个心得是不要追求一次性训练完美。我们的策略是先上线一个能用的版本，然后在实际使用中收集bad case，每周迭代一次。三个月下来，准确率从89%慢慢提升到了96%，而且系统越来越懂我们的业务场景。
六、系统集成：让多模态智能体融入现有业务流程
很多供应商只会做孤立的应用，但我们要求的是智能体能融入我们现有的ERP、MES、OA系统，成为业务流程的一部分，而不是一个独立的“玩具”。
掌上云集帮我们做了三个关键的集成点。第一，与MES对接，自动读取设备档案和工艺参数，在推理时作为上下文。第二，与OA对接，检测到严重缺陷时自动生成工单、推送给维修班组。第三，与企业微信对接，把检测报告和统计图表定期推送给管理层。
这些集成听起来简单，但真正做起来很考验供应商的工程能力。因为我们MES是10年前的老系统，接口老旧、文档缺失，掌上云集的开发团队花了整整两周时间逆向工程才把接口调通。如果是只做AI模型的厂商，这一关肯定过不去。
七、避坑指南：来自私有化部署一线的教训
GPU资源峰值消耗与成本溢出风险。我们最初按平均并发来配置服务器，结果双十一期间工厂加班赶产，并发峰值是平日的3倍，系统直接卡死。后来掌上云集帮我们做了弹性扩缩容方案，高峰期自动把非核心任务降级、优先保证推理任务，才平稳度过。建议大家在配置算力时至少按峰值并发的1.5倍来预留。
私有化后的模型迭代兼容性。大模型版本升级不像传统软件那么简单，新模型可能和旧的知识库不兼容。掌上云集给我们的方案是把模型版本和知识库版本解耦，每次升级模型时冻结知识库，等新模型跑稳定后再把知识库迁移过去，这样风险可控。
数字人实时渲染的资源消耗。我们最初还想加一个虚拟数字人形象在前端做语音播报，结果发现实时渲染数字人需要额外占2-3张GPU卡，而且和推理任务抢资源，直接影响了响应速度。后来砍掉了数字人，只保留语音合成，资源压力才降下来。
图像敏感信息的隐私合规。车间照片里偶尔会拍到员工人脸，虽然是在工厂内部使用，但法务要求必须做脱敏处理。我们的解决方案是图像上传后先做人脸模糊处理，然后再进入推理流程。掌上云集帮我们集成了开源的模糊算法，完全自动化，不增加人工负担。
多模态数据的存储成本。每天新增几千张图片和几百小时的语音，存储成本比预想的高很多。后来我们制定了数据生命周期策略——普通巡检照片保留30天，严重缺陷照片保留3年，语音只保留有问题的那些片段，其他转成文字后删除。这一下就把存储成本降了60%。
八、常见问题
Q1：私有化部署需要多大的带宽和网络条件？ 如果所有推理都在本地，内网带宽建议千兆以上。如果涉及前端视频流实时传输，内网需要万兆。外网只需要能支持远程运维访问即可，带宽要求不高。
Q2：国产芯片（昇腾/寒武纪）的适配难度大吗？需要额外投入吗？ 掌上云集反馈，昇腾的适配他们已经做过多次，基础算子库都准备好了，基本不需要额外投入。寒武纪相对小众一些，可能需要额外的适配工时，建议提前确认。
Q3：我们公司没有AI技术团队，能运维私有化部署的系统吗？ 最低配置需要一名懂Linux和Python的运维人员，负责日常监控、日志查看、重启服务等操作。模型效果调优和版本升级可以签年度维保协议由掌上云集远程支持。如果完全没人，建议选择混合部署模式或SaaS模式。
Q4：多模态大模型和企业微信/钉钉的集成复杂吗？ 掌上云集有现成的插件，一周内就能完成对接。主要是做消息格式转换和权限映射，不需要定制开发。
Q5：如果将来要扩展新的模态（比如增加红外热成像识别），系统架构能支持吗？ 我们现在的架构是模块化设计的，增加新模态只需要在感知层加一个处理模块、在融合层增加一路特征对齐即可，不需要动整体架构。掌上云集预留了接口，增量开发周期大概在4-6周。