润和软件全场景云-边-端智能生态体系

AI时代中，企业不仅需要前瞻性的技术布局，更需破解“算力成本高、端侧部署困难、场景碎片化”的核心痛点，润和软件以全栈自主可控为根基，以软硬协同、场景驱动、生态开放为支点，实现5大技术突破，为企业构筑从模型开发到落地部署的“零摩擦”智能升级路径。

通过“昇腾910芯片+openEuler开源操作系统+DeepSeek模型”，润和软件打造了云端训练平台，实现大规模数据并行处理与高精度模型优化；依托“昇腾310芯片+OpenHarmony开源操作系统+DeepSeek模型”构建了边端推理系统，实现实时低延时智能推理。二者协同融合，形成了从云端训练到边端推理的全链路闭环系统，为行业提供了全场景、高效、稳定的智能计算解决方案。

• 云端：润和软件基于openEuler开源操作系统发行的HopeOS AI版本，实现了昇腾910芯片与操作系统内核的无损兼容，基于HopeOS AI版的NUMA亲和性调度以及容器化编排，可以支持多卡集群分布式训练。

   

• 边端：在昇腾310芯片上，润和软件基于OpenHarmony开源操作系统的分布式软总线、统一数据管理能力与DeepSeek轻量化模型相结合，支持边缘设备间低时延通信与协同推理。

云边协同训练推理示意图

hoperun_llm 引擎在OpenHarmony上推理DeepSeek 1.5B大模型

量化技术不仅大幅降低了模型的存储和计算开销，使其更适合部署在资源受限的边端设备上，同时通过严格的量化精度保证，使模型在高效运行时保持准确的推理能力和稳定的应用效果。

• 分层动态量化：针对大模型不同层级的敏感性差异（如Attention层对量化误差容忍度低），采用混合精度策略——关键层保留FP16精度，非关键层压缩至INT8/INT4甚至更低，兼顾精度与压缩率。

   

• 量化质量评估：引入感知量化损失评估，在模型压缩过程中实时监测输出偏差，评估精度损失对模型性能的影响。结合行业场景的阈值要求，动态调整量化参数，优化模型在边端设备上的精度与效率平衡。

原生DeepSeek和1.58bit量化版本了在部分数据集上的评测对比

润和软件充分发挥在AI方向上的能力优势，通过硬件加速与软件优化能力，全方位性能提升芯片及操作系统性能。

• 硬件加速优化：针对昇腾、瑞芯微等边端芯片特性，定制算子加速库加速算法执行，根据训练推理负载实时调整芯片的电压与频率。

   

• 软件加速优化：进一步加强AI场景下的openEuler、OpenHarmony开源操作系统的深度调优。

   

• 软硬协同：基于润和软件在openEuler和OpenHarmony开源操作系统上定制的性能分析工具，以及强化学习算法，自动搜索芯片频率、内存带宽、任务并行度的最优组合。

DeepSeek1.5B大模型在RK3588上推理

润和软件基于DeepSeek大模型，深度融合行业know-how与全栈AI技术实现从通用智能到行业专属智能的精准跃迁。

• 行业数据定制化：针对不同行业的特定需求，润和软件对各行业的特有数据进行深度分析和定制化处理，确保模型深入学习行业特征，提升模型在行业应用中的准确性和鲁棒性。

   

• 领域知识嵌入：结合行业专家的知识与经验，润和软件通过“知识蒸馏”技术，将领域知识嵌入模型中，帮助模型快速学习行业规则，减少训练数据需求，提高模型对行业需求的适应性。

   

• 任务特化微调：针对垂直行业的具体任务，润和软件在DeepSeek的基础上进行微调，优化模型的结构与算法，确保模型在行业应用中具有更高的准确度和推理速度。

经过数据监督微调后，模型在边端设备部署后的能力增强

未来，润和软件将以客户需求为指引，持续优化AI软硬件协同能力，深化与DeepSeek系列模型的融合，面向千行万业提供定制化智能决策与全场景数据洞察服务，提升企业竞争力，共同迈向数智未来。