数据出境与泄密风险
企业文档、客户信息送入公有云模型，链路难以审计和追溯。
- 64GB单卡 HBM2 显存
- 896 GB/s显存带宽
- 72B单卡可载模型规模（INT4）
- 671BHS-H8 可载模型规模（INT4）
核心观点
AI 能力，应当部署在企业自己的机房里——而不是放在别人的数据中心里。
真正的瓶颈
模型能力不缺，缺的是一个真正可控的部署底座
企业核心业务要的往往不是「最强模型」，而是数据可控、成本可算、合规可过的私有化算力。
云端成本线性上升
按 token 计费，调用越多越贵；三年成本可能远超一次私有化建设。
信创与合规压力
金融、政务、央国企对国产化、自主可控与等保有明确验收要求。
工具链割裂
模型、向量库、Agent 与业务系统分散，无法在同一受控网络内闭环调优。
三档方案
按企业规模与模型负载选型
统一基于海光 CPU + K100-AI DCU 全栈架构，型号与规格可按业务场景定制。
单卡推理节点 · 10–50 人团队
¥18–25 万1 × K100-AI · 64GB 显存
- 72B 级模型 INT4 单卡运行（约 48GB）
- 32B 模型多实例并发 + 向量检索
- 文档问答、智能客服、代码辅助等单应用场景
- 2U 机架 / 塔式，普通办公室可部署
高并发多模型 · 50–200 人团队
¥35–45 万2 × K100-AI · 128GB 显存
- 72B INT4 高并发，或 72B + 32B + 向量多模型共存
- 72B INT8（约 80GB）双卡承载，精度更稳
- RAG 知识库 + Agent 工作流 + 多部门共享
- 支持双机 HA 高可用部署
全公司算力池 · 200+ 人
¥75–95 万8 × K100-AI · 512GB 显存
- DeepSeek-V3 671B INT4（约 200GB，4 卡）
- 72B 多实例并发，多租户算力隔离
- LoRA 微调、增量训练与模型版本管理
- 可扩展为多机集群 + 集中存储
规格矩阵
三档配置逐项对比
| 配置项 | HS-S1 入门单卡 | HS-M2 主流双卡 | HS-H8 高端八卡 |
|---|---|---|---|
| AI 加速卡 | 1 × 海光 K100-AI · 64GB HBM2 · FP16 192 TFLOPS | 2 × K100-AI · 128GB 总显存 | 8 × K100-AI · 512GB 总显存 |
| CPU | 海光 7000 系列，单路/双路，最高 64 核 128 线程 | 双路海光 7480/7490，64 核 × 2 | 双路海光 7490，64 核 × 2 |
| 内存 | 128GB DDR4/DDR5 ECC，可扩至 256GB | 256GB DDR5 ECC，可扩至 512GB | 512GB–1TB DDR5 ECC |
| 存储 | 2 × 960GB NVMe | 2 × 1.92TB NVMe | 4 × 3.84TB NVMe |
| 电源 | 1600W 1+1 冗余 | 2700W 3+1 冗余 | 3200W 3+1 / 2+2 冗余 |
| 形态 | 2U 机架 / 塔式，风冷 | 2U 机架，风冷 | 4U 机架，八卡高密度 |
| 模型承载 | 72B INT4 · 32B 并发 | 72B INT8 · 多模型共存 | 671B INT4 · 训练微调 |
| 参考价 | ¥18–25 万 | ¥35–45 万 | ¥75–95 万 |
* 价格为渠道参考区间（2026-09），含硬件与部署调优，随供需与汇率波动，实际以采购询价为准。显存占用口径：72B INT4≈48GB / INT8≈80GB / FP16≈144GB；DeepSeek-V3 671B INT4≈200GB；32B INT4≈22GB。
模型承载
显存承载矩阵：模型与档位一一对应
显存是私有化部署的第一约束，选对档位即可一机到位。下表为模型权重占用，实际部署还需为上下文缓存和并发预留显存。
| 模型 | INT4 | INT8 / FP8 | FP16 / BF16 | 推荐档位 |
|---|---|---|---|---|
| Qwen3.8-27B（稠密 · 约 28B） | ≈ 14GB | ≈ 28GB | ≈ 56GB | S1 单卡 INT8，余量留给并发与长上下文 |
| Qwen3.6-35B-A3B（MoE · 激活 3B） | ≈ 18GB | ≈ 35GB | ≈ 70GB | S1 单卡 INT8；激活参数少，吞吐高 |
| DeepSeek-V4.1-Flash（MoE · 552B） | ≈ 280GB | ≈ 550GB | ≈ 1.1TB | H8 约 5 卡 INT4 |
| BGE-M3 向量模型 | ≈ 2GB | — | — | 任意档位，与主模型共存 |
* 参数规模以官方模型卡为准；DeepSeek-V4.1-Flash 按 552B 主干估算，不含 Engram 记忆模块与视觉编码器。新架构模型在海光 DTK 上的适配进度以交付前 POC 实测为准。
软件栈
类 CUDA 生态，迁移成本低
海光 DCU 采用类 CUDA/HIP 编程模型，主流推理框架与开源模型均可适配。
DTK 工具链
海光官方开发者工具包，类 CUDA 编程接口与编译器，支持 CUDA 代码迁移。
vLLM / SGLang
主流高性能推理引擎，提供高吞吐、低延迟的在线推理与 OpenAI 兼容 API。
模型生态
Qwen、DeepSeek 等主流开源模型开箱适配，支持 LoRA 微调与私有模型部署。
操作系统
兼容麒麟、统信 UOS 等国产操作系统，也支持主流 Linux 发行版。
硬件与供电
按 7×24 满载可靠性设计
CPU 与 DCU 同平台
x86 兼容 CPU 负责调度与数据通路，K100-AI 负责推理与训练，避免异构适配损耗。
企业级供电
CPU 每路 10–12 相数字供电，支持 PMBus 遥测与功耗封顶；加速卡 12VHPWR 独立供电。
BMC 带外管理
IPMI/Redfish 远程开关机、固件升级与健康告警，可选国产 BMC。
面向下一代芯片
供电架构预留演进路径，为更高功耗的 DCU 做好准备，投资可平滑升级。
部署拓扑
从单机到集群，算力随业务扩展
01
单机独立部署
HS-S1 / HS-M2 一台到位：模型、向量库与业务服务同机运行。
02
双机高可用
HS-M2 双机主备 + 共享存储，保障业务连续性。
03
算力池 / 集群
HS-H8 多台组成算力池：负载均衡、多租户隔离、集中监控。
04
与 Owlfy 联动
对接现有 OA、IM 与业务系统，与 Owlfy 私有化 Agent 协同。
三年 TCO
一次建设，成本可预算
按中型团队日调用量估算，模型与数据沉淀在本地，边际成本趋于零。
私有化 3 年 ≈ ¥25 万
¥20 万一次性建设。云 API 3 年估算 ≈ ¥100 万+（按 72B 级模型日均百万 token）。
私有化 3 年 ≈ ¥48 万
¥40 万一次性建设。云 API 3 年估算 ≈ ¥200 万+，多应用高并发场景。
私有化 3 年 ≈ ¥100 万
¥85 万一次性建设。云 API 3 年估算 ≈ ¥400 万+，覆盖训练微调与多租户推理。
* 电费按 0.6 元/kWh、7×24 运行估算；云侧估算基于公开 API 定价区间与典型用量，仅供参考。实际成本以项目级报价与用量核算为准。
合规与服务
从芯片到运维，全链路可控
数据不出域
模型与数据全部落在企业物理机内，推理链路不经过外部网络。
信创全栈
国产 CPU + DCU，可选国产 OS、BMC 与中间件。
交付与调优
预装系统与推理栈，到货即用；针对目标模型做量化与吞吐调优，输出基准报告。
7×24 运维
远程监控、季度巡检、备件保障，以及新模型适配与扩容规划。
交付路径
从询价到上线，标准交付
01第 1–2 周
需求与 POC
用目标模型做基准测试，确定档位与配置。
02第 2–4 周
下单与备货
整机下单、出厂质检与预装系统。
03第 4–5 周
部署与调优
上架、组网、推理栈部署与并发调优。
04第 5–8 周
业务接入
对接知识库、业务系统与 Agent，灰度上线。
05长期
运营与扩展
监控、巡检、模型升级与扩容规划。
常见问题
为什么选择海光全栈？
海光 CPU 与 DCU 全栈自研，DCU 采用类 CUDA/HIP 架构，现有模型与代码迁移成本低；K100-AI 单卡 64GB 显存即可承载 72B 级模型，量产供应稳定。
能跑 DeepSeek 吗？
支持 Qwen、DeepSeek 等主流开源模型。Qwen3-72B / DeepSeek-R1-70B 单卡 INT4 运行；DeepSeek-V3 671B 在 HS-H8 上以 4 卡 INT4 承载；也支持 BGE 等向量模型和 LoRA 微调后的私有模型。
如何与现有系统集成？
推理服务提供 OpenAI 兼容 API，可对接 OA、IM、客服与业务系统，支持 RAG 知识库和 Agent 工作流，也可与 Owlfy 私有化 Agent 协同。
后续如何扩容？
三档同属一个平台族：S1 可加卡升级为 M2，M2 可组双机高可用，H8 可横向扩展为多机算力池，软件栈一致，无需推翻重来。
参考价包含哪些内容？
整机硬件、系统与推理栈预装、部署调优与初始模型适配。维保、7×24 服务、巡检与后续模型升级按年服务包提供。实际价格以项目询价为准；实际性能以 POC 实测为准。