国产显卡模型部署记录-以沐曦曦云C500为例
在模型的推理阶段，显卡间的数据交换瓶颈不会像训练阶段那么明显，所以使用国产显卡（比如昇腾910B、沐曦曦云C500）等大显存推理用显卡/NPU替代英伟达显卡是主流研究方向，因为国产显卡产量大，不受美国限制，日后成本可控。 本文以沐曦曦云C500显卡为例，记录当下主流模型（比如Qwen3，llama等）在国产显卡部署踩的坑和学习感悟
在模型的推理阶段，显卡间的数据交换瓶颈不会像训练阶段那么明显，所以使用国产显卡（比如昇腾910B、沐曦曦云C500）等大显存推理用显卡/NPU替代英伟达显卡是主流研究方向，因为国产显卡产量大，不受美国限制，日后成本可控。 本文以沐曦曦云C500显卡为例，记录当下主流模型（比如Qwen3，llama等）在国产显卡部署踩的坑和学习感悟