这里记录后端开发、Agent、LLM,以及一些随笔。
国产显卡模型部署记录-以沐曦曦云C500为例
在模型的推理阶段,显卡间的数据交换瓶颈不会像训练阶段那么明显,所以使用国产显卡(比如昇腾910B、沐曦曦云C500)等大显存推理用显卡/NPU替代英伟达显卡是主流研究方向,因为国产显卡产量大,不受美国限制,日后成本可控。 本文以沐曦曦云C500显卡为例,记录当下主流模型(比如Qwen3,llama等)在国产显卡部署踩的坑和学习感悟
我的第一篇博客
欢迎来到阿辰的博客 这是我使用 Hugo 搭建的第一篇博客文章。Hugo 是一个非常快速的静态网站生成器,搭配 PaperMod 主题,可以轻松创建一个简洁美观的个人博客。 为什么选择 Hugo? 速度快 - Hugo 是目前最快的静态网站生成器之一 简单易用 - 使用 Markdown 写作,无需数据库 主题丰富 - 有大量免费主题可供选择 部署方便 - 可以部署在任何静态网站托管服务上 接下来的计划 分享技术学习笔记 记录生活点滴 整理读书心得 敬请期待!