ChrisKim
Do not go gentle into that good night.
颢天

鲲鹏 920
文章归档

基于 vLLM 在昇腾 910B 平台完成大模型分布式推理

最近由于项目原因,拿到了 95 万元的华为云代金券。项目需要进行大规模的大模型推理生成任务,为了利用好华为云的资源,于是我研究了下如何在华为云的昇腾 910B 平台部署大模型。尽管没有成熟的 CUDA 平台方便,但实际上整个流程也没有太过于困难,本篇文章便简单分享…

   2025-10-18   3   查看全文

使用容器在国产超算平台安装 PyTorch CUDA

近期知道了我校新建了高性能计算平台,于是找老师申请了个账号。上去一看发现居然三台 GPU 节点,每台都有两块 A100 40G,遂打算开始炼丹。结果发现学校为了国产化,服务器 CPU 居然是 arm64 指令集的鲲鹏 920,导致 PyTorch 无法安装。折腾许久,总结了本篇文章,用容…

   2024-03-11   2   查看全文