基于 llama.cpp 实现高性能本地大模型推理

一听到大语言模型，想必大家想到的一点就是“耗算力”“难以本地部署”。但实际上，大语言模型也有较小的版本，同时如果结合量化技术和高性能框架，在本地平台部署一个可用的大模型是完全可行的。本篇文章将会介绍使用 llama.cpp 这个高性能大模型推理框架，在本地部署开源…

    2024-12-04    0   查看全文

济南 & 泰山游记！

序 作为大四老登，要事已尽，一周六休，怎能不趁着这机会出去玩一趟？早早就和好友计划去爬泰山，这个国庆假期后正好有机会，便果断开启了济南 & 泰山的旅游行程。我们 8 日晚出发，13 日下午返回，除去路程实际上是三日游，但这三日游也是充实丰富，把我们累的…

    2024-10-15    4   查看全文

游玩《黑神话：悟空》的一些想法

最近由“游戏科学”创作 3A 游戏作品《黑神话：悟空》想必大家都有所耳闻，该作在网上也是热度极高、口碑极好。出于好奇，我也在上个月入手了该作，一玩就被深深吸引，最近终于通关并完成了全成就，非常自豪和快乐。 在游戏过程中和通关后，《黑神话：悟空》也带给我…

    2024-10-08    1   查看全文

透过 Arch Linux 窥探系统安装的本质

最近突然想把笔记本双系统的 Ubuntu 换成 Arch Linux，结果发现 Arch Linux 居然没有安装器，所有安装必须参照文档一步步手动完成。带着好奇的心态一晚上走完了 Arch 的安装流程后，我发现我对系统安装尤其是 Linux 的安装有了一个更高的全新认识，本篇文章也是分享我…

    2024-09-10    2   查看全文

由“原神” 4.8 版本舆情引发的一些思考

“原神”在近半年以来出现了多次运营问题，在社区中引发多次风波，口碑持续下滑。近期更新的 4.8 版本活动的新剧情，又在游戏社区（尤其是中文社区）引起了轩然大波。但与前几次可以归咎于运营事故的风波不同，我个人认为这次 4.8 版本活动的剧情舆情非常耐人寻味，很值…

    2024-07-26    2   查看全文

Linux 系统 CUDA 多版本共存以及切换

今天在安装某国产机器学习框架时，发现其环境要求极为刁钻，仅支持三个 CUDA 的版本号。我又不愿意破坏当前的 CUDA 环境，通过查询和实验，发现了一个非常不错的 CUDA 多版本共存方案，可以方便地进行 CUDA 版本的切换，下面进入教程。 教程以 Windows 下的 Ubuntu …

    2024-05-24    2   查看全文

使用 Cloudflare Workers 搭建反向代理加速器

在大陆服务器上部署项目时，经常需要从拉取境外的数据例如代码库、Docker 镜像、模型，此时大概率会碰到网络连接问题，非常让人恼火。本篇文章将会介绍使用 Cloudflare Workers 免费版搭建反向代理的流程，通过搭建反向代理，可以实现以下功能： 直链下载加速。 …

    2024-04-25    11   查看全文

探秘米哈游技术进步：《绝区零》三测体验

16 号中午醒来，打开手机意外发现收到了两封邮件，定睛一看居然是米哈游发的《绝区零》三测邀请。想起来当时刷到招募随手填了个表，没想到这么幸运抽中我了，还是挺惊讶的。三测 18 号正式开服，到今天应该已经体验了快 10 个小时了，总体感受是满意。体验过程中有许多…

    2024-04-20    8   查看全文

使用容器在国产超算平台安装 PyTorch CUDA

近期知道了我校新建了高性能计算平台，于是找老师申请了个账号。上去一看发现居然三台 GPU 节点，每台都有两块 A100 40G，遂打算开始炼丹。结果发现学校为了国产化，服务器 CPU 居然是 arm64 指令集的鲲鹏 920，导致 PyTorch 无法安装。折腾许久，总结了本篇文章，用容…

    2024-03-11    2   查看全文