基于 llama.cpp 实现高性能本地大模型推理

一听到大语言模型，想必大家想到的一点就是“耗算力”“难以本地部署”。但实际上，大语言模型也有较小的版本，同时如果结合量化技术和高性能框架，在本地平台部署一个可用的大模型是完全可行的。本篇文章将会介绍使用 llama.cpp 这个高性能大模型推理框架，在本地部署开源…

2024-12-04 0 查看全文

状态

2024-10-16

本站更新公告-20241016

本站服务器 Diona 已于 2024-10-15 21:18:54 进行架构升级，内容如下：

济南 & 泰山游记！

序作为大四老登，要事已尽，一周六休，怎能不趁着这机会出去玩一趟？早早就和好友计划去爬泰山，这个国庆假期后正好有机会，便果断开启了济南 & 泰山的旅游行程。我们 8 日晚出发，13 日下午返回，除去路程实际上是三日游，但这三日游也是充实丰富，把我们累的…

2024-10-15 4 查看全文

最近由“游戏科学”创作 3A 游戏作品《黑神话：悟空》想必大家都有所耳闻，该作在网上也是热度极高、口碑极好。出于好奇，我也在上个月入手了该作，一玩就被深深吸引，最近终于通关并完成了全成就，非常自豪和快乐。在游戏过程中和通关后，《黑神话：悟空》也带给我…

2024-10-08 1 查看全文

最近突然想把笔记本双系统的 Ubuntu 换成 Arch Linux，结果发现 Arch Linux 居然没有安装器，所有安装必须参照文档一步步手动完成。带着好奇的心态一晚上走完了 Arch 的安装流程后，我发现我对系统安装尤其是 Linux 的安装有了一个更高的全新认识，本篇文章也是分享我…

2024-09-10 6 查看全文

“原神”在近半年以来出现了多次运营问题，在社区中引发多次风波，口碑持续下滑。近期更新的 4.8 版本活动的新剧情，又在游戏社区（尤其是中文社区）引起了轩然大波。但与前几次可以归咎于运营事故的风波不同，我个人认为这次 4.8 版本活动的剧情舆情非常耐人寻味，很值…

2024-07-26 4 查看全文

今天在安装某国产机器学习框架时，发现其环境要求极为刁钻，仅支持三个 CUDA 的版本号。我又不愿意破坏当前的 CUDA 环境，通过查询和实验，发现了一个非常不错的 CUDA 多版本共存方案，可以方便地进行 CUDA 版本的切换，下面进入教程。教程以 Windows 下的 Ubuntu …

2024-05-24 2 查看全文

状态

2024-05-05

21 岁

思来想去也想不出写什么文字来纪念 21 岁生日，不过回看这一年的经历后，我最想表达的反而并不关于自身，而是对身边人的感谢。

来到大学反而不时会感到莫名的孤独，我愈发珍惜能够和我一同前行的人，无论是兄弟、队友、老师还是父母。能有相近的理想，共同的爱好，能一同为一个目标奋斗，还是在困难时伸出援手，这实际上才是最弥足珍贵、最可遇不可求的事情。

总之，新的一岁，新的旅程。心怀理想，无限进步！

在大陆服务器上部署项目时，经常需要从拉取境外的数据例如代码库、Docker 镜像、模型，此时大概率会碰到网络连接问题，非常让人恼火。本篇文章将会介绍使用 Cloudflare Workers 免费版搭建反向代理的流程，通过搭建反向代理，可以实现以下功能：直链下载加速。 …

2024-04-25 21 查看全文

16 号中午醒来，打开手机意外发现收到了两封邮件，定睛一看居然是米哈游发的《绝区零》三测邀请。想起来当时刷到招募随手填了个表，没想到这么幸运抽中我了，还是挺惊讶的。三测 18 号正式开服，到今天应该已经体验了快 10 个小时了，总体感受是满意。体验过程中有许多…

2024-04-20 8 查看全文