所有手记

近期思考(2025-05-21)

关于学习习惯、个人知识库和持续写作的一次梳理,也保留了当年折腾本地 AI 服务器的设想。

原写于 2025 年 5 月 21 日 20:07,2026 年 9 月 22 日整理迁移。正文保留当时的想法、计划和预算;技术判断的校正见文末补记,不作为当前硬件采购或部署建议。

前言

很久没有在这个博客上写东西了,其实自己还是想做一些文字输出的。最近想的东西有点多,觉得还是记录下来比较好。

综测和改善学习习惯

前段时间听说有一次招考,于是和老婆商量了,准备开始为考试做准备。

老婆给我列了一个学习计划,并且拿了她之前整理的一些复习材料给我看。看到她在材料上的涂涂画画,不禁让我开始思考自己过往的学习方式。

因为我是理科生,我读书时期的学习方式就是刷例题,只要例题做得多,考试题目我也会做。但是需要记忆的东西我就比较不擅长,比如化学里大量的元素、反应。并且我在语文课上也不怎么会划重点、做笔记。回忆学生时期的考前复习,我也常常不知道要复习些什么。于是就有了改善自己学习习惯的念头。

从小就听说,好的学习习惯可以事半功倍,但是我上 B 站搜索了一下,没找到什么觉得有价值的视频。所以这个事情待议。

话说回来,是要开始综测的学习了。

个人知识库的建立

我最初搭建这个博客的时候,就是想记录下自己学习 Linux 和 Python 的过程。Linux 现在略有进步了,但是 Python 是一点没学,可能还是没有应用场景,也暂时看不到对我有什么帮助吧。

关于个人知识库,其实是之前刷视频被营销号灌输的理念,我现在也暂时保持一个半信半疑的态度。我当时的理解大致是:知识库会整理汇总你喂给它的知识,可以反馈出你想要的答案,而不用再去网络上搜索。昨天看了一个视频,觉得很有道理:当 AI 上网搜索时,搜索到了一篇 AI 生成的垃圾文章,要是它信以为真,拿来反馈给你,那不是就得到了错误的信息吗?所以我觉得经过人工筛选的内容,准确度应该更高。

搜索资料之后,我当时想到的方案是本地部署一个 AI。那时考虑的是 DeepSeek,运行一个 32B 的模型,再通过 Docker 部署 RAGFlow,把模型服务接入 RAGFlow,就可以往里面放资料了。

当时查资料时,看到不少人说 32B 以下的模型容易有幻觉、表现不好,我便把注意力放到了 32B 模型上,也把“至少 24GB 显存”当成了选显卡的门槛。那时 4090、5090 的价格太过于夸张,就把目标转向了二手老硬件。

经过搜索,发现有一张显卡很吸引我,是 AMD 的 MI50。我当时记下它有 32GB 显存的版本,属于老硬件;觉得它的优点是显存大、可以跑大模型,Linux 下也有驱动。至于 Windows,我看到的资料说可能需要折腾驱动,而且会有小问题。

当时我还把功耗高、需要另配散热,以及“不能用来 AI 生成图片”记作缺点。但我觉得这些对我来说都不是大问题,如果哪天想学 AI 生成图片,还有主力电脑的 9070 可以尝试。这里面的判断,如今回看需要分别核实,不能直接当成硬件能力结论。

于是我查询了一下资料,想看看搭建一台 AI 服务器大概需要什么配置。下面保留的是当时的预算记录,金额单位为元;价格口径和未确定的型号没有重新推算。

项目 当时记下的需求 型号或设想 数量 当时记录价格
CPU 16 核 E5-2666 v3 2 70
内存 两倍显存 DDR4 32GB 2400 2 322
散热 未确定 没看 2 120
显卡 24GB 显存 原记“MI50 24GB”,待核实 1 1000
主板 X99 双路 DDR4 没看 1 160
电源 1000W? 长城矿龙 1 100
硬盘 固态加机械 家里有 0 0
机箱 想上机架 4U 工控 1 120
合计 原记录估算 未重新核价 — 约 1900?

不过我思考了一下,近期应该没有时间研究这个,还是等过段时间再开始做比较好。但是我觉得这个事情是一定要做的。

内容输出

我觉得还是要尝试一下长期的内容输出,不管是通过 AI 记日记也好,或者学习的时候记笔记、写感悟也好,能够保持内容输出的能力,才会有创造力。这也是写这篇博客的目的之一。

结尾

开车回家的路上思如泉涌,但是中途穿插了太多事情,变得有些草草结尾。不过写出来就是一个好的进步!

整理补记 · 2026-09-22

上面保留的是 2025 年的思考过程,有几处需要和技术事实分开:

  • 参数规模不能保证没有幻觉。 32B 不是一道分界线,更大的模型同样可能生成错误信息。人工筛选资料能改善来源质量,但不能保证检索与回答一定正确。
  • 知识库不一定要在本地运行大模型。 本地模型是当时考虑的一条路线,也可以连接外部模型服务;检索、资料解析和生成模型是不同环节。
  • 显存需求不能只用“32B 至少 24GB”概括。 权重量化精度、上下文长度、KV 缓存、并发量和 CPU/GPU 分配都会影响占用及速度。“能装入”也不等于“运行流畅”;“内存必须两倍显存”同样不是通用规则。
  • MI50 的容量记录存在矛盾。 原正文写的是 32GB 版本,原表格写的是 24GB。这里保留矛盾并标注待核实,不把它补成一套已经确认或购买的配置。
  • 驱动和图像生成能力需要按环境核实。 能否运行某种工作负载取决于显卡、驱动、计算后端与软件版本,不能把当时记下的“不能生成图片”当作普遍结论。

关于资料检索与模型服务的分工,可以参考 RAGFlow 项目说明;关于上下文、缓存与显存之间的取舍,可以参考 Transformers 的缓存策略文档。这些是本次整理时补充的参考资料。

这里保留的是当时还没动手的方案,硬件和价格都需要重新核实。

这一页,先记到这里。
返回手记列表