AI大牛李沐装机视频来了！你也能练100亿的大模型

---

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

在还没出装机视频前，李沐老师曾发起了一个小小的问卷调查，趁着显卡降价，看下童鞋们对装机跑Transformer有多大兴趣。

当时，就连华为天才少年「稚晖君」都来点赞了，足见大家还是很期待的。

这不，沐神带着他的装机视频来了。怎样用最低的成本训练一个100亿模型？

而就在最近，币圈也在一直降温，同时GPU也明显降价了不少，就比如英伟达3090TI现在售价1600美元（原价2000美元）。

在这个项目的开始，先装了2台原型机，每台机器都是双卡RTX 3090TI，采用了水冷散热系统，减少了噪音。

一台机器装下来，造价有5000多美元，大约3万5人民币。

话不多说，来看看沐神如何装机的吧～

装机清单

装机的需求，首先就要是足够安静。不然太吵的话没法工作。

第二个需求就是散热要好。不然温度过高的话会导致GPU降频。

第三个，重点来了，因为需要跑比较大的Transformer模型，所以GPU的带宽必须足够好。

如果之前装过GPU服务器用来跑CNN的话，跟跑Transformer模型的需求会不太一样。因为Transformer模型比CNN模型要更大，对内存的占有率会更高。所以GPU的内存大小非常重要。

之前沐神也讲过，要把这样大的Transformer模型放到多个GPU上训练，来自谷歌、微软等的工程师都是使用类似DGA X100这样的机器来跑的。即使在这样的机器上，GPU的带宽仍然是一个瓶颈。

购买这种服务器GPU和游戏GPU的区别就在于，前者不在于单卡能跑多快，而是卡与卡之间能够多快地连接出来。

因此装机理念的重点就是：尽量增大GPU内存，以及GPU之间互联的一个带宽，

如果一台机器想放很多卡的话，就要买涡轮的散热。

如果想要安静的话，就买水冷的散热，沐神买的是4块3090 TI。用水冷的好处是比较安静，坏处就是特别占地方。

所以，如果要在机箱放四块卡的话，就不要买水冷的版本，而是要买只有一个涡轮风扇的版本。

而且机箱里风的流向是一个特别重要的问题。如果买带3个风扇的卡，风是从正面进入机箱，然后从四面八方散热，卡挨得紧的话，机箱里的温度就会非常高。

沐神也说，自己在多年前，买了四块2个大风扇的卡放在一起，结果就导致一块卡温度过高烧掉了。

GPU选好以后（华硕的ROG)， 剩下的配置就比较简单。CPU用的是AMD的12核CPU，主板是号称PCIE 4.0 16的某牌子，硬盘是2 TB的M.2的硬盘，风扇是120毫米水冷风扇，加一个全尺寸机箱。

装机步骤

装机清单完成后，接下来就是具体的装机过程了。步骤如下：

首先放GPU。注意，放的过程中一定不能用手碰金属的地方，如果有静电的话非常容易造成GPU导电。

把GPU放进去之后，把螺丝拧上。然后把风扇装进去。

插上电源后，把电源线和水管线绑在一起。然后把NVLink的桥给连上去。

最后连上电源，机器就可以运行了。

压力测试

在装机完成后，下一步的任务就是继续装上操作系统。

沐神装的是ubuntu22，装上之后就靠远程连上去了。

当然了，沐神也是把各种情况说的比较详细，除了ubuntu22以外，windows和linux在不同的需求下也是可以的。

这里沐神用的SSH进行的远程连接。

沐神的系统已经装上了驱动，同时，他也指出如果还没有驱动的话，也可以用apt-get装上nvidia-driver-515。

装好之后，就可以运行nvidia-smi，看到系统了。

从中可以看到各项信息。比如GPU的数量、温度、瓦数、内存使用等等。

接下来还可以通过nvidia-smi的topo-m矩阵看到nv-link是否正常。

可以看到两个GPU由NV4连接。4表示4个通道，这就代表连接是正常的。

下一题，是测试系统在满负荷的情况下的温度。

沐神表示，测试GPU的是一个叫gpu-burn的小程序，github上可以下载。

这里沐神模拟跑了十分钟，也是看到了两个GPU的温度。沐神还打趣说，都能感觉到GPU在呼呼吹热风。

同理，CPU也可以用这种办法测试温度，用的是cpu-burn。

最终两个GPU的温度停留在58度和55度，功耗拉到了440多瓦（满功耗480瓦），还挺好的。

最后的一项参数是机器的耗电情况。沐神的测试大概用了1241240瓦，意味着每小时用电1.5度。

从目前的数据来看，稳定性还ok。

至于用这台机器跑Transformer性能怎么样，还得等下期视频了。

网友热评

视频发出后，b站的网友也表示出了极大的兴趣。

有满分课代表同学出没，列出了视频中提到的完整配置清单。

还有网友火速前来围观，「跟李沐学装机」。

沐神自己表示，感觉3090ti的卡不是太行。马上有网友搭腔，「不行就抽了送人吧。」

当然了，这种硬核装机视频下的评论肯定少不了幽默因素。

只能说，太真实了。

# 的是  # 可以用  # 出了  # 来了  # 要买  # 是一个  # 都是  # 装上  # 水冷  # ai  # 装机  # ssh  # linux  # transformer  # cnn  # windows  # github 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 网络优化91478 】 【 技术知识72672 】 【 云计算0 】 【 GEO优化84317 】 【 优选文章0 】 【 营销推广36048 】 【 网络运营41350 】 【 案例网站102563 】 【 AI智能45237 】

相关推荐： Gemini怎样写描述型提示词_Gemini描述提示词编写【攻略】  QuickBooks Desktop 到 Online 迁移指南：轻松转移您的公司数据  ChatGPT打造AI助手：10倍提升效率，掌控你的生活  豆包 AI 在英语单词高效背诵中的趣味应用  Z270 Mini-ITX主板全面评测：为Skylake和Kaby Lake打造迷你主机  CallidusAI：提升合同起草效率的智能Word插件指南  Claude怎么用新功能代码调试_Claude代码调试使用【方法】  Fotor懒设计AI排版怎么调整配色方案_Fotor懒设计AI排版配色优化方法【指南】  Bluecap：加拿大AI会议助手，提升混合办公效率  ChatGPT背后的AI革命：OpenAI的崛起与Google的危机  Removebg怎样快速抠图_Removebg上传图片与自动抠图步骤【教程】  打破传统，拥抱幸福：公主如何找到真我？  tofai官网正版入口 tofai网页版免费使用  百度AI助手聊天入口 文心一言对话窗口入口  AI电影制作：颠覆传统，引领未来*新纪元  Gemini怎么用新功能实时问答_Gemini实时问答使用【步骤】  百度ai助手工具栏怎么关 百度ai助手状态栏隐藏  AI视频生成终极指南：免费为店铺打造引流爆款  Zapier MCP：AI赋能工作流，释放Claude强大潜能  AI时代生存指南：掌握软实力，成为不可替代的人  利用 DeepSeek 提高敏捷开发中的 Sprint 规划效率  AMD Ryzen 5 2600: 游戏玩家高性价比之选  SEO必备工具：网站分析与优化终极指南  识别脱水警告信号：专家解读与健康指南  AI|直播|话术生成工具有哪些_一键生成带货话术的AI工具推荐  智谱AI内容创作怎么用_智谱AI内容创作使用方法详细指南【教程】  AI数字人教程：轻松打造专属YouTube虚拟形象  恐怖游戏惊魂：虚拟主播带你逃离病娇女孩的魔爪  豆包AI能否用提示词调整回答深度_豆包AI深度控制提示词技巧【方法】  百度ai助手怎么设置不显示 百度ai助手界面净化设置  如何在 Google Sheets 中利用 Gemini 自动填充数据  Universe：用 iPhone 在 5 分钟内打造网站的终极指南  微信AI数字人如何设置工作时间_微信AI数字人时段开关与值班安排【实操】  宠物翻译App评测：与猫狗交流的未来科技？  Feelin聊天网页版地址 Feelin AI官方网站首页  AI写作鱼如何一键生成情书_AI写作鱼情书生成与浪漫度调整【步骤】  千问如何切换回答风格_千问风格选择正式口语等【实操】  Guru知识管理平台：AI驱动的企业知识中心构建指南  AI聊天机器人引发伦理思考：泰国老人在Facebook上遭遇情感欺骗悲剧  豆包AI的发现页面有什么功能_探索热门智能体与话题  百度AI助手在线体验入口 最新版免费试用入口  AI驱动KDP封面设计：NURIE CREATOR教程  百度输入法ai模式怎么关 百度输入法恢复普通模式  3步教你用AI创作漫画脚本，从故事到分镜全搞定  tofai登录入口官网 tofai网页版地址链接  百度ai助手怎么取消 百度ai助手取消显示设置  百度输入法蓝色图标怎么关 百度输入法ai图标消除  文心一言处理大规模中文报表数据的清洗技巧  2025最佳AI效率工具：释放生产力，革新业务运营  ATS优化：Euron ResumeAI打造高效求职简历 

 2023-04-11