温馨提示：在 ChatGPT 官网（www.chatgpt.com）使用 GPT-5.5、ChatGPT-Image-2 等模型时，需要 ChatGPT Plus 或更高等级的会员权限。如需购买账号或充值会员，请扫码添加我们客服咨询。
搭建一个AI大模型的成本主要集中在算力、数据和人力三方面，以训练一个千亿参数级别的模型为例，单次训练需要数千张GPU（如NVIDIA A100/H100）连续运行数周至数月，仅算力成本就高达数百万至数千万美元，数据采购与清洗费用另需数百万，而顶尖算法工程师的团队年薪支出亦在千万级别，若加上推理部署的硬件与长期电费，总投入轻松破亿，相比之下，基于开源模型进行微调（如使用LoRA技术）可将成本降至数万元，不同规模的模型与实现路径，成本差异可达千倍。
本文目录导读：
很多人问我,想自己搭一个AI大模型，到底要花多少钱，这个问题其实挺难回答的，因为“搭大模型”这件事，不同的人理解不一样，有人想训练一个全新的模型，有人想把自己的数据放进去微调，还有人只是想部署一个开源模型给自己用，这三个场景的成本差得非常大。
我今天就把这三个方向分别算一算,告诉你钱都花在哪里了。
第一个方向：自己训练一个全新的大模型
这是最烧钱的路子,如果你看过新闻，OpenAI训练GPT-4花了多少钱，那是上亿美元的级别，但我们普通人不用想那么大的模型，我们可以看看小一点的。
先说硬件,训练大模型最核心的东西是GPU，也就是显卡，现在最常用的是NVIDIA的A100或者H100，一张A100的价格大约是1.5万到2万美元，H100更贵，要到3万到4万美元，你可能会想，买一张行不行？不太行，因为大模型训练需要非常大的显存，一个70亿参数的模型，光模型本身就需要几十GB的显存，再加上训练过程中的中间数据，一张卡根本放不下。
训练一个70亿参数的中等模型,至少需要8张A100卡，这就是十几万美元了，如果你租用云服务，每小时的价格大概是10到20美元一张卡，8张卡同时跑，一天就是2000到4000美元，训练一个像样的模型，一般需要几十天，这就到了几万到十几万美元。
然后是数据,你需要大量的高质量数据去训练模型，如果自己收集、清洗、标注，人工成本非常高，如果是购买现成的数据集，价格从几千到几百万都有，比如一些专业领域的标注数据，一页可能就要几块钱，曾经有个朋友做医疗模型，仅仅是收集和标注病历数据，就花了五十多万人民币。
还有电费,你可能觉得电费不算什么，但一张A100的功耗是400瓦，8张卡就是3200瓦，一天24小时就是76.8度电，再加上服务器、散热、网络设备，总功耗轻松超过10千瓦，按照商业电价算，一个月电费就要两万左右。
我见过一个团队,他们想做一个中文对话模型，规模不大大约13亿参数，他们租了16张A100，跑了差不多一个月，加上数据、人力、其他费用，总共花了大概40多万人民币，这还算便宜的。
自己训练一个新模型,对于个人或者小团队来说，基本不现实，你至少要准备几十万甚至上百万，而且最终的结果还不一定好用。
第二个方向：微调一个已有的开源大模型
这个方案比训练新模型便宜很多,也是目前大多数公司和个人用的方法，你不需要从头训练，而是拿一个已经训练好的开源模型，比如Llama、ChatGLM、千问这些，然后用自己的数据去调整它。
微调需要的计算资源少很多,因为你不需要更新所有的参数，通常只调整模型的一小部分，比如用LoRA（低秩适应）的方法，你可以在单张显卡上就完成微调。
硬件方面,一张显存24GB的消费级显卡就够了，比如RTX 4090，价格大约1.5万人民币，如果你想快一点，也可以用两张，租云服务的价格按小时算，一张4090每小时大概3到5元，微调一个小模型，可能一天就搞定了，成本也就一百多块钱。
数据方面,微调的数据量小很多，比如你想训练一个客服模型，你可能只需要几千条问答对，这些数据可以自己写，也可以从业务日志里提取，如果找人来标注，几千条数据，成本大概几千到几万，相比训练新模型，这个成本低太多了。
我有个朋友,他用开源的ChatGLM6B，做成了一个法律咨询助手，他花了大概两天时间，收集了5000条法律问答数据，然后用一张RTX 4090，跑了几个小时就完成了微调，整个项目，包括人工、显卡折旧、数据费用，总共不到2万块钱。
微调是非常适合中小团队和个人入门的方式,你不需要数据中心，一台像样的电脑就能干活。
第三个方向：部署一个现有的大模型
这个最简单,你不需要训练，也不需要微调，就是把一个别人已经训练好的模型下载下来，装在服务器上，然后对外提供服务。
这个场景主要看并发量,如果你只是自己用，或者偶尔给朋友用，成本非常低，比如用Ollama或者vLLM这些工具，在本地电脑上就可以跑，一张RTX 3060就能跑7B的模型，虽然速度慢一点，但能用，一台电脑加上一个显卡，总投入可能只要一万块。
如果你想让很多人同时用,就需要更强的服务器，但同样，你不需要特别高的配置，一个32核CPU、128GB内存、加上一两张A10或者L40s显卡的服务器，这台机器大概一小时几十块钱，一个月五六万，就可以支持几百人同时使用，如果你用云服务，还可以根据流量弹性伸缩，人少的时候自动降配，成本更低。
我认识几个人,他们用开源模型搭了本地服务，给公司内部用，十几个人同时使用，一台一万多的电脑就搞定了，没有额外的开销。
四个你容易忽略的成本
除了上面说的硬件和数据,还有几个地方花钱你没想到。
一个是人员成本,训练和部署大模型不是装个软件就行，你需要懂深度学习、会写代码、能调参数，如果你自己不会，请一个人，月薪两万到五万，这个成本往往比硬件还高。
另一个是调试成本,很多人在网上看到教程，觉得好像很简单，实际操作起来全是问题，模型不收敛、显存溢出、推理速度慢、返回内容乱码，这些问题一调就是好几天，这期间显卡一直在跑，电费和云服务费一直在涨，有个用户跟我说，他微调一个模型，光调试就花了一周，显卡没干别的，开销倒是挺实在。
还有一个是迭代成本,模型不是一次就做好的，你可能要反复调整数据、修改参数、换模型架构，每一次迭代都意味着新的计算资源的消耗，很多团队在微调阶段总投入比预期的多，就是因为在试错。
如果你要用特别大参数的模型,比如100B以上的，那你的成本会快速上升，能不能用更小的模型？很多时候，70亿参数的模型就已经够用了，不是非得用几百亿的。
普通人到底该怎么选？
如果你对AI大模型感兴趣,先想清楚自己要什么。
只是想体验一下,或者做点小工具，直接部署开源模型，成本几千到几万，一个人就能搞定，这也是目前性价比最高的方案。
如果你有特定场景的需求,并且手上有数据，那就做微调，成本大概几万到十几万，注意先算好数据准备的花费，这一步经常被低估。
如果你没有特别多的资金,不要考虑训练新模型，那个是公司和研究机构的事情，你用几万块去训练，模型大概率没开源的好用，这不是技术问题，是算力问题。
最后说一句,很多人在网上晒自己训练模型的账单，看起来好像很便宜，但你要问清楚，他说的“训练”其实是微调还是部署，很多人把跑完一个demo就当训练完了，真正上线的成本是不一样的。
如果你在选购硬件、购买云服务、或者找靠谱的代部署、充值方面遇到问题，记得扫描页底的二维码，我们可以给你一些实际的经验和渠道，这两年我们帮不少用户做了落地方案，各种坑都踩过。
温馨提示：在 ChatGPT 官网（www.chatgpt.com）使用 GPT-5.5、ChatGPT-Image-2 等模型时，需要 ChatGPT Plus 或更高等级的会员权限。如需购买账号或充值会员，请扫码添加我们客服咨询。
网友评论