从2022年12月的GPT到2024年4月的Llama 3，AI大语言模型的训练成本下降了一个数量级。从2024年4月的Llama 3到2024年12月的DeepSeek-V3，训练成本又下降了一个数量级。这是我们期望的技术发展路线，性能提升同时成本快速下降。
这里，我们站在DeepSeek的肩膀上，估算今天基于开源大模型的AI应用开发和部署成本。
我们选择目前业界评价最好的开源模型DeepSeek-R1-Distill-Llama-70B，即DeepSeek R1版本，700亿参数，使用Llama3进行蒸馏。训练复现成本主要包括A800 GPU，CPU，存储和网络硬件，管理调度和分布式训练的软件开发，不要求训练性能，不考虑训练数据集的成本，不含技术储备所需费用，不含微调训练所需时间和成本。推理部署成本，包括和训练类似的硬件系统，推理时计算需要的代理软件开发，一个商业搜索引擎的使用成本，假设用户对每秒两个字的推理性能满意。
估算结果是，训练复现成本1400万人民币，推理前期投资200万，上线后每千名并发用户120万。
根据上述的估算结果，时至今日，AI应用仍然需要每个活跃用户提供2000元的收入才有生存空间。
不难看出，AI训练和推理成本的高企推高了AI应用的盈利门槛，限制了技术向产业的渗透能力。
进一步分析，AI技术成本无法快速降低有两个原因，一是硬件成本没有如预期明显下降，如英伟达在2020年9月发布的A100 GPU，是过去两年用于AI技术的主流芯片，其当前的市场价仍然和四年前相差无几，这在快速发展的信息技术领域可谓是奇葩；二是高性能计算技术无论在硬件和算法上都没有明显的突破，包括英伟达在内的众多芯片公司仍然在原有的技术路线上耕耘，虽有进步但缺乏重大突破。尤其是苹果、英特尔和高通，竟然在终端设备的AI部署上几乎毫无作为。
展望未来，AI应用的开发和部署成本必然进一步下降，同时希望新一代的终端设备能够在成本和性能上完成技术突破。如果能够实现这两点，那么AI应用将会百花齐放，AI技术浪潮将真正席卷整个社会。
附：包括DeepSeek在内，所有的开源大模型都缺乏关键的性能指标，如训练需要的硬件规格，推理需要的硬件规格，训练和推理的吞吐量，等等。这是产业不成熟的又一个标志。你花100块钱买个软件或者游戏，都会有软硬件要求的列表
