跟朋友聊天，他说：「AI公司烧钱都用来训练大模型了吧？」 我说：不对，训练反而是一次性的。真正一直在烧的，是推理。 他问：什么叫推理？ 我说：你现在打开ChatGPT或者文心一言，每打一个字，AI每回复一个字，这个计算过程就叫推理。7×24小时，只要有人在用，就一直在跑、一直在花钱。 训练是另一回事——找来海量数据、用GPU集群算几个月、把参数定好。完成了就完成了，不是每天都做。 用一个比喻：训练是建工厂（一次性大投入），推理是每次出货（每次都有成本，量越大越贵）。 GPT-4训练花了约1.5亿美元。但到2024年底，它的累计推理成本已经到了23亿美元——是训练的15倍。推理已占AI基础设施总支出80%以上。 更扎心的是——过去三年推理每token成本跌了约280倍，但总支出反而涨了320%。越便宜，用得越多，账单越大。 #AI工具 #人工智能 #科技生活 #AI资讯 #算法 #howto修炼提问力 #效率提升