所以Bob认为，从现在起大家会继续扩大、改进和打磨这三个概念。这非常难，需要大量智慧和努力。但若干年后再回头看，bbin平台官网不会看到有其他新出现的根本性技术趋势。 之所以会出现收益递减，是因为模型的智能增长与所投入的算力呈对数线性关系——也就是说，要提升一定幅度的智能，就必须成倍增加算力。 本质上，预训练是规模巨大、耗时持久的训练过程，要用整个数据中心持续运行好几个月。而当要训练下一个新模型时，通常要在多个数据中心上完成。 这可以依赖一些算法效率的提升，但从根本上说，必须等新的数据中心建成。这无法像推理那样在六个月内完成改进，而是需要数年的时间。 即使正在重点开发推理能力，仍然希望改进预训练，提高推理时的效率、支持更长的上下文或更好地利用上下文。而要做到这些时，就必须从头开始，在新架构上重新进行预训练，然后再进入整个推理优化流程。 但如果让人马上去计算2个五位数的乘法，对一般人来说完全做得到，但不能立刻得到准确结果。因为人类天生就需要「在回答前思考」—— 就像以前，学术界还能做出很大的突破。但后来，当Bob再看到学术论文时，他会想：「哦，这个bbin平台官网早就做过了，他们刚刚又重新发现了一次。」