数据质量将改变一切
根据MAMBA模型的作者,数据质量是提升AI模型表现最关键的因素。相比模型架构的改进,提高数据质量可以为模型带来指数级的效果提升。当前我们还远未充分利用数据的潜力,如何获得更高质量的数据仍需大量研究与创新。
模型将开始进行思考后回答
未来的AI模型将能进行更长时间的推理思考,就像人类一样按需分配计算资源。这将使AI更贴近人类推理,能够对复杂问题给出更合理的回答。
AlphaCode 2就是一个初步的尝试。它是一个代码生成模型,可以在较长的时间内进行推理,以产生更高质量的代码。相比直接输出代码,AlphaCode可以先生成代码框架和注释,然后逐步填充细节,在这个过程中不断推理和修改,最终输出完整可运行的代码。与直接输出相比,AlphaCode通过让模型进行细粒度的多步推理,可以生成更加合理和高质量的输出。
这种让模型进行逐步推理的模式,更贴近人类解决复杂问题的思维过程。未来的AI系统都可以通过增加推理时间,在生成输出前进行更细致的思考,从而给出更好的结果。
AI技术还有大量短期内就能实现的进步空间
在不增加训练计算量的条件下,仅仅通过方法创新就能显著提升AI模型的表现,如提示学习、步骤验证等。这些方法带来的效果提升与增加数倍训练计算量相当。未来可将数据质量提升、新模型架构和推理时间计算有机结合,产生协同增效。
多模态AI正在快速进步
文本、图像、语音等多模态AI正在快速发展。2024年内,AI生成的视频有望达到高保真、可误导大多数人的程度。这将是多模态AI在人工智能普及化方面的重要一步。
AI技术在可预见的未来不会放缓脚步,2024年必将是一个激动人心的一年。