Ilya宣判：预训练即将终结！NeurIPS现场沸腾

在NeurIPS 2024会议上，Ilya Sutskever发表演讲，预测预训练时代即将结束，并提出未来将迎来超级智能。他回顾了过去十年深度学习的发展，强调了自回归模型、大型神经网络和大数据集的重要性，并指出这些技术已成为AI领域的基石。Ilya还讨论了深度学习的规模假设和连接主义思想，认为巨大的神经网络能够完成与人类相似的任务。然而，随着数据增长的瓶颈，预训练的有效性将逐渐减弱。Ilya预测，未来的AI将发展成为具有自主推理和决策能力的超级智能，可能具备自我意识。