Transformer推理能力引热议,DeepMind更新论文力证其强

   时间:2024-10-23 12:57 来源:ITBEAR作者:朱天宇

DeepMind近期在国际象棋AI领域取得了新的突破,其训练的Transformer模型在不需要搜索算法的情况下,实现了大师级的下棋水平。这一成果在学术界引起了广泛讨论,并推动了相关数据集和代码的开源。

该研究最初由一位网友分享,引发了关于Transformer是否能进行逻辑推理的争论。有网友认为这显示了Transformer的推理和规划能力,但也有人反驳称,这只是模式匹配,而非真正的推理。

田渊栋指出,Transformer模型在闪电战模式下的表现更多依赖于直觉和战术反应,而非深度搜索和规划。他认为,模型虽然Elo分数高,但未能展示出超越训练数据的能力。

顾全全则解释道,推理的核心在于蕴涵,而Transformer实现推理的关键在于学习推理规则。他认为,DeepMind的研究展示了Transformer学习推理规则的潜力,但仍需要更多理论研究来确认其能否像人类一样推理。

此次研究不仅限于技术本身,还引发了关于将概率算法提炼成神经模型的通用方法的讨论。有网友认为这是一个重要突破,但也有学者指出模型在泛化能力上的局限性。

DeepMind于10月21日更新了论文,并推出了名为ChessBench的大规模数据集,包含1000万个国际象棋局面及其走法与价值注释。研究团队还开源了数据集、模型权重以及所有训练和评估代码。

对于DeepMind重回棋局研究的原因,有观点认为,这是AI大模型重做现有应用的一个实例,旨在进一步挖掘商业价值并提升用户体验。

该研究对轻量化模型的发展具有重要意义。270M参数的Transformer模型不仅能在移动设备上顺畅运行,还展示了小模型在满足业务需求方面的潜力。

这项研究还引发了一个哲学问题:AI是否正在向“直觉型思维”迈进?尽管AI的策略来自对大量数据的学习,与人类的“下意识反应”存在本质区别,但这种模拟行为为AI如何在复杂环境中进行推理提供了新的思路。

 
 
更多>同类内容
推荐图文
推荐内容
点击排行
 
智快科技微信账号
ITBear微信账号

微信扫一扫
加微信拉群
电动汽车群
科技数码群