AI通过儿童眼睛和耳朵学习语言

美国纽约大学研究人员开展了一项实验，通过他们通过一个孩子的儿童眼睛和耳朵来训练多模式人工智能（AI）系统，使用的眼睛数据来自孩子6个月大到两岁生日期间的头戴摄像头的视频记录。发表在最新一期《科学》杂志上的和耳这项研究表明，该模型或神经网络实际上可利用孩子经历的朵学有限片段，学习大量的习语单词和概念。也就是通过说，视频只捕捉了孩子大约1%的儿童清醒时间，但这对于真正的眼睛语言学习来说已经足够。

GPT-4等AI系统现在可学习和使用人类语言，和耳但它们从海量的朵学语言输入中学习，远比儿童在学习如何理解和表达语言时接受的习语要多。最好的通过AI系统训练的文本数量达到数万亿字，而儿童每年只能收到数百万字的儿童文本。

由于数据存在巨大差距，眼睛研究人员一直怀疑AI的最新进展能否反映出很多有关人类学习和发展的信息。此次，研究团队从孩子6个月大开始，到25个月大结束，每周通过头戴式摄像机，捕获其第一视角视频并分析。他们共使用了超过60小时的视频素材，包含大约25万个单词实例（即所传达的单词数量，其中许多是重复的）。这些单词实例与孩子在说出这些单词时所看到的视频帧相关联，包括进餐、读书和玩耍等各种不同的活动。

经过训练后，团队对模型进行了测试。他们向模型提供目标单词和四个不同的图像，要求它选择与目标单词匹配的答案。结果表明，该模型不但能够学习孩子日常经历中存在的大量单词和概念，还可以将它们概括为视觉实例，哪怕实例与模型训练中看到的完全不同。