清华芯片在类脑视觉感知芯片领域取得重要突破

2024-05-30 19:10:00 评论： 字体大小 T T T 清华大学依托精密仪器系的清华类脑计算研究中心施路平教授团队，提出一种基于视觉原语的芯片芯片互补双通路类脑视觉感知新范式，研制出世界首款类脑互补视觉芯片“天眸芯”。类脑领域基于该研究成果的视觉论文《面向开放世界感知、具有互补通路的感知视觉芯片》作为封面文章，登上5月30日的重突《自然》杂志。

世界首款！清华清华芯片取得重要突破

近日，芯片芯片清华大学在类脑视觉感知芯片领域取得重要突破：

清华大学依托精密仪器系的类脑领域类脑计算研究中心施路平教授团队，提出一种基于视觉原语的视觉互补双通路类脑视觉感知新范式，研制出世界首款类脑互补视觉芯片“天眸芯”。感知基于该研究成果的重突论文《面向开放世界感知、具有互补通路的清华视觉芯片》（A Vision Chip with Complementary Pathways for Open-world Sensing）作为封面文章，登上5月30日的芯片芯片《自然》杂志。

这是类脑领域该团队继异构融合类脑计算“天机芯”后第二次登上 《自然》 杂志封面，标志着在类脑计算和类脑感知两个方向上均取得重要突破。

5月30日《自然》杂志封面

这一成果与我们的日常生活有哪些关系？据介绍，随着人工智能的飞速发展，无人驾驶和具身智能等无人系统在现实社会中不断推广应用，其中，视觉感知作为获取信息的关键途径，发挥着至关重要的作用。然而，在复杂多变且不可预测的环境中，实现高效、精确且鲁棒的视觉感知依然是一个艰巨的挑战。

在开放世界中，智能系统不仅要处理庞大的数据量，还需要应对各种极端事件，如驾驶中的突发危险、隧道口的剧烈光线变化、夜间强闪光干扰等。传统视觉感知芯片由于受到“功耗墙”和“带宽墙”的限制，在应对这些场景时往往面临失真、失效或高延迟的问题，严重影响系统的稳定性和安全性。

为了克服这些挑战，清华大学精密仪器系类脑计算研究团队聚焦类脑视觉感知芯片技术，提出了一种基于视觉原语的互补双通路类脑视觉感知新范式。该范式借鉴了人类视觉系统的基本原理，将开放世界的视觉信息拆解为基于视觉原语的信息表示，并通过有机组合这些原语，模仿人视觉系统的特征，形成两条优势互补、信息完备的视觉感知通路。

基于这一新范式，团队进一步研制出了世界首款类脑互补视觉芯片“天眸芯”，在极低的带宽和功耗代价下，实现了每秒10000帧的高速、10bit的高精度、130dB的高动态范围的视觉信息采集，不仅突破了传统视觉感知范式的性能瓶颈，而且能够高效应对各种极端场景，确保系统的稳定性和安全性。

 

 

类脑互补视觉感知芯片“天眸芯”

基于“天眸芯”，团队还自主研发了高性能软件和算法，并在开放环境车载平台上进行了性能验证。在多种极端场景下，该系统实现了低延迟、高性能的实时感知推理，展现了其在智能无人系统领域的巨大应用潜力。

 

自动驾驶感知演示平台

据悉，论文通讯作者为清华大学精密仪器系施路平教授和赵蓉教授。研究团队表示，“天眸芯”的成功研制为自动驾驶、具身智能等重要应用开辟了新的道路。结合团队在类脑计算芯片“天机芯”、类脑软件工具链和类脑机器人等方面已应用落地的技术积累，“天眸芯”的加入将进一步完善类脑智能生态，有力推动人工通用智能的发展。

 

图为研究团队（张兆基摄）