韩国KAIST通过模仿人脑以超低功耗进行 LLM 处理，首次开发出AI半导体技术

据韩联社 3月 6日报道，韩国科学技术信息通信部6日宣布，韩国科学技术院（KAIST）PIM半导体研究中心和人工智能半导体研究生院Yoo Hoi-jun教授的研究团队通过三星电子28纳米工艺，开发出可以超高速处理大型语言模型 (LLM)，且最小化功耗的一种核心人工智能(AI)半导体技术“Complementary-Transformer。”

图片来自：韩联社

此次开发的AI半导体硬件单元是结合DNN和SNN的神经网络架构，可降低输出单元的功耗并使用LLM参数的压缩技术。将GPT-2巨型模型的参数从7.08亿个减少到1.91亿个，用于翻译的T5模型的参数从4.02亿个减少到7600万个。通过这种压缩，成功地将外部存储器加载语言模型参数所消耗的功耗降低了70%。其消耗的功率是NVIDIA A100 GPU的1/625，同时实现使用GPT-2模型的语言生成0.4秒的高速运行以及使用T5模型的语言翻译0.2秒的高速运行，生成语言准确率下降了1.2 分支系数（越低意味着语言模型学得越好）。

Hoejun Yoo教授表示：“神经拟态计算是设备端人工智能的核心技术，是一项连IBM和英特尔等公司都无法实现的技术，我们很自豪能够成为世界上第一个使用超低功耗神经拟态计算来运行大型模型的公司。”

（编译：天容）