首次揭秘！联想端侧大模型及个人智能体联想小天创新技术

2024-04-21 19:45:22

以“新机遇 新生态”为主题的AI终端产业生态创新论坛近日在上海举办。联想集团副总裁、联想研究院人工智能实验室负责人范建平博士在论坛上首次揭秘了联想端侧大模型及个人智能体小天背后的创新技术。

范建平指出，联想通过模型压缩、键值缓存、异构计算等大模型端侧优化技术，让大模型在个人智能终端或边缘设备，比如电脑、手机、平板、头显乃至汽车上运行，通过自然交互接收指令，并执行推理。

而联想端侧个人智能体——联想小天，作为业内首款AI PC个人智能体，其核心技术涵盖大模型压缩技术、大模型关键能力的定向增强、端侧异构推理加速、联想端侧混合意图理解方案、联想个人知识库和工具库的自动构建和调用、复杂任务的自动分解及任务执行计划的自动生成等，进而能够为用户提供真正且量身定制的AI专属服务，以满足其个性化需求。

范建平指出，作为用户专属的“个人智能体”，联想小天由嵌入本地的天禧大模型驱动，通过自然交互，在工作、学习和生活等诸多场景中带来全新的AI体验。同时，借助用户的本地文档，联想小天能够不断地加深对用户的认知和理解，从而提供更加精准和个人化的服务。