本站5月7日消息,今日,聯想創新科技大會(Tech World)以“讓AI成為創新生產力”為主題,聚焦混合式人工智能,從個人到企業,全方位展示聯想創新技術成果。
會上,聯想展示了其在端側算力方面的最新創新成果 —— “聯想推理加速引擎”。
據了解,這款由聯想、清華大學及無問芯穹聯合研發的推理引擎,是專為高效AI PC推理而設計的軟硬件協同優化平臺,可以讓一臺普通PC的本地推理能力,媲美OpenAI去年發布的o1-mini云端模型。
“聯想推理加速引擎”通過高性能并行解碼、算子融合優化以及異構計算技術, 實現了多種應用場景下推理速度的大幅提升,以及功耗和內存占用的顯著降低。
與大模型推理芯片相結合,通過硬件加速與軟件優化的無縫協作,進一步放大了性能提升,形成了疊加效應。
為直觀展示 “聯想推理加速引擎”的實力,現場設置了一場“競速賽”。三臺配置相同的AI PC同時解答2024年高考數學壓軸題:
初代大模型:耗時27秒,答案0分。
二代大模型:耗時26秒,答案滿分。
二代大模型 “聯想推理加速引擎”:耗時13秒,答案滿分。
這表明模型能力的提升和 “聯想推理加速引擎”對算力的提升,讓設備的預填充更為迅速、解碼速度更快、推理時間更短,同時占用內存更少,能耗更低,設備上的 AI 能力得到了大幅提升。
聯想集團董事長兼CEO楊元慶表示,很快大家就會在即將發布的下一代 AI PC 上體驗到 “聯想推理加速引擎”帶來的強大本地推理能力,其性能可以與云端大模型相媲美,但成本卻低得多。
鄭重聲明:本文版權歸原作者所有,轉載文章僅為傳播更多信息之目的,如作者信息標記有誤,請第一時間聯系我們修改或刪除,多謝。