導讀:完成 DeepSeek-V3 大模型的本地化推理服務部署。
2 月 7 日消息,烽火通信科技股份有限公司今日發(fā)文宣布,旗下長江計算近日聯(lián)合昇騰、華為云團隊成功助力某國有大行完成 DeepSeek-V3 大模型的本地化推理服務部署。
本次部署使用長江計算 G440K V2 服務器,基于 MindIE 推理引擎,在華為云 AI 開發(fā)平臺 ModelArts 上完成。
據(jù)介紹,G440K V2 服務器由長江計算自主研發(fā),已實現(xiàn) DeepSeek 系列模型的推理適配和優(yōu)化,其采用 8 模組高效推理方式,可提供 AI 推理能力,滿足 DeepSeek 大模型算力需求。
IT之家從烽火通信獲悉,該服務器宣稱在內(nèi)存帶寬和互聯(lián)能力方面具有優(yōu)勢,在 DeepSeek 系列模型部署中,可提高模型推理速度、響應效率和數(shù)據(jù)處理能力,滿足多機組網(wǎng)推理的需求。當前已應用于智能客服、文案生成、知識沉淀等大模型推理場景中,同時確保部署應用中的數(shù)據(jù)安全與自主可控。