螞蟻集團自研GMLake被PyTorch集成 可提升33%GPU可用顯存
內媒報道,近日螞蟻集團向自研的GPU顯存+傳輸優化開源項目GLake上集成一種高效的動態顯存組合技術框架——GMLake,同時宣布GMLake已被深度學習主流框架PyTorch集成,對上層模型代碼和框架代碼完全透明,模型不需要修改任何代碼即可使用。
據悉,GMLake能夠在大模型訓練、推理框架底層以及系統層對顯存和傳輸進行一體優化,將碎片化的顯存靈活拼接,最高提高33%的GPU可用顯存,使顯存使用更為高效。
運用GMLake對典型大模型如GPT、GLM、Vicuna等進行詳細評測,最高擴大約33%的可用顯存,即在80GB的A100 GPU上節省約25GB的顯存,訓練吞吐提高最多4倍。
關注uSMART

重要提示及免責聲明
盈立證券有限公司(「盈立」)在撰冩這篇文章時是基於盈立的內部研究和公開第三方信息來源。儘管盈立在準備這篇文章時已經盡力確保內容為準確,但盈立不保證文章信息的準確性、及時性或完整性,並對本文中的任何觀點不承擔責任。觀點、預測和估計反映了盈立在文章發佈日期的評估,並可能發生變化。盈立無義務通知您或任何人有關任何此類變化。您必須對本文中涉及的任何事項做出獨立分析及判斷。盈立及盈立的董事、高級人員、僱員或代理人將不對任何人因依賴本文中的任何陳述或文章內容中的任何遺漏而遭受的任何損失或損害承擔責任。文章內容只供參考,並不構成任何證券、虛擬資產、金融產品或工具的要約、招攬、建議、意見或保證。監管機構可能會限制與虛擬資產相關的交易所買賣基金僅限符合特定資格要求的投資者進行交易。文章內容當中任何計算部分/圖片僅作舉例說明用途。
投資涉及風險,證券的價值和收益可能會上升或下降。往績數字並非預測未來表現的指標。請審慎考慮個人風險承受能力,如有需要請諮詢獨立專業意見。