蚂蚁集团自研GMLake被PyTorch集成 可提升33%GPU可用显存
内媒报道,近日蚂蚁集团向自研的GPU显存+传输优化开源项目GLake上集成一种高效的动态显存组合技术框架——GMLake,同时宣布GMLake已被深度学习主流框架PyTorch集成,对上层模型代码和框架代码完全透明,模型不需要修改任何代码即可使用。
据悉,GMLake能够在大模型训练、推理框架底层以及系统层对显存和传输进行一体优化,将碎片化的显存灵活拼接,最高提高33%的GPU可用显存,使显存使用更为高效。
运用GMLake对典型大模型如GPT、GLM、Vicuna等进行详细评测,最高扩大约33%的可用显存,即在80GB的A100 GPU上节省约25GB的显存,训练吞吐提高最多4倍。
关注uSMART

重要提示及免责声明
盈立证券有限公司(「盈立」)在撰写这篇文章时是基于盈立的内部研究和公开第三方信息来源。尽管盈立在准备这篇文章时已经尽力确保内容为准确,但盈立不保证文章信息的准确性、及时性或完整性,并对本文中的任何观点不承担责任。观点、预测和估计反映了盈立在文章发布日期的评估,并可能发生变化。盈立无义务通知您或任何人有关任何此类变化。您必须对本文中涉及的任何事项做出独立分析及判断。盈立及盈立的董事、高级人员、雇员或代理人将不对任何人因依赖本文中的任何陈述或文章内容中的任何遗漏而遭受的任何损失或损害承担责任。文章内容只供参考,并不构成任何证券、虚拟资产、金融产品或工具的要约、招揽、建议、意见或保证。监管机构可能会限制与虚拟资产相关的交易所买卖基金仅限符合特定资格要求的投资者进行交易。文章内容当中任何计算部分/图片仅作举例说明用途。
投资涉及风险,证券的价值和收益可能会上升或下降。往绩数字并非预测未来表现的指标。请审慎考虑个人风险承受能力,如有需要请咨询独立专业意见。