PyTorch官网宣布,通过与Apple的Metal工程团队合作,目前已可以支持在搭载M1芯片的Mac上使用GPU加速PyTorch训练。而在此之前,在Mac上进行PyTorch训练仅能利用CPU。
但随着PyTorch v1.12版本的发布,开发和研究人员可以利用Apple Silicon CPU的优势,大大加快模型训练速度。这解锁了在Mac上执行机器学习工作流程的能力,例如在本地进行原型设计和微调。
据PyTorch官网介绍,其使用Apple的Metal Performance Shaders(MPS)作为PyTorch的后端来加速GPU训练。MPS后端扩展了PyTorch框架,提供了在Mac上设置和运行操作的脚本和功能。MPS通过针对每个Metal GPU系列的独特特性进行微调的内核来优化计算性能。新设备将机器学习计算图和原语映射到MPS提供的MPS Graph框架和优化内核上。
此外,因为每台搭载Apple Silicon的Mac都有统一的内存架构,为GPU提供了直接访问完整内存存储的能力。这让Mac成为机器学习的绝佳平台,也使用户能够在本地训练更大的网络或批大小。同时,这也降低了与基于云的开发相关的成本或对额外本地GPU的需求。此外,统一内存架构还减少了数据检索延迟,提高了端到端的性能。可以看出,使用GPU可将模型训练速度提升约7倍,评估(Evaluation)速度最高可提升约21倍。
以上是Apple于2022年4月使用配备Apple M1 Ultra、20核CPU、64核GPU、128GB内存和2TB SSD的Mac Studio系统进行的测试结果。系统为macOS Monterey 12.3、预发布的PyTorch 1.12,测试模型为ResNet50(batch size=128)、HuggingFace BERT(batch size=64)和VGG16(batch size=64)。性能测试是使用特定的计算机系统进行的,反映了Mac Studio的大致性能。
对于想要体验的用户,以下为具体要求:只需在搭载M1芯片的Mac上安装原生版本(arm64)的Python,并将系统升级至macOS 12.3或更高版本,然后去官网下载最新的PyTorch预览版就可以。
-
刷新世界纪录!第二次青藏科考浮空艇达9032米高空5月15日4时40分,我国第二次青藏高原综合科学考察研究巅峰使命珠峰科考的极目一号III型浮空艇平台超过世界最高峰珠穆朗玛峰,...
-
助力文旅市场元气复苏 山西运城发放200万文旅消费券近日,山西省运城市文化和旅游局宣布,5月15日至8月8日,分三轮集中发放200万元文旅消费券,激发文旅消费潜力、增强文旅市场...
-
济南文旅局:即日起至年底全市将开展文旅市场安全生产大检查据山东省济南市文化和旅游局消息,即日起至12月31日,济南市文化和旅游局开展安全生产大检查行动。本次行动分为全面动员部署...
-
开启文旅元宇宙 “中国旅游日”数字藏品5月19日上线今年5月19日中国旅游日当天,中国旅游报社将联合中国电信上线首款中国旅游日主题数字藏品。首款数字藏品——旅游开篇 遇见美...
-
广西文旅厅:促进广西智慧游 加快“一键游广西”项目建设近日,广西壮族自治区文化和旅游厅召开一键游广西项目建设工作推进电视电话会议,旨在总结一键游广西项目建设情况、研究部署...
-
刷新世界纪录!第二次青藏科考浮空艇达9032米高空
2022-05-16 08:53:11
-
助力文旅市场元气复苏 山西运城发放200万文旅消费券
2022-05-16 08:41:08
-
济南文旅局:即日起至年底全市将开展文旅市场安全生产大检查
2022-05-16 08:38:33
-
开启文旅元宇宙 “中国旅游日”数字藏品5月19日上线
2022-05-16 08:37:07
-
广西文旅厅:促进广西智慧游 加快“一键游广西”项目建设
2022-05-16 08:33:25