Intel 发布 Gaudi 3 AI 芯片:性能超 NVIDIA H100
美国当地时间4月9日,Intel举办了一场面向客户和合作伙伴的Intel Vision 2024产业创新大会,做出多项重磅宣布,包括全新的Gaudi 3 AI加速器,包括全新的至强6品牌,以及涵盖全新开放、可扩展系统,下一代产品和一系列战略合作的全栈解决方案。
数据显示,预计到2030年,全球半导体市场规模将达1万亿美元,AI是主要推动力,不过在2023年,只有10%的企业能够成功将其AIGC项目产品化。
Intel的最新解决方案,有望帮助企业应对推广AI项目时所面临的挑战,加速实现AIGC落地商用。
Intel发布Gaudi 3 AI加速器:4倍性能提升、无惧1800亿参数大模型Intel现有的Gaudi 2诞生于2022年5月,并于2023年7月正式引入中国,拥有极高的深度学习性能、效率,以及极高的性价比。
它采用台积电7nm工艺制造,集成24个可编程的Tenor张量核心(TPC)、48MB SRAM缓存、21个10万兆内部互连以太网接口(ROCEv2 RDMA)、96GB HBM2E高带宽内存(总带宽2.4TB/s)、多媒体引擎等,支持PCIe 4.0 x16,最高功耗800W,可满足大规模语言模型、生成式AI模型的强算力需求。
新一代的Gaudi 3面向AI训练和推理,升级为台积电5nm工艺,带来了2倍的FP8 AI算力、4倍的BF16 AI算力、2倍的网络带宽、1.5倍的内存带宽。
对比NVIDIA H100,它在流行LLM上的推理性能领先50%、训练时间快40%。
Gaudi 3预计可大幅缩短70亿和130亿参数Llama2模型、1750亿参数GPT-3模型的训练时间。
在Llama 70亿/700亿参数、Falcon 1800亿参数大型语言模型上,Gaudi 3的推理吞吐量和能效也都非常出色。
Gaudi 3提供多种灵活的形态,包括OAM兼容夹层卡、通用基板、PCIe扩展卡,满足不同应用需求。
Gaudi 3提供开放的、基于社区的软件,以及行业标准以太网网络,可以灵活地从单个节点扩展到拥有数千个节点的集群、超级集群和超大集群,支持大规模的推理、微调和训练。
Gaudi 3 AI加速器具备高性能、经济实用、节能、可快速部署等优点,能够充分满足复杂性、成本效益、碎片化、数据可靠性、合规性等AI应用需求。
Gaudi 3将于2024年第二季度面向OEM厂商出货,包括戴尔、慧与、联想、超威等。
目前,Intel Gaudi加速器的行业客户及合作伙伴有NAVER、博世(Bosch)、IBM、Ola/Krutrim、NielsenIQ、Seekr、IFF、CtrlS Group、Bharti Airtel、Landing AI、Roboflow、Infosys,等等。
此外,Intel还宣布联合Anyscale、DataStax、Domino、Hugging Face、KX Systems、MariaDB、MinIO、Qdrant、RedHat、Redis、SAP、SAS、VMware、Yellowbrick、Zilliz等伙伴,共同创建一个开放平台,助力企业推动AI创新。
该计划旨在开发开放的、多供应商的AIGC系统,通过RAG(检索增强生成)技术,提供一流的部署便利性、性能和价值。
初始阶段,Intel将利用至强处理器、Gaudi加速器,推出AIGC流水线的参考实现,发布技术概念框架,并继续加强Intel Tiber开发者云平台基础设施的功能。
本文经快科技授权发布,原标题:Intel发布Gaudi 3 AI加速器:4倍性能提升、秒杀NVIDIA H100,文章内容仅代表作者观点,与本站立场无关,未经允许请勿转载。
Arfu2073
校验提示文案
肺火山超微硅粉沉着症
要是 CUDA护城河没了,谁还买 Nvdia啊,AMD价格便宜显存又大,算力也不差,不香嘛。
校验提示文案
梵高_先生
校验提示文案
Rockbox
校验提示文案
wangmillion2009
校验提示文案
郑家卫
校验提示文案
筱姐姐亲
校验提示文案
飞婧传雅
校验提示文案
什么值不得买
校验提示文案
ferrero-lee
校验提示文案
乖崖十一
校验提示文案
羊羊圆圆妞妞
校验提示文案
入坑太晚
校验提示文案
tset
校验提示文案
青椒炒肉5178
校验提示文案
半步微凉
校验提示文案
值友2012139004
校验提示文案
人不自救上天难佑吧
校验提示文案
护理系学生会
校验提示文案
南梦鸭鸭
校验提示文案
值友1965068759
校验提示文案
新乡里
校验提示文案
jooben
校验提示文案
死循环了
校验提示文案
永不言败的垃圾佬
校验提示文案
南梦鸭鸭
校验提示文案
护理系学生会
校验提示文案
ferrero-lee
校验提示文案
人不自救上天难佑吧
校验提示文案
值友2012139004
校验提示文案
半步微凉
校验提示文案
什么值不得买
校验提示文案
飞婧传雅
校验提示文案
郑家卫
校验提示文案
Arfu2073
校验提示文案
乖崖十一
校验提示文案
青椒炒肉5178
校验提示文案
tset
校验提示文案
入坑太晚
校验提示文案
羊羊圆圆妞妞
校验提示文案