64核+高内存带宽英特尔发布第五代至强服务器加速AI原生应用落地

  ds)的神秘面纱。在会上,英特尔的合作伙伴京东云、阿里云和火山引擎也分享了其自身使用第五代至强开发新品服务器和大模型训练的案例。

  这款产品是英特尔最强AI性能的CPU,采用了Intel7工艺,该处理器拥有多达64 核,具备8 条DDR5 通道,支持高达5,600 MT/s的传输速率,缓存是上一代产品的近 3 倍,且采用英特尔超级通道互联2.0 以增加跨插槽内带宽,提供高达20 GT/s的传输。

  据悉,第五代至强可扩展处理器比较上一代产品,可以处理更多的AI工作负载,其迭代性能相较于上一代产品提升了21%,而在AI推理性能上,则拥有高达42%的提升,其内存带宽也提升了16%。

64核+高内存带宽英特尔发布第五代至强服务器加速AI原生应用落地

  相较上一代产品,第五代英特尔至强可扩展处理器可在进行通用计算时将整体性能提升高达21%,并在一系列客户工作负载中将每瓦性能提升高达36%。对于遵循典型的五年更新周期并从更前一代处理器进行升级的客户而言,总体拥有成本最多降低77%。

  京东科技京东云事业部硬件架构总监董可新表示,基于英特尔新一代处理器的京东云自研服务器全面支持京东双十一大促。评测结果显示,新一代至强可扩展服务器平台比上一代整体提升了23%,一方面得益于新一代处理器更高的内存频率,以及更大的L3 Cache等新的技术特性,另一方面得益于我们在和英特尔联合定制的新一代CPU中,针对京东各个业务场景的性能需求进行了针对性的性能优化。

  在AI应用方面,京东云服务器在通用的AI视觉类模型ResNet50推理性能测试中,比上一代平台整体性能提升了38%。在通用的大语言模型Llama2-13B模型推理性能测试中,与上一代相比,提升高达51%,拥有出色的整体优化效果。

  在刚刚过去的双十一中,京东商城上超过60个品牌的营销额突破了10亿。在大促期间,每秒用户访问峰值同比提升了170%,京东智能客服为超过14亿次的用户提供了累计智能咨询的服务。他指出,特别在智能营销方面,京东实现了能够根据产业洞察及带货思维进行服务的数字人,以及其他成本降低达90%的生成式AI应用。

  数据中心人工智能集团副总裁兼中国区总经理陈葆立介绍了英特尔和百度云合作的最新成果。在针对大规模推理的早期测试,双方使用700亿参数的Llama 2开源大模型进行推理,采用了4台内含第五代至强的服务器,并通过100G的高速网络联合在一起。结果是,相比单台的服务器,其性能提升了2.85倍。从整个性能上看,在处理Llama 2 700亿模型推理时,时间可以控制在87毫秒以内。

  阿里云则展示了基于英特尔第五代至强可扩展处理器,推出新一代云实例。基于英特尔第五代至强芯片,阿里云第八代计算实例迎来了全面的计算升级。英特尔CPU在L3 Cache的3倍性能提升和内存带宽16%的提升,在媒体处理、网站应用和AI应用等场景性能提升20%以上。

  通义千问720亿大模型近期在开源社区Hugging Face大模型排行榜上问鼎。阿里云非常重视云上用户的数据安全,结合英特尔TDX技术,阿里云第八代机密计算实例可以保障用户在整个AI推理过程中,模型和数据全流程的数据安全。用户可以在英特尔AMX技术的加持下,在阿里云第八代实例上轻松部署通义千问。

64核+高内存带宽英特尔发布第五代至强服务器加速AI原生应用落地

  陈葆立总结说:“以ChatGPT为例的生成式人工智能带来了一个全新的火爆趋势。我们看到非常多的中国本土企业,包括众多软、硬件公司正在加速推进AI在各行各业的应用和落地。目前在国内,已有超过20家的硬件伙伴,超过7家云服务商基于第五代英特尔至强可扩展处理器,准备好了全新的服务器和云服务。对中国的终端用户来说,无论是对类型、规模以及应用有着如何多样化的需求,都将拥有丰富的选择。英特尔可靠的产业伙伴们,将会为用户提供全面的产品以及服务。”

  1概述嵌入式系统要在5G时代中蓬勃发展,就需要针对5G特点,进行有针对性的应用于创新。1.15G的特点

  移动通信技术的特点主要在:(1)高速率,5G网络的下载速度高达10 Gbit/s,,比4G

  如何玩转Chiplet? /

  而生 /

  无处不在 ” /

  加注推动人工智能无处不在 /

  内核技术的基础上完成研发,涵盖了具有独立自主知识产权的全长安全预检测(PrC)功能,各方面功能针对本土市场丰富的x86架构

相关阅读

  • 服务器最新资讯

    服务器最新资讯

      腾讯云服务器12.12多种机型限时抢购,1核2G服务器4.17元/月,2核4G服务器6.17元/月,专业技术7*24小时在线服务,腾讯云为企业和个人提供快捷,安全,稳定的云服务!   市场分析公司 Omdi...

    2024.01.06 08:14:41作者:adminTags:私人服务器
  • 轻量应用服务器与云服务器的区别:亚马逊云科技的优势在哪里

    轻量应用服务器与云服务器的区别:亚马逊云科技的优势在哪里

      在当今的应用开发和网站建设领域,选择合适的服务器配置是至关重要的。随着技术的发展,轻量应用服务器逐渐成为一种备受关注的新型服务器类型。亚马逊云科技作为领先的海外服务器服务商,也推出了自己的轻量应用服务器。但许多人对轻量应用服...

    2024.01.06 08:13:42作者:adminTags:服务器机箱
  • 站群服务器

    站群服务器

      和大宽带服务器是两种不同类型的服务器,各有其特点和适用场景。RAKsmart小编为您整理了和大宽带服务器的用途和对比情况。1.:主要用于搭建多个网站,每个网站都有独立的IP地址。这种服务器可以提高搜索引擎对多个网站的关注度,...

    2024.01.06 08:12:48作者:adminTags:阿帕奇服务器
  • 站群服务器和大宽带服务器选哪个好

    站群服务器和大宽带服务器选哪个好

      站群服务器和大宽带服务器是两种不同类型的服务器,各有其特点和适用场景。 RAKsmart小编为您整理了站群服务器和大宽带服务器的用途和对比情况。   1. 站群服务器:主要用于搭建多个网站,每个网站都有独立...

    2024.01.06 08:11:45作者:adminTags:日本服务器
  • “龙年纪念币手机点冒烟了也没能预约上”

    “龙年纪念币手机点冒烟了也没能预约上”

      据多家银行公众号消息,2024年贺岁币于1月3日22点开放预约,2024年贺岁钞于1月3日22点30分开放预约,兑换期均为1月9日至1月15日。   然而不少网友反映,多家银行App纪念币的预约界面,根本点...

    2024.01.06 08:10:54作者:adminTags:时间服务器
  • 男子租境外服务器开“男同”网站 吸纳会员超10万人

    男子租境外服务器开“男同”网站 吸纳会员超10万人

      [提要]80后的李某南虽只有初中文化,却不乏生意人的“精明”。据宣州区人民检察院介绍,李某南所设网站传播淫秽物品案系2012年由美国联邦调查局向中方通报,安徽省公安厅指定该案由宣城市公安局立案管辖。   央...

    2024.01.05 15:52:07作者:adminTags:谷歌代理服务器
  • 受雇攻击网站服务器获刑

    受雇攻击网站服务器获刑

      本报讯 记者章宁旦 通讯员刘盛雄 两男子接受他人雇佣,利用电脑操作技术向指定网站或服务器发动攻击,致数十个网站和服务器瘫痪。日前,广东省清远市清新区人民法院依法对该案作出一审判决,两名被告人被认定犯破坏计算机信息系统罪,分别...

    2024.01.05 15:51:03作者:adminTags:电信云服务器
  • 6月份全球Web服务器市场份额最新数据发布

    6月份全球Web服务器市场份额最新数据发布

      近日,Netcraft发布了6月份Web服务器最新数据。数据显示,在全球346,004,403调查网站中,使用Apache web服务器的网站有224,484,657,占全球市场份额的64.88%,稳居榜首。下面,将与大家一...

    2024.01.05 15:50:17作者:adminTags:有哪些云服务器

添加新评论