大模型降本第一步,从智算中心开始

慧聪IT网 2024-09-19 22:00 来源:网络

大模型的发展,经历第一阶段拼算力、关注基础模型领先性之后,当前已进入更务实的第二阶段,即商业化落地应用,如何将大模型应用成本降下来,成为行业关注的焦点。

京东云从智算中心开始,迈出大模型降本第一步,通过使用液冷技术降低制冷开支、引入AI进行智能化能耗管理等,帮助客户将大模型使用成本降下来。

大模型降本第一步,从智算中心开始

京东云(廊坊)数据中心

将制冷成本降下来

在智算中心的运营上,电费占运营支出的60%以上,其中很大部分来自于制冷产生的费用,优化制冷系统,已经成为数据中心提高能源效率、降低成本的重要环节。

液冷作为一种高效、节能、稳定的散热方式,冷却剂传递热量的速度是空气的 6 倍以上,正在成为智算中心的“标配”。

京东云自主研发的阿尔法智能算力模块,采用创新性的液冷技术,可以满足算力密度从20kW/柜到100kW/柜的部署需求,算力模块制冷因子CLF低至0.07,即制冷系统能耗只有IT设备能耗的百分之七,帮助客户显著降低制冷能耗。

此外,通过采用EVAC 散热器及液冷技术,京东云新一代液冷服务器可使散热效能提升 50%;并基于多元供电方案,在单机柜 20kW 的条件下,单机柜功耗 1 年可节省 8500 度电。

大模型降本第一步,从智算中心开始

京东云阿尔法智能算力模块

能耗节省率提上去

智算中心往往功率密度更高,是传统数据中心的5倍以上,对运维的要求也呈几何级增长。

为确保每一瓦特电力都能发挥最大效用,京东云推出了节能宝产品,利用高精度建模,对基础设施中全链路的暖通或相关机电系统实现1:1仿真构建,通过AI算法实现全局节能的精细化,节能率可达10%-45%。

基于京东云自研的精维软件平台,集成故障定位、容量管理,动态环境监控等功能,以及空调智能节能运行管理,在保证可用性的同时,极大提升电力系统使用效率。

降本实践对外服务产业

除了服务于自身,京东云也积极将智算中心降本提效相关能力对外输出。

博大数据投资建设的前海智算中心示范基地,采用京东云“阿尔法”算力模块产品,从规划到项目交付不到90天,借助液冷技术,基础设施能耗节省超30%

此外,京东云还支持青海电信智算中心的建设运营,通过共同打造稳定、可靠的商用智算集群,向社会输出普惠的高性能AI算力,为大模型的应用落地提供强劲动能。

当前,随着技术的不断演进,智算中心正逐步迈向更高层次的自动化和智能化升级,京东云拥有从MaaS服务到智算集群,再到硬件基础设施的数智算力矩阵,并基于成熟的智算云运营体系,让客户能够享受到更高效、更经济、更稳定的智算服务。

免责声明:凡注明来源本网的所有作品,均为本网合法拥有版权或有权使用的作品,欢迎转载,注明出处。非本网作品均来自互联网,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。