ChatGPT热度不减的背后,是人工智能内容自动生成技术所需要的算力需求也水涨船高。
数据显示,ChatGPT的总算力消耗约为3640PF-days(即假如每秒计算一千万亿次,需要计算3640天),需要7~8个投资规模30亿、算力500P的数据中心才能支撑运行。
高算力成为核心关注点之一
ChatGPT的爆火,也让人们注意到了AI应用背后庞大的算力需求与挑战。
中科曙光便表示,截止2月12日,曙光智算公司提供用于AI训练与推理计算的试用资源,在开放使用后一周内已被抢注一空。
通常情况下,这些计算资源要三个月左右才能被用户注册并使用。目前,曙光智算正协调多个计算中心,提供更多算力资源满足用户需求。
而在上周,浪潮信息也宣布推出AI算力服务产品,基于智算中心的算力基础设施,客户可申请AI算力免费试用。
实际上,以ChatGPT为首的生成式AI开发主要依托于大模型技术,这就离不开算力支撑。
而在算力基建中,除了芯片之外,AI服务器、AIDC等专用数据中心建设也同样必不可少。
就在2月13日,北京市宣布,将支持头部企业打造对标ChatGPT的大模型。
同日北京昇腾人工智能计算中心正式点亮,并与首批47家企业和科研单位签约。该中心一期算力规模达100P,短期算力规模将达500P,远期将达1000P,可为企业和科研单位等提供AI算力服务。
的确,AI对算力的需求已不能仅仅用“快速”来形容——据ChatGPT开发公司OpenAI 研究,2012-2018年,最大的AI训练的算力消耗已增长30万倍,平均每3个多月便翻倍,速度远远超过摩尔定律。
另据《2022-2023 中国人工智能计算力发展评估报告》,2022年我国智能算力规模已达268百亿亿次/秒(EFLOPS),超过通用算力规模。预计未来5年,中国智能算力规模年复合增长率将达52.3%。
生成式AI的开发需要基于海量的自然语言或多模态数据集,对拥有巨大参数的超大规模模型进行训练。
要成功训练出更大参数、更高精度、更高能力的大模型,不仅需要巨量的高性能AI算力进行支撑,还需要依托精心清洗获得的高质量海量数据集,同时还需要有高效的系统平台来保障长时间的模型训练过程。
以OpenAI的GPT-3模型为例,其存储知识的能力来源于1750亿参数,训练所需算力高达3640PFLOPS-day,单次训练费用约460万美元,而ChatGPT及未来GPT-4模型训练成本将更高。
当前,微软Azure云计算中心为ChatGPT提供算力支撑,单次训练成本超过千万美元。
华泰证券2月13日报告也指出,以GPT模型为代表的AI大模型训练,需要消耗大量算力资源,随着国产大模型开发陆续进入预训练阶段,算力需求持续释放或将带动算力基础设施产业迎来增长新周期。
算力为经济增长“添马力”
算力已是数字经济时代的重要生产力。国务院发布的《“十四五”数字经济发展规划》强调,以数据要素为核心引擎推动数字经济深化发展。加快算力基础设施建设则为数据要素不断注入新动能,从而加快数字产业化和产业数字化进程,催生新技术、新产业、新业态、新模式,支撑经济高质量发展。
在Uweb校长、中国移动通信联合会元宇宙产业委执行主任于佳宁看来,一方面,算力是数字经济中所有应用和服务的基础和支撑,可加速电子信息制造业等信息技术产业创新发展;另一方面,算力的提升也可以使企业和组织能够更快、更有效地处理和分析数据,从而提高生产力、降低成本、提高客户满意度,进而助推传统产业数字化转型升级,带来延伸性效益。
近年来,得益于全国一体化算力网络国家枢纽节点的部署和“东数西算”工程的推进,我国算力基础设施建设保持快速发展,供给水平大幅提升,创新成果不断涌现,发展环境持续优化。
据国际数据公司IDC与浪潮信息联合发布的《2022-2023中国人工智能计算力发展评估报告》显示,相较于2020年我国135EFLOPS的算力总规模,2022年我国智能算力规模近乎翻倍,达到268EFLOPS,超过通用算力规模;预计未来5年我国智能算力规模的年复合增长率将达52.3%。
“目前来看,我国算力产业主要呈现高速增长、技术领先、算力资源集中的特点。”于佳宁对《证券日报》记者表示,由于相关企业多集中分布于我国东部地区,导致现有数据中心布局东多西少,东西部算力资源差距较大。
为此,亚洲区块链产业研究院副院长、河北金融学院教授赵永新建议,当前我国在算力方面应进一步加强超算中心、智算中心和边缘数据中心建设,不断满足政府、行业、企业甚至个人等多样化的智能场景需要。同时,加大“东数西算”国家工程,将东部密集的算力需求有序引导到西部,使数据要素跨域流动,实现全国算力统一协调。此外,要加强以算力赋能智慧城市、智慧医疗、智慧农业等千行百业的高质量发展。
得益于算力基础设施建设不断推进,目前我国的算力产业链已初步形成。谈及未来我国发展算力产业的着力点时,赵永新认为,要大力加强自主可控高端芯片生产能力、通过设备更新,工艺创新等方式,争取在量子芯片领域实现换道超车;同时,在核心算法、机器学习、神经网络以及多种技术模型等领域实现研发突破;此外,要进一步加大算力产业支持政策和加强算力人才培养。
智能算力要加强
在业内人士看来,ChatGPT对算力的要求主要还是聚焦在智能算力上,这也是我国亟需加强的方面。
《中国算力发展指数白皮书(2021)》显示,我国智能算力占比由2016年的3%提升至2020年的41%。“十三五”期间,我国通用算力增长了3倍,智能算力增长近百倍。另据《2022-2023中国人工智能计算力发展评估报告》,2021年中国智能算力规模达155.2 EFLOPS(FP16), 预计到2026年中国智能算力规模将达到1271.4 EFLOPS。2021~2026年期间,预计中国智能算力规模年复合增长率达52.3%。
“现在我国在智算能力上还和美国有差距的,芯片问题导致智能计算中心也受到影响。”一位人工智能领域专家解释,虽然目前我国在算力规模上有优势,但是如何更好地利用算力、怎么样去提升算力的效率还是有一些差距。“在芯片有优势的基础上,他们也在不断扩大算力规模,尤其是智能算力的规模。”
随着“东数西算”工程、新型基础设施等国家政策规划出台,我国智算中心掀起建设热潮。当前我国超过30个城市正在建设或提出建设智算中心,整体布局以东部地区为主,并逐渐向中西部地区拓展。
根据近日国家信息中心联合浪潮信息发布的《智能计算中心创新发展指南》,“十四五”期间,在智算中心实现80%应用水平的情况下,城市对智算中心的投资可带动人工智能核心产业增长2.9至3.4倍,带动相关产业增长36至42倍。
北京、上海、广州等数字经济发达地区也出台了政策推进智算中心建设。比如,北京市提出“新建一批计算型数据中心和人工智能算力中心,到2023年,培育成为人工智能算力枢纽”;上海市提出“布局建设一批具有高性能、高吞吐的人工智能算力中心,推动公共算力服务平台建设”等。
就在2月13日,北京发布《2022年北京人工智能产业发展白皮书》,提出北京将支持头部企业打造对标ChatGPT的大模型,着力构建开源框架和通用大模型的应用生态。加强人工智能算力基础设施布局,加速人工智能基础数据供给。
贺仁龙建议,我国接下来对于智能算力的建设重点,可以加快强化算力统筹智能调度,并加强自主关键技术的建设,特别是高端芯片、计算系统、软件工具等领域的攻关和研发。