模型训练时，张量并行的通信流量远高于流水线和数据并行
数据来源：Wenxue Li 等《UnderstandingCommunicationcharacteristics of distributed training》
查看原文相关图表
- 深度学习是一种特定的机器学习
数据来源：Ian Goodfellowd等《Deep Learning》2024-09-28 - Arista高速交换机市场份额逐步逼近Cisco
数据来源：Crehan Research Data Center Switch Market ShareReport 4Q’23，转引自《Arista Investor Presentation（2024.5）》，2024-09-28 - 不同类型交换机对比
数据来源：华经情报网，亿渡数据《2022年中国交换机行业短报告》，华创证券2024-09-28 - UEC相比RDMA有多个方面进行了优化
数据来源：Broadcom、转引自gaitpu2024-09-28 - AI 数据中心与传统的CPU数据中心所面临场景有所不同
数据来源：Arista《Arista Data-Driven Solutions》(2024M7)2024-09-28 - 搭载ASIC自研芯片AI Server出货占比逐步走高
数据来源：Trendforce公众号，华创证券2024-09-28 - 北美科技厂商资本开支快速增长（亿美元）
数据来源：Bloomberg，华创证券2024-09-28 - ASIC受到云厂商的青睐
数据来源：Trendforce，华创证券2024-09-28 - 不同RDMA协议栈
数据来源：唐宏等《生成式大模型承载网络架构与关键技术探索》2024-09-28 - IB、iWARP和RoCE对比
数据来源：华为官网，华创证券2024-09-28 - RDMA相比传统以太网有更高的带宽
数据来源：英伟达官网2024-09-28 - RDMA相比传统以太网有更低的延迟
数据来源：英伟达官网2024-09-28 - NVLinkC2C大幅加快推理速度
数据来源：英伟达官网2024-09-28 - 是否使用NVSwtich芯片的GPU之间通信带宽速度比较
数据来源：英伟达官网，华创证券2024-09-28 - 历代NVSwitch芯片情况
数据来源：英伟达《THENVLINK-NETWORKSWITCH:NVIDIA’S SWITCHCHIPFORHIGHCOMMUNICATION-2024-09-28 - 历代NVSwitch芯片情况
数据来源：英伟达官网，华创证券2024-09-28 - 历代NVlink情况
数据来源：英伟达官网，华创证券2024-09-28 - Scale Up和Scale Out 网络对比
数据来源：半导体行业观察公众号，华创证券2024-09-28 - H100相比A100性能提升6倍主要源自架构创新
数据来源：英伟达官网2024-09-28 - AI 算力需求增长速度远超硬件算力提升速度
数据来源：麦络等《机器学习系统：设计与实现》2024-09-28 - 2023年Arista高速交换机端口出货量超过Cisco
数据来源：Crehan Research Data Center Switch Market ShareReport 4Q’23，转引自《Arista Investor Presentation（2024.5）》，2024-09-28 - 全球生成式AI 数据中心以太网交换机市场规模预计迎来高速发展
数据来源：IDC2024-09-28 - GPU架构发展之路
数据来源：Github，华创证券2024-09-28
图表属性
- 数据类型：其他
- 行业分类：工业制造
- 发布日期：2024-09-28
- 文件格式：PNG