中富金石吧 关注:349贴子:19,338
  • 11回复贴,共1

AI催生算力需求快速提升 AI服务器链迎来需求共振

只看楼主收藏回复

以AI手机、AIPC、AIPIN等为代表的终端创新不断涌现,代表着AI从训练走向推理阶段,是AI技术走向商业化的必然之路,新技术的出现有望带来硬件应用场景的重新定义,并进而推动边、端侧算力的需求向前演进。


IP属地:四川1楼2024-02-22 17:37回复
    在2010年之前,AI模型训练所需算力的增长符合摩尔定律,大约每20个月翻倍;在2010年深度学习出现以来,算力增速加快至大约每6个月翻一番。2015年末,大模型技术出现,训练算力需求大幅增长。


    IP属地:四川2楼2024-02-22 17:38
    回复
      ChatGPT首次向世人展现了大模型的惊人潜力。自2022年OpenAi发布的ChatGPT将大型语言生成模型和AI推向新高度以来,全球各大科技巨头纷纷拥抱AIGC(AI-GeneratedContent,人工智能生成内容)。大模型通常包含数亿级的参数,需要消耗大量算力。据OpenAI团队发表于2020年的论文《LanguageModelsareFew-ShotLearners》,训练一次1746亿参数的GPT-3模型需要的算力约为3640PFlop/s-day。


      IP属地:四川3楼2024-02-22 17:38
      回复
        2023年初以来,英伟达与超微电脑分别上涨316%和405%。两者的高景气度揭示了海外厂商对AI算力的大幅投入。


        IP属地:四川4楼2024-02-22 17:38
        回复
          海外四大云商2024年展望乐观:从各家的指引来看,亚马逊FY23年资本开支结构有所优化,预计FY24将继续加大AI领域的投资;谷歌后续季度在AI方面的投资将显著提升;微软23Q3capex环比上升,并指引23Q4环比增长。Meta24年资本开支展望为300-350亿美金(对比23年展望在270-290亿美金),主要驱动要素为AI,包括数据中心和服务器,尤其去年底提及的新数据中心架构建设。
          自23年以来,AI算力需求加速增长,未来来5年或有较大增长空间。华为预计,到2030年通用算力将增长10倍,AI算力将增长500倍。


          IP属地:四川5楼2024-02-22 17:38
          回复
            发改委等部门关于深入实施“东数西算”工程加快构建全国一体化算力网的实施意见,其中提到算力是数字经济时代的新型生产力,以算力赋能经济发展为主线,发挥全国一体化算力网络国家枢纽节点引领带动作用,协同推进“东数西算”工程,并构建联网调度的全国一体化算力网。


            IP属地:四川6楼2024-02-22 17:39
            回复
              海外自2022年OpenAi发布的ChatGPT将大型语言生成模型和AI推向新高度以来,全球各大科技巨头纷纷拥抱AIGC。大模型通常包含数亿级的参数,需要消耗大量算力。服务器作为算力的发动机,算力需求的增长将迎来AI服务器及服务器需求的快速增长。


              IP属地:四川7楼2024-02-22 17:39
              回复
                根据TrendForce数据,2023年AI服务器出货量逾达120万台,占据服务器总出货量的近9%,年增长达38.4%。预计2026年,AI服务器出货量为237万台,占比达15%,复合年增长率预计保持25%。


                IP属地:四川9楼2024-02-22 17:39
                回复
                  服务器产业链包括:芯片GPU(图形处理单元)、CPU(中央处理单元),存储:DRAM(动态随机存取存储器)、SSD(固态硬盘),PSU(电源供应单元),NIC(网络接口卡)、PCIe(高速串行扩展总线)插槽、BIOS(基本输入输出系统)和BMC(基板管理控制器)等。芯片和存储作为AI服务器的核心,决定着AI服务器的算力和宽带大小。


                  IP属地:四川10楼2024-02-22 17:39
                  回复
                    传统的通用型服务器中,售价10424美金的2xIntelSapphireRapidsServer,CPU的成本占比约17.7%,内存和硬盘占比超过50%。而AI服务器,售价为268495美金的NvidiaDGXH100中,CPU占比仅1.9%,GPU占比高达72.6%。内存价值量提升,但占比下降至4.2%左右。AI服务器较通用服务器价值量提升明显,AI芯片在AI服务器中占有绝对比重。随着AI服务器放量,AI芯片正迎来黄金爆发期。


                    IP属地:四川11楼2024-02-22 17:39
                    回复
                      AI芯片也被称为AI加速器或计算卡,专门用于处理人工智能应用中的大量计算任务。按技术架构分类,AI芯片可分为GPU、FPGA、ASIC和NPU等。GPU是一种通用型芯片,ASIC是一种专用型芯片,而FPGA则处于两者之间,具有半定制化的特点。按照功能分类,可分为训练和推理芯片。按照应用场景分类,可分为云端和边缘端芯片。随着AIPC、AIPIN、AIPHONE等更多应用场景出现,AI芯片的空间有望进一步打开。


                      IP属地:四川12楼2024-02-22 17:39
                      回复
                        就存储来看,AI驱动本地存储容量大幅提升。另外,相较GDDR,HBM更适用于AI服务器,已成AI服务器标配。HBM本质还是一种内存产品,可以理解为与CPU或SoC对应的内存层级,将原本在PCB板上的DDR和GPU芯片同时集成到SiP封装中,使内存更加靠近GPU,使用HBM可以将DRAM和处理器(CPU,GPU以及其他ASIC)之间的通信带宽大大提升,从而缓解这些处理器的内存墙问题。


                        IP属地:四川13楼2024-02-22 17:39
                        回复