大家好,我是极智视界,欢迎关注我的公众号,获取我的更多前沿科技分享
邀您加入我的知识星球「极智视界」,星球内有超多好玩的项目实战源码和资源下载,链接:https://t.zsxq.com/0aiNxERDq
因为一直从事 AI 工作,所以对于英伟达的卡会关注的比较多,从刚入行时候的 TITAN 到 20、30、40、A100、H100,从 T4 到 A10、L4,大多都接触过 (当然除了 H100)。这次英伟达要给咱们特供芯片,不是首次,上一次是特供版的 A800、H800,那时候的禁令里边还没有算力密度的限制,所以 A800、H800 也是满算力的,只是带宽给降低了。后来,美国升级了尖端芯片禁令,加入了算力密度 PD 的限制,一方面直接限制了 A800、H800 的出售,另一方面还间接抑制了咱们的 Chiplet 芯粒堆叠技术突破的可能性。这样一来,限制可谓是全方位的。关于这方面,我之前写过一篇解读 <极智AI | 老美升级芯片禁令限制中的性能指标到底指什么>,有兴趣的同学可以去看看。
对于英伟达,一家以利益为先的商业企业,虽然只能 "服从安排",但是肯定不甘,也只能见招拆招了。所以这又一次特供的三款芯片,肯定会照着最新的芯片法案,好好读透它然后绕开它。说实话其实很难绕,因为限制的很死,估计只能阉割降算力。这里需要注意的一点是,对于禁令中的算力限制,主要是针对浮点算力,浮点算力是干嘛的大家应该清楚,说白了就是限制 AI 训练。
从三块型号 H20、L20、L2 来看,H20 应该是训练卡,而 L20、L2 应该是推理卡,H20 基于最新的 Hopper 架构,而 L20、L2 则基于 Ada 架构。来看这几款芯片的性能参数,
据我所知,同为 Ada 架构 L 推理系列的 L4 并没有被禁 (禁的只是 L40S),所以上面的表格中我也特意加入了 NVIDIA L4 的性能数据,以方便直接对比,这样看其实 L20 和 L2 的定位就会比较尴尬一些。先来看 L20、L2 的定位,从性能参数来看,L20 基本会是 2x 的 L2,而 L2 一定会是张半高半长的计算卡,这么看 L20 应该是张全高全长的加速卡。L20 应该会是阉割版的 L40,产品形态应该和 L40 长得一致,如下,
而 L2 会是阉割版的 L4,产品形体应该和 L4 的一致,如下,
我翻了下上一代全高全长卡 A10 的参数,基本上这次的 L20 和上一代 A10 会持平 (L20 的显存带宽会高一点),这样的水平定位应该会比较清楚了。因为 A10 现在还是比较容易可以买到的,所以这对于你是否会入 L20 是个参考。而对于 L2,它的定位应该是介于 T4 和 L4 之间的一款计算卡,它的 INT8 Tensor Core 算力 193 TOPS,也是会介于 L4 485 TOPS 和 T4 130 TOPS 之间的。L2 的功耗虽然网上没有数据,但是很好猜测,估计在 70 ~ 75W 之间,这是这个级别推理卡的标配。这样,对于 L2 的选购也有了一定的参考。
咱们再来分析 H20 的定位,H20 是明显这几款加速卡中最先进的那个,因为它是 Hopper 架构,而其他是 Ada 架构。而从目前的市面上来看,Hopper 架构的卡除了 RTX 40 消费级显卡外,专业的计算卡你是买不到的,所以 H20 必定是个稀罕货。从算力、功耗、互联来看,H20 主要用于训练,而其他主要用于推理;而从显存、显存带宽、浮点算力、MIG、编解码能力、是否支持 NVLink 互联等综合来看,明显 H20 和其他卡不在一个层次 (当然直接用训练卡和推理卡这么对比是不公平的)。由于 A100、H100、A800、H800 被禁了,高端的训练卡是咱们最缺的,是紧俏货,所以 H20 会很香。对于英伟达来说,H20 应该会比 L20、L2 好卖太多;但对老美来说,他们知道我们缺的是什么,他们知道我们想要的是什么。我们想要什么,他们就越不想给。
L20、L2 不是咱们的急需,也不是咱们的痛点。对于这类推理卡,咱们有很多选择的余地,比如 NVIDIA L4、比如咱们一众的国产推理卡。甚至从这个角度,英伟达特供的 L20、L2,对咱们来说并算不上什么 "好事"。怎么说呢,目前 NVIDIA T4 卡已经停产挺久,各厂家都在推 "更新换代",若要用英伟达的卡就基本是要往前推上 L4,而 L4 的性能基本是 T4 的三倍左右,这个跨度还是挺大的。而咱们国产的推理卡,基本就是对标 T4,对于用户来说由于很多场景可能已经适应 T4 的算力,再加上性价比、国产化替代的考虑,使用国产卡平替 T4 可能会是个不错的选择。而 L20、L2 的推出,又给 T4 的 "国产化替代" 带来了一些不确定性。对于更多会考虑生态、考虑可用性、而非国产化替代的产商来说,本来可能是会考虑选择国产卡,但现在来说,L2、L20 似乎是个更加不错的选择,因为这样你的软件生态就能直接延续下来,而不用大规模重新开发。
而 H20 的情况则完全完全不同,国产卡做的比较好的、比较能够拿得出手的主要在推理卡,对于训练卡,大规模商业化的并不算多,大家可能熟知一些是昇腾 910、昇腾910b 这些。对于训练卡,在禁令下各种高端 NVIDIA 训练卡禁售的情况下,加上国产卡平替的一言难尽,国内高端训练卡的供需情况可想而知,若用 "饥渴" 来形容也不为过。所以,对于咱们来说,L20、L2 是个锦上添花的东西,而 H20 是真正雪中送炭的东西。
但从目前的消息来看,英伟达会推迟面向咱们销售 H20,此番深意,你可细品,便略知一二。
【极智视界】
《深度解读英伟达新一轮对华特供芯片H20、L20、L2的定位》
畅享人工智能的科技魅力,让好玩的AI项目不难玩。邀请您加入我的知识星球,星球内我精心整备了大量好玩的AI项目,皆以工程源码形式开放使用,涵盖人脸、检测、分割、多模态、AIGC、自动驾驶、工业等。一定会对你学习有所帮助,也一定非常好玩,并持续更新更加有趣的项目。https://t.zsxq.com/0aiNxERDq