数码影音频道 频道

最近爆火的DeepSeek和GPT的差别有多大?中国AI真的已经引领世界了吗?

近期,爆火的DeepSeek大模型突然出现在人们的视野当中,成为现下全社会的讨论热点。那么,DeepSeek究竟有哪些技术领先优势,让整个AI行业都为之震撼?它为什么如此备受关注?下面我们就来和大家说道说道。

首先是技术架构全面优化,彻底摆脱算力的束缚。

DeepSeek:采用混合专家(MoE)架构,运用多头潜在注意力(MLA)技术和多令牌预测(MTP)等,通过动态路由机制,每个输入仅激活部分参数,可处理长序列。并且采用“三阶段过滤法”确保训练数据质量,通过DualPipe并行算法和FP8混合精度训练,还针对MoE架构特性开发了动态负载均衡策略,缓解“赢者通吃”问题,后续这项关键技术很可能被各大AI开发商跟进。

另外,DeepSeek的MoE架构采用动态路由机制,每个输入仅激活部分参数。例如,DeepSeek拥有6710亿参数,但在处理每个输入时仅激活约370亿参数,可根据任务需求灵活调用“专家”模块,降低计算能耗,提高特定任务处理精度。

而GPT-4之前版本基于标准稠密Transformer架构,GPT的Transformer架构较为依赖密集自注意力机制,处理每个输入时需使用所有参数,在处理长文本时,会导致显存占用和计算成本大幅增加。

其中,DeepSeek训练成本约为557.6万美元,使用成本为0.0012美元/千token,支持本地部署,硬件要求降低60%。GPT-4的训练成本约1亿美元,GPT-4 Turbo使用成本为0.03美元/千token。两者的成本差距达到了25倍(0.03 / 0.0012 = 25),这彻底打破了此前对于强算力的绝 对依赖,也直接证明了领先的AI并不一定需要强大的算力。因此,西方高算力的AI芯片封锁,已经没有意义。

使用PTX指令集,不再完全依赖CUDA。

作为NVIDIA的核心技术,CUDA是专门为NVIDIA的GPU设计的,与NVIDIA的硬件架构紧密结合。要想使用CUDA,用户必须购买NVIDIA的GPU硬件。这种硬件与软件的强绑定关系形成了较高的技术壁垒,限制了其他竞争对手进入市场,让NVIDIA在AI硬件上保持领先。

然而,DeepSeek采用了PTX指令集。PTX能够直接与GPU驱动函数进行交互,允许开发者对硬件进行更为精细的操作与控制,如寄存器分配、线程/warp级别的调整等,这些是标准CUDA编程无法实现的,可充分发挥GPU性能。这是一种类似于汇编语言的底层指令集,可以更好地调用GPU的函数进行交互,提升整体的运行效率,而不是去依赖CUDA提供的高级接口,减少了对NVIDIA特定API的依赖,在硬件适配上有着更高的灵活性和自主性。

在实际应用方面,DeepSeek在训练拥有6710亿参数的V3混合专家(MoE)语言模型时,采用PTX指令集对英伟达H800 GPU进行了重新配置,在132个流式多处理器中专门分配20个用于服务器间的通信任务,用于数据压缩和解压缩以克服处理器连接限制,加快数据传输速度。还采用先进的流水线算法,进行了更为精细的线程/线程束级别的调整操作。

最终,DeepSeek仅用2048个H800 GPU,耗时约两个月就完成了模型训练,效率比Meta等人工智能行业领军企业的同类模型训练高出10倍。

重要意义:打破美国AI算力为上的神话

DeepSeek证明了在AI模型训练中,即使没有顶 级的硬件配置和海量算力,通过技术创新也能取得优异成果。采用PTX指令集等技术对硬件进行深度优化,还在架构设计、算法优化等方面进行创新,如在H800芯片上对其中20个流处理器核心进行重新配置以专门管理跨芯片通信,减少了对最 先进、最 高算力芯片的依赖,降低了对大规模算力的需求。

长期以来,AI行业形成了一种依赖大量资金投入和巨大算力来推动发展的模式,大家普遍认为只有堆砌硬件资源才能训练出高性能的AI模型。DeepSeek以低成本、相对低算力实现高性能的AI模型,对这种传统模式提出了挑战,促使其他企业重新审视自身的发展策略,思考如何在有限资源下实现技术突破。

DeepSeek的出现改变了AI行业的竞争格局,给其他企业带来了更大的竞争压力。它使得更多企业意识到,即使没有雄厚的资金和强大的算力支持,也有可能在AI领域取得成功,这将激发更多企业参与到AI技术的研发和创新中,推动行业竞争更加激烈。

此前,AI领域过度强调算力的重要性,似乎强大的算力是决定AI模型性能的唯 一关键因素。DeepSeek让人们看到,算力并非是AI成功的唯 一决定因素,技术创新、算法优化等同样重要,打破了市场对算力的盲目崇拜,使人们更加理性地看待AI发展中的资源投入。

DeepSeek的成功可能会引导投资者重新评估AI项目的投资价值,不再仅仅看重算力资源的投入,而是更加关注技术团队的创新能力、算法的先进性等因素。这有助于将投资引导到更加注重技术创新的方向上,促进AI行业的健康发展。

对于国家层面而言,在美对中实施科技制裁,限制高端芯片等先进技术和设备出口的背景下,DeepSeek的成功表明:即使面临外部限制,中国企业仍能通过自主创新在AI领域取得突破,凸显了美国围堵政策难以达到预期效果,证明了在AI发展中,并不一定需要依赖美国的技术和资源,也可以通过自主创新实现发展,激励更多国家和地区加大在AI领域的投入和研发。

总结:DeepSeek的出现是中国AI领域的一次重大突破,展示了技术创新的巨大潜力。虽然中国AI在某些方面已经取得显著进展,但要实现全面引领,仍需在更多关键领域取得突破。

0
相关文章