Copyright 2018-2025 報紙迷 版權所有 京ICP備2018136890號
10月28日報道,10月25日,螞蟻集團在arXiv上傳了一篇技術報告,一股腦將自家2.0系列大模型訓練的獨家秘籍全盤公開。

今年9月至今,螞蟻集團百靈大模型Ling 2.0系列模型陸續亮相,其萬億參數通用語言模型Ling-1T多項指標位居開源模型的榜首;Ling-mini-2.0總參數160億,每個Token僅激活14億參數;Ling-flash-2.0總參數1000億、激活僅6.1B,性能媲美400億級別參數模型……
這些模型的表現,標志著大模型發展從單純堆參數邁向以高效方式實現智能的新階段,而這一轉變的核心支撐正是Ling 2.0技術體系,此次螞蟻技術報告對此進行了全盤解讀。
Ling 2.0的核心亮點清晰聚焦:依托高稀疏度混合專家設計、推理導向的數據流水線、多階段對齊策略,以及基于FP8的萬億級訓練基礎設施,無一不是在為通用推理模型搭建具備可擴展性的堅實技術底座。
當我們將目光放大至整個行業,可以發現,大模型的競爭力正向用最少的資源解決最多的場景問題轉變,而Ling 2.0面向模型架構、預訓練、后訓練、基礎設施各個環節的深度融合創新,正在為其提供切實可行的技術路徑。
在這一背景下,圍繞Ling-min-2.0、Ling-flash-2.0、萬億參數非思考模型Ling-1T三款模型的具體性能,以及螞蟻新技術報告,我們將拆解大模型時代當模型架構、訓練數據、訓練策略與基礎設施深度融合后,模型智能會如何飛躍。