“打開水龍頭前，我們不需要知道水是從哪條河里來的。同理，未來我們用各種AI應用時，也不會知道它調用了哪些基座模型，用到了哪種加速卡的算力——這就是最好的AI Native 基礎設施。”

7月4日，在2024年世界人工智能大會AI基礎設施論壇上，無問芯穹聯合創始人兼CEO夏立雪發布了全球首個千卡規模異構芯片混訓平臺，千卡異構混合訓練集群算力利用率最高達到了97.6%。同時，夏立雪宣布無問芯穹Infini-AI云平臺已集成大模型異構千卡混訓能力，是全球首個可進行單任務千卡規模異構芯片混合訓練的平臺，具備萬卡擴展性，支持包括AMD、華為昇騰、天數智芯、沐曦、摩爾線程、NVIDIA六種異構芯片在內的大模型混合訓練。7月起，通過試訓申請的用戶，已可在Infini-AI上一鍵發起700億參數規模的大模型訓練。

就在4個月前，無問芯穹Infini-AI大模型開發與服務云平臺宣布首次公測，已有智譜AI、月之暗面、生數科技等大模型公司客戶在Infini-AI上穩定使用異構算力，還有20余家AI Native應用創業公司在Infini-AI上持續調用各種預置模型API，使用無問芯穹提供的工具鏈開發自身業務模型。此次發布全球首個可進行千卡規模異構芯片混訓的平臺，不僅是無問芯穹在異構計算優化與集群系統設計方面的深厚底蘊和卓越技術的實力體現，同時也是無問芯穹秉承“MxN”中間層生態理念的重要成果。

【打破異構芯片“生態豎井”，讓異構芯片轉化為大算力】

作為大模型生命周期中不可或缺的兩個階段，訓練和推理均需要強大的計算資源支撐。然而，與國際上模型層與芯片層“相對集中”的格局相比，中國的模型層與芯片層更加“百花齊放”。然而，大量的異構芯片也形成了“生態豎井”，不同硬件生態系統封閉且互不兼容，給算力的使用方帶來一系列技術挑戰。

據不完全統計，宣布擁有千卡規模的中國算力集群已不少于100個，出于諸多緣由，比如過度依賴單一硬件平臺可能會使企業面臨供應鏈風險，又比如國產芯片的性能快速提升為集群方提供了多種選擇，絕大部分集群已經或正在從同構轉向異構。“生態豎井”的存在讓大多數企業和開發者對此望而卻步，即便算力集群眾多，也難以實現有效的整合與利用，這無疑是對算力資源的浪費。“生態豎井”不僅成為構建AI Native基礎設施的最大難點，也是當前大模型行業面臨“算力荒”的重要原因。

構建適應多模型與多芯片格局的AI Native基礎設施，無問芯穹的底層解法是，提供高效整合異構算力資源的好用算力平臺，以及支持軟硬件聯合優化與加速的中間件，讓異構芯片真正轉化為大算力。這一系列研、產進展背后，是無問芯穹研發團隊在異構芯片計算優化與集群系統設計上的強大實力支撐。近日，無問芯穹與清華、上交的聯合研究團隊發布了HETHUB，這是一個用于大規模模型的異構分布式混合訓練系統，這是業內首次實現六種不同品牌芯片間的交叉混合訓練，且工程化完成度高。夏立雪介紹，這項技術工程化的初衷，是希望能夠通過整合更多異構算力，繼續推高大模型技術能力的上限，同時通過打通異構芯片生態，持續降低大模型應用落地成本。

【引領“MxN”生態格局的AI Native基礎設施建設，讓天下沒有難用的AI算力】

當前，大模型行業發展正在進入規模化產業落地階段，應用場景的百花齊放，帶來了對大模型訓練日益迫切的需求，巨大的市場前景，使得基礎模型和算力芯片的行業玩家迅速攀升。構建大模型時代的AI Native基礎設施，不僅能夠為AI開發者提供更加通用、高效、便捷的研發環境，同時也是實現算力資源有效整合，支撐AI產業可持續發展的關鍵基石。

無問芯穹具備頂尖的AI計算優化能力與算力解決方案能力，以及對“M種模型”與“N種芯片”行業格局的前瞻判斷，率先構建了“MxN”中間層的生態格局，實現多種大模型算法在多元芯片上的高效、統一部署。 截止目前，Infini-AI已支持了Qwen2、GLM4、Llama3、Gemma、Yi、Baichuan2、ChatGLM3系列等共30多個模型，以及AMD、華為昇騰、壁仞、寒武紀、燧原、海光、天數智芯、沐曦、摩爾線程、NVIDIA等10余種計算卡。

無問芯穹致力于成為AI Native 基礎設施領跑者，未來將繼續突破異構算力優化與集群系統設計的技術上限，持續拓展模型層和芯片層的上下游生態伙伴力量，共同實現“MxN”的有效打通、利用和整合，構建真正適應多模型與多芯片的AI Native基礎設施，讓天下沒有難用的AI算力，助力推動大模型在各行業中的應用創新。

“技術上限推高與技術落地擴散不矛盾，且取決于我們決心如何對待這個技術。”夏立雪表示，今天說讓大模型成本下降10000倍，就像30年前說讓家家戶戶都通電一樣。優良的基礎設施就是這樣一種“魔法”，當邊際成本下降到臨界值，就能有更多的人擁抱新技術。