(資料圖片僅供參考)

北京商報(bào)訊（記者 魏蔚）7月27日深夜，月之暗面（Kimi運(yùn)營(yíng)方，以下簡(jiǎn)稱"Kimi"）將K3模型權(quán)重、技術(shù)報(bào)告和關(guān)鍵 Infra （基礎(chǔ)設(shè)施）技術(shù)同步開(kāi)放。

Kimi K3是Kimi能力最強(qiáng)的模型，是一個(gè)擁有 2.8 萬(wàn)億參數(shù)的混合專家（MoE）模型，具備原生視覺(jué)理解能力，并支持 100 萬(wàn) token 的上下文窗口。Kimi K3 參數(shù)規(guī)模是 Kimi K2.5 的 3 倍左右，憑借Kimi Delta Attention（混合線性注意力機(jī)制）、Attention Residuals（注意力殘差）以及MoonEP（月之暗面專家并行通信庫(kù)）等一系列技術(shù)創(chuàng)新，Kimi K3規(guī)模化效率提升了 2.5 倍（即在算力最優(yōu)意義下，單位算力產(chǎn)出智能約等于原來(lái) 2.5 倍）。

Kimi稱，"現(xiàn)在，每個(gè)人都可以下載并部署 Kimi K3 模型——無(wú)論是用于內(nèi)部研發(fā)，還是嵌入到面向終端用戶的產(chǎn)品中，均可自由使用"，并重申，"我們堅(jiān)信開(kāi)放權(quán)重模型的價(jià)值。它們能降低獲取智能的門檻，推動(dòng)創(chuàng)新，并賦予用戶對(duì)數(shù)據(jù)更大的控制權(quán)、隱私保護(hù)和所有權(quán)"。