Kimi K3はなぜ2.8兆パラメータを動かせるのか　公開された巨大AIの設計図

中国のAI開発企業Moonshot AIは28日、最新AIモデル「Kimi K3」のモデルウェイトと技術レポートを公開した。モデルウェイトとは、AIが学習によって獲得した膨大な数値の集まりで、いわばAIの能力を収めた本体である。ウェイトをダウンロードして自分のコンピューターにインストールすることで、自由に改変できるし、基本的にMoonshotに使用料を支払わずに利用できることになる。米OpenAIやAnthropicに匹敵する高性能モデルのウェイトの公開ということで、世界中のAI業界や産業界が注目している。

Kimi K3のパラメータ数は2.8兆。現在公開されているAIモデルとしては世界最大級だ。ウェイトを公開するサイト「Hugging Face」に置かれたファイルの合計容量も1.56TBに達する。もっとも、今回の技術レポートが明らかにしたのは、モデルの巨大さだけではない。2.8兆ものパラメータを、どうすれば現実的な計算量で動かせるのか。Moonshot AIは、長い文章を読む、モデルを深くする、専門分野を増やすという三つの方向で、AIの内部構造を作り直している。

2.8兆のうち、実際に動くのは1040億

Kimi K3を理解するうえで、最初に押さえておくべきなのが「2.8兆個のパラメータが毎回答えを作っているわけではない」という点だ。

Kimi K3は、Mixture of Experts（MoE）と呼ばれる構造を採用している。日本語にすれば「専門家の混成組織」だ。モデルの内部に得意分野の異なる多数の処理部分を用意し、質問に応じて必要な部分だけを働かせる。

Kimi K3には896の「専門家」があり、一つの単語や画像を処理するたびに、その中から16を選ぶ。このほか、どの入力でも使われる二つの共通専門家がある。2.8兆パラメータを抱えているものの、一度の処理で使われるのは約1040億パラメータにとどまる。

900人近い専門家を抱える巨大企業が、案件ごとに適任者だけでチームを編成する姿を想像すればよい。組織全体では幅広い知識を持ちながら、一つの仕事に全社員を動員する必要はない。

前世代のKimi K2も同じMoE方式だったが、全体で1兆パラメータ、実際に使うのは320億パラメータだった。Kimi K3は専門家の数と処理能力を一段と増やし、モデル全体を2.8兆パラメータまで拡大した。

ただし、専門家を増やせば自動的に賢くなるわけではない。一部の専門家に仕事が集中すれば、ほかの専門家は十分に学習できず、計算機の利用にも偏りが生じる。

Kimi K3では、専門家が入力を直接処理するのではなく、情報をいったん圧縮した「潜在空間」で分担するStable LatentMoEという構造を採用した。通常の内部表現が7168次元であるのに対し、専門家が扱う空間は3584次元と半分に圧縮されている。巨大な専門家集団を抱えながら、各専門家の仕事を軽くする設計だ。

100万トークンを読み続ける仕組み

二つ目の課題は、長い文章を扱うと計算量が急増することである。

従来のTransformer型AIは、文章中の一つ一つの単語について、ほかの単語との関係を調べる。文章が2倍になれば比較する組み合わせは約4倍になり、必要なメモリーと計算量が急速に膨らむ。

短い質問に答えるだけなら大きな問題にはならない。しかし、AIエージェントが大量の資料を読み、何時間もプログラムを書き続け、途中の試行錯誤を記憶するようになると、この仕組みがボトルネックになる。

Kimi K3が採用したKimi Delta Attention（KDA）は、過去の情報を整理した内部メモを更新しながら処理を進める。毎回、過去の全情報を同じように見直すのではなく、残す情報と忘れる情報を細かく調整する仕組みだ。

ただし、要約した記憶だけでは、過去の一文を正確に探し出すような処理が苦手になる。そこでKimi K3は、KDAだけに頼らず、文章全体を見渡せる通常型のアテンションも組み合わせた。全93層のうち69層がKDA、24層がGated MLAと呼ばれる全体参照型の仕組みになっている。おおむねKDAを3層通るごとに、全体を見直す層を置く構成だ。

Moonshot AIがKDAの基礎技術を検証した比較的小さなモデルでは、従来型の全体参照だけを使うモデルに比べ、長文処理に必要な一時記憶を最大75％減らし、100万トークンを読み込んだ状態での文章生成を約6倍に高速化した。これらの数字をそのままKimi K3に当てはめることはできないが、同社が巨大モデルにKDAを採用した理由はここにある。

Kimi K3が扱える文脈は最大100万トークン。大量の社内文書や長大なプログラムを一度に渡すだけでなく、AIエージェントが長時間作業を続けるための「作業記憶」として使うことが想定されている。

93層の中から必要な情報を取り出す

三つ目の課題は、モデルを深くしたときに起きる。

AIモデルは、入力された情報を何層もの処理に通すことで、単純な文字列から意味や論理を組み立てていく。一般に層を増やせば、より複雑な処理が可能になる。しかし、前の層の情報を次々と足し合わせる従来の方式では、層が深くなるほど初期段階の重要な情報が大量の処理結果に埋もれてしまう。

93階建てのビルで、書類を一階ずつ上の階へ渡していくようなものだ。最上階に届くころには、元の情報に大量の書き込みが加わり、どれが重要だったのか分かりにくくなる。

Kimi K3が採用したAttention Residuals（AttnRes）は、各層が直前の層から機械的に情報を受け取るのではなく、それ以前の処理結果から必要なものを選んで参照する。最上階の担当者が、必要に応じて20階や50階の資料を直接取り寄せる仕組みに近い。

すべての層を常に参照すると、今度はメモリーや通信量が増えてしまう。このため、Kimi K3では層をいくつかのまとまりに分け、そのまとまり単位で過去の情報を選ぶBlock AttnResを使っている。Moonshot AIの実験では、AttnResによって深い層まで情報と学習信号を均等に届けやすくなり、同じ規模の従来型モデルを上回った。

KDAが文章の「長さ」を扱う技術だとすれば、AttnResはモデルの「深さ」を有効に使う技術である。そしてStable LatentMoEは、専門家の数という「幅」を拡大する技術だ。Kimi K3は、長さ、深さ、幅という三方向を同時に広げることで、2.8兆パラメータを成り立たせている。

4ビット前提で学習した巨大モデル

ウェイトを現実的な大きさに収めるため、Kimi K3は数字の精度も抑えている。

AIモデルのパラメータは、通常は16ビットなどの数値で保存される。精度を4ビット程度まで落とせば容量と計算量を減らせるが、学習後に単純に変換すると性能が低下することがある。

Kimi K3は、仕上げの学習段階から、ウェイトをMXFP4、計算途中の数値をMXFP8という低精度形式で扱うことを前提に訓練した。後から無理に圧縮したのではなく、最初から低精度でも能力を保てるように学習したわけだ。これによって、2.8兆パラメータを約1.56TBに収めている。

それでも1.56TBである。ウェイトを保存するだけでなく、実際に動かすには多数のGPUと高速な通信設備が必要になる。今回の公開は、一般企業が明日から社内サーバーでKimi K3を動かせるようになったことを意味しない。

現実に利用できるのは、大規模な計算設備を持つクラウド事業者、AI企業、大学や研究機関が中心になる。一般企業は、こうした事業者が提供するAPIや、Kimi K3を小型化した派生モデルを通じて恩恵を受けることになりそうだ。

無料公開と有料事業を両立するライセンス

Kimi K3のライセンスにも、Moonshot AIの戦略が表れている。

企業や研究者は、ウェイトを利用、複製、改良、再配布し、派生モデルを作ることができる。企業が社内業務に使う場合も、原則としてMoonshot AIとの個別契約は必要ない。

一方、Kimi K3をAPIなどで第三者に提供する「Model as a Service」事業については、企業グループの売上高が連続する12カ月間で2000万ドルを超える場合、商用利用の前にMoonshot AIとの別契約が必要になる。

また、月間利用者が1億人を超えるか、月間売上高が2000万ドルを超える製品やサービスに組み込む場合は、画面上に「Kimi K3」の名称を目立つ形で表示しなければならない。社内利用には、これらの条件は適用されない。

小規模な開発者や企業には自由に使わせ、普及を促す。一方、Kimi K3そのものを使って大規模なAIサービスを展開する事業者からは収益を得る。モデルを完全に囲い込む米OpenAIや米Anthropicとも、ほぼ無条件で公開する従来型のオープンモデルとも異なる事業モデルである。

「最強モデルを超えた」とは言えない

Moonshot AIはKimi K3について、米AnthropicのClaude Fable 5や米OpenAIのGPT-5.6 Solと多くの評価項目で競合できるとしている。プログラミング、資料調査、パソコン操作、画像理解など、一部の試験では両モデルを上回ったという結果も示した。

ただし、評価条件やAIを動かす周辺ソフトがモデルごとに異なる試験もあり、表の数字だけを単純に比較することはできない。Moonshot AI自身も技術ブログで、総合的な性能ではClaude Fable 5とGPT-5.6 Solになお及ばないと認めている。

したがって、今回の発表を「中国の無料AIが米国の最先端AIを超えた」と受け止めるのは早い。

より重要なのは、最上位の非公開モデルに近い能力を持つ巨大モデルのウェイトが、世界中の研究者や技術者に渡ったことだ。公開直後から、各種GPUで動かすための改良、小型化、推論の高速化、特定業務に合わせた追加学習が始まる。

Kimi K3は、誰でも動かせるAIではない。しかし、誰でも中身を調べ、改良に参加できる巨大AIである。

今回公開されたのは2.8兆個の数値だけではない。これからの巨大AIを、どう設計し、どう効率化し、どう普及させるのかという設計図そのものだ。AI開発競争は、企業が自社だけでモデルを賢くする競争から、世界中の開発者を巻き込んでモデルを育てる競争へと広がり始めている。