世界中に分散したGPUを活用し、公開されているデータだけでなくユーザーの個人データを用いて、新しいタイプの大規模言語モデル（LLM）が開発された。この手法は、いままで主流だった人工知能（AI）モデルの構築手法を変革するかもしれない。
従来とは異なる手法でAI開発に取り組むスタートアップ、FlowerとVanaの2社は互いに協力し、「Collective-1」という新たなモデルを開発した。
Flowerはインターネットでつながった何百台ものコンピューターに、AIの訓練処理を分散させる技術を開発した。この技術はすでに一部の企業で導入されており、計算資源やデータをプールすることなくAIモデルを訓練することに成功している。一方のVanaは、X、Reddit、Telegramのユーザー個人のメッセージを含むデータを提供した。
分散型のAI訓練
Collective-1のパラメーター数は70億で（この数値はモデルの能力の高さを示す）、最新のモデルとしては小規模である。ChatGPT、Claude、Geminiなどを支える最先端のモデルのパラメーター数は数千億に達する。
ケンブリッジ大学の計算機科学者であり、Flowerの共同創業者でもあるニック・レーンは、この分散型の手法によって、Collective-1をはるかに上回る規模のモデルを構築できる可能性があると語る。Flowerは現在、既存のデータを使ってパラメーター数が300億のモデルを訓練中であり、年内には業界トップクラスに匹敵する1,000億のパラメーターをもつモデルの構築も計画しているという。
「人々のAIに対する見方を、根本から変える可能性があるものだと思っています。だからこそ、わたしたちは本気で取り組んでいるのです」とレーンは語る。同社は、画像や音声も訓練に加えたマルチモーダルモデルの開発も進めている。
データセンターに依存しない開発
AIモデル構築における分散型の手法は、これまでのAI業界のパワーバランスを揺るがす可能性もある。
AI企業は現在、大量の学習データと、高性能GPUを多数備え、超高速な光ファイバーケーブルで接続されたデータセンターの膨大な計算能力を組み合わせてモデルを構築している。また、AIの訓練には、インターネット上に公開されているウェブサイトや書籍などをスクレイピングして収集されたデータセット（これには著作権で保護されているものも含む）に大きく依存している。
このような手法であることから、最も強力で価値の高いモデルを開発できるのは、高性能なチップを大量に確保できる資金が潤沢な企業や国家に限られている。メタ・プラットフォームズのLlamaやDeepSeekのR1といったオープンソースモデルでさえ、巨大なデータセンターを利用できる企業によって開発されているのだ。
しかし、分散型の手法を使えば小規模な企業や大学でも、離れた場所にあるリソースを集めることで高度なAIを構築できる可能性がある。また、従来型のインフラが整っていない国でも、複数のデータセンターをネットワークでつないでより強力なモデルを開発できるかもしれない。
AI業界は今後ますます、個々のデータセンターに依存しない新たな訓練手法を模索していくようになると、レーンは考えている。分散型の手法については、「データセンター型のモデルよりも、はるかに洗練されたかたちで計算リソースを拡張できます」と説明している。
Center for Security and Emerging Technologyに所属するAIガバナンスの専門家ヘレン・トナーは、Flowerのアプローチについて「非常に興味深く、AI競争やガバナンスの面で重要な意味をもつ可能性があります」と語る。さらに、「最先端のモデルに追いつくことは簡単ではないでしょうが、すばやく追随するための有効な手法となるかもしれません」とも話している。
計算処理の分散と統合
AI訓練を分散させる手法では、強力なAIシステムを構築するための計算処理の分割方法を見直している。LLMを構築するには、大量のテキストをモデルに投入し、プロンプトに対して有用な応答を生成できるよう、パラメーターを調整していく必要がある。従来のデータセンターでは訓練に伴う計算処理を分割し、複数のGPUに割り当てて実行する。その後、それらの結果を定期的にひとつのマスターモデルに統合するのだ。
今回の新しい手法は、本来は大規模なデータセンター内で処理される作業を、地理的に離れた場所にあるハードウェア上でも実行できるようにする。この技術では、たとえ接続が比較的遅かったり、不安定なインターネット回線であっても処理できるようになる。
分散型のAI学習を模索している大手企業もある。グーグルの研究者たちは昨年、計算処理の分割と統合をより効率化する新たな方式、DiPaCo（DIstributed PAth COmposition）を発表した。分散学習の効率を高めるための手法である。
Collective-1をはじめとするLLMを構築するために、レーンは英国と中国の学術パートナーとともに、「Photon」と呼ばれる新たなツールを開発した。これは、分散型のAI訓練をより効率化するためのツールである。
Photonはグーグルの手法を改良し、モデル内でのデータの表現方法や、訓練結果の共有と統合の仕組みをより効率化したものだとレーンは説明する。従来の訓練処理と比べてやや時間はかかるものの、柔軟性に優れており、新たなハードウェアを追加することで学習速度を早めることができる、とレーンは語る。
Photonは、中国の北京郵電大学と浙江大学の研究者との共同開発によって生まれた。研究チームは先月、このツールをオープンソースライセンスで公開し、誰もがこの手法を自由に利用できるようにしている。
ユーザーとAIモデルの新たな関係
Collective-1の構築でFlowerと提携したVanaは、ユーザーが自分の個人データをAI開発者と共有できる新たな仕組みを開発している。Vanaのソフトウェアを使えば、ユーザーはXやRedditなどのプラットフォーム上にある個人のデータをLLMの訓練に提供できるほか、その利用目的を指定したり、データ提供に対して金銭的な報酬を受け取ったりすることが可能になる。
Vanaの共同創業者であるアンナ・カズラウスカスは、これまで利用できなかったデータをAIの訓練に活用できるようにすること、そしてユーザーが自分の情報の使われ方をより細かく管理できるようにすることが目的だと語る。
「こうしたデータは通常公開されていないことから、AIモデルに使うことはできませんでした」とカズラウスカスは話す。「今回初めて、ユーザーが自分で提供したデータを基盤モデルの訓練に使えるようになっただけでなく、そのデータから生まれたAIモデルに対してユーザーが所有できるようになるのです」
ユニバーシティ・カレッジ・ロンドンの計算機科学者ミルコ・ムソレジは、AI訓練における分散型手法の最大の利点は、これまで扱えなかった新たな種類のデータを活用できる点にあると語る。
「この分散型手法が最先端のAIモデルでも使われるようになれば、医療や金融といった分野で、分散化されていた個人情報を多く含む大量のデータを、中央集権化に伴うリスクを避けながらAIの訓練に活用できるようになるでしょう」
（Originally published on wired.com, translated by Nozomi Okuma, edited by Mamiko Nakano)
※『WIRED』による人工知能（AI）の関連記事はこちら。
.jpg)
雑誌『WIRED』日本版 VOL.56
「Quantumpedia：その先の量子コンピューター」
従来の古典コンピューターが、「人間が設計した論理と回路」によって【計算を定義する】ものだとすれば、量子コンピューターは、「自然そのものがもつ情報処理のリズム」──複数の可能性がゆらぐように共存し、それらが干渉し、もつれ合いながら、最適な解へと収束していく流れ──に乗ることで、【計算を引き出す】アプローチと捉えることができる。言い換えるなら、自然の深層に刻まれた無数の可能態と、われら人類との“結び目”になりうる存在。それが、量子コンピューターだ。そんな量子コンピューターは、これからの社会に、文化に、産業に、いかなる変革をもたらすのだろうか？ 来たるべき「2030年代（クオンタム・エイジ）」に向けた必読の「量子技術百科（クオンタムペディア）」！詳細はこちら。