東京を拠点とするAIスタートアップのSakana AIは2月20日、人工知能（AI）を活用することでさらに効率的なAI開発を可能にするエージェント「AI CUDA Engineer」を発表した。NVIDIA製GPUの性能を引き出すために、AI開発者が書いたコードを自動最適化し、処理速度を10倍〜100倍向上させられるという。
AI企業は膨大な資金を投入してリソース獲得競争を繰り広げている。それに対してSakana AIは大規模な一部AIだけが生き残るのではなく、多種多様なAIが共存していく時代に向け、「より効率的で持続可能なアプローチ」を提供するとしている。
「CUDAカーネル」を自動生成
NVIDIA製GPUを効率よく活用するためには、CUDAと呼ばれる専用のソフトウェアを利用する必要がある。その核となるのが「CUDAカーネル」という関数で、開発者は最適なCUDAカーネルを見つけたり、自作したりする必要がある。
今回Sakana AIが発表した「AI CUDA Engineer」は、AI開発で広く利用されているフレームワーク「PyTorch」のコードをもとに、より効率的なCUDAカーネルを自動生成する。AI CUDA Engineerが生成するCUDAカーネルは、PyTorchが生成するそれと比べて処理速度が10〜100倍になるという。
AI CUDA Engineerの利用により、AIアルゴリズムでよく用いられる行列積算についてはPyTorch比で54倍、3D画像処理と正規化を組み合わせた演算「Conv3d_GroupNorm_Mean」は同128倍、画像認識ネットワーク「LeNet5」全体では同2.4倍の高速化ができたという。
同社はリリースと同時に技術論文も発表。PyTorch演算をカバーする30,000個以上の検証済みCUDAカーネルのデータセットや、カーネルを検索するためのサイトを公開する。
「効率や消費エネルギーを考慮しない技術の拡大は持続可能ではない」
Sakana AIの共同創業者でCEOのデイビッド・ハはプレスリリースで「AI革命は始まったばかり」で「今後10万倍、100万倍と効率化されることは間違いありません」と見通しを述べたうえで、次のように語った。
「現在、わたしたちのAIシステムは膨大なリソースを消費しています。効率や消費エネルギーを考慮しない技術の拡大は持続可能ではありません。AIシステムが人間の知能と同じくらい（あるいはそれ以上に）効率的になれない理由はありません。それを実現する最善の方法は、AIを使ってAIをより効率的にすることだと、わたしたちは信じています」
そのうえでハは「初期の巨大で不格好なメインフレームコンピュータから現代のコンピューティングへと進化したように、数年後にわたしたちのAIの使い方は様変わりし、今日の不格好で非効率なLLMとは大きく異なるものになるでしょう」と、今後のAI開発の方向性を示唆する。
Sakana AIの思い描く「大規模言語モデル（LLM）はコモディティ化され、大幅に効率化され、すべての国で広く利用できるようになる」未来の実現は、そう遠くないかもしれない。
※追記（2024年2月22日）
「AI CUDA Engineer」の発表後、検証用サンドボックスを欺くなど、CUDAカーネル最適化で「不正を行う」方法が見つかったという指摘が上がった。Sakana AIは、システムが評価コードのメモリ脆弱性を悪用し、正確性のチェックを回避する手法を発見していたことが判明し、さらに、他の脆弱性も確認されたと認めた上で、評価環境の強化と論文の修正を進めること、LLMのリワードハッキングに関する影響と対策についても議論を進め、近日中に修正内容を公開すると共にそこでの学びも共有するとしている。
（Edited by Michiaki Matsushima)
※『WIRED』によるAIの関連記事はこちら。
雑誌『WIRED』日本版 VOL.55
「THE WIRED WORLD IN 2025」 発売中！
『WIRED』の「THE WIRED WORLD IN 20XX」シリーズは、未来の可能性を拡張するアイデアやイノベーションのエッセンスが凝縮された毎年恒例の大好評企画だ。ユヴァル・ノア・ハラリやオードリー・タン、安野貴博、九段理江をはじめとする40名以上のビジョナリーが、テクノロジーやビジネス、カルチャーなど全10分野において、2025年を見通す最重要キーワードを掲げている。本特集は、未来を実装する者たちにとって必携の手引きとなるだろう。 詳細はこちら。