Sakana AI CEO 回应 AI CUDA Engineer 论文性能高估与 reward hacking 问题

サカナの論文ミス CEOが語る勇み足とAIのごまかし問題

March 03, 2025

Sakana AI 共同創業者兼CEO David Ha氏を特集した本記事のオリジナル版は、2025年3月3日に「日経デジタルガバナンス」にて公開されました。

先に公開した論文で、我々が開発した「AI CUDA エンジニア」が生成したCUDAカーネルの実行速度の上昇が、実際より過大に評価されてしまっていた。ひとえに我々の確認不足によるミスで、投資家やビジネスパートナーなど、関係者にご心配をおかけしたことを率直におわびする。今回生じたミスを会社の重要な教訓とし、二度とこのようなことが起きないようにガバナンスを強化していく。

拙速が招いたミス、今後はチェック体制を強化

問題の要因は、大きく2つある。1つは単純なミスだ。AIエージェントが（性能を評価する）ベンチマークのメモリーにアクセスする挙動を防ぐことができなかった。結果として、AIが本来計算すべき処理の一部を省略してしまい、意図せぬ高速化が生じた。

担当者は複数にわたる正確性チェックなどの対策を行っていたが、不十分だった。また、社内のクロスチェック体制でも問題を見抜くことができなかった。AI競争が過熱する中で、一日でも早く発表したいという気持ちが先行した結果、以前の論文よりもチェックを急いでしまっていた。本件を契機にチェック体制を全面的に強化する。

いま、サカナには約50人のスタッフがいる。内部による論文の査読は研究者だけでなく、ビジネスサイドなど多くの立場の人を通じてチェックするようにする。そのうえで外部の専門家にもフィードバックを求める。今後は生成されたコードのサンプリングによる目視チェック、および速度測定を実施する。これにより正確な性能評価が可能となる。

「賢い」AIがベンチマークをすり抜ける問題

2つめの問題はより高度なものだ。「賢いAI」の能力が我々の予想をはるかに上回ったことで、堅牢（けんろう）と思われたベンチマークに対するバイパス（ごまかし）が可能になっていたのだ。

あるタスクに対して、本来ならばAIが全ての演算を実行して処理速度を計測すべきなのだが、賢くなったAIは速度を測るベンチマークを通過するために必要な最小限の演算のみを実行する対応をとった。結果は「高速」となるが、タスクの処理としては不完全なものだ。

これは「報酬ハッキング」とも呼ばれるAIエージェント特有の現象が生み出したものだ。人間が定義した目標や報酬を達成するため、想定外の振る舞いをAIが選んでしまうというもので、特性上、根本的に回避することは難しい。

想像を超えたAI革新は、そこに今のベンチマークが追いつけていないという課題もあわせて浮き彫りにした。今回は米スタンフォード大を中心とするチームが作成した「KernelBench」（カーネルベンチ）というベンチマークを使ったが、今後は我々独自のより堅牢で客観性あるベンチマークを開発し利用したい。

再精査後も、全体的には良好な結果が出ている

ただ、「ごまかし」は一部のケースに限られていたことが確認されており、本研究全体の正当性が損なわれるものではないと考えている。ありがたいことにエヌビディア本社の上級リサーチマネジャーも我々の研究を「最近見たなかでは一番クールだ」とSNS上で評価してくれている。我々が最初に発表したデータの速度最大値は誤っていたものの、再精査してもなお全体的な結果は良好だ。ミスを修正したうえで数週間後には論文の改訂版を公開したい。

その際は、スピードが何倍かというベンチマーク上の数字のみで成果を示すのではなく、実際に使えるどういったコードが生成されたのかも提示したい。これにより計測上の数字と、実際のユースケースでの性能の違いが明確になる。

「AIが自らAIを開発する」時代になると、人間が定義した目標や報酬を追求するAIの振る舞いと、人間の意図とのずれはもはや無視できない問題だ。改訂版の論文は報酬ハッキングについても徹底的に議論したものとする。

AIの世界では「ペーパークリップ最大化」というよく知られた寓話（ぐうわ）がある。あるAIエージェントにクリップの生産を最大化しろと命じると、AIはそれのみに集中し地球上のすべての資源をクリップに変えてしまいかねないという話だ。AIは与えられた目的は完璧にこなすが、常識的な判断ができず人間の意図との乖離（かいり）がありうることを表している。次に何らかの成果を公表するときは、実社会でそのAIがどう機能するかに重点を置いたものとしたい。

オープンコミュニティーの集合知を活用

今回の件は我々が信奉するオープンサイエンスの力強さが発揮された側面もある。オープンサイエンスの核心は、技術コミュニティーとの対話を通じて学習し、成長し続ける点にある。透明性のある技術的な状況説明を重視し、課題や改善点について率直に共有することを基本方針としている。CUDAの論文についてはSNSなどで誤りの指摘を受け、24時間以内に訂正した。

最初にミスを指摘してくれたのはXの匿名アカウント（@main_horse）だ。オンライン上の何万人ものハッカー・コミュニティーは、多くのイノベーションに貢献するだけでなく、問題やその解決策さえも特定してくれる。

もちろん、AI科学と人間科学を比べることが最終目的ではありません。最も大事なのは、人間やAIによる科学がもたらす発見が、病気の治療につながったり、宇宙を支配する法則を明らかにしたりするなど、人間の繁栄に役立つことでしょう。AI科学には、人間社会をよりよく変化させる可能性があります。その時代を切り開く一端を担えることを、楽しみにしています。

最初にサカナAIの論文ミスを指摘したのはXの匿名アカウントだった 新たに構築を目指す独自の堅牢なベンチマークも、サカナAI単独では実現できない。ベンチマークをオンラインで公開してオープンソース化し、コミュニティーが時間をかけて改良できるようにしていくことで、CUDA AIカーネルの評価のゴールドスタンダードにしたいと考えている。AIの改善に取り組む唯一の方法は、オープンソースコミュニティーを通じて「集合知」を活用することだと実感している。

作業の自動化進めるAIを事業化へ

我々に対する批判のひとつに「収益につながるビジネスがまだない」という指摘があるが、近々ビジネスの実例を公表できると思う。まずは個別企業向けに、特定の業務フローを自動化するAIソリューションの提供を開始する計画でいる。23年の創業以来、我々は革新的なリサーチにフォーカスし、常に業界の枠を超えるイノベーションを追求してきた。今後は、それに加えて、これまでの研究成果を実際のビジネスに展開することに大きく舵（かじ）を切っていく。