AutoResearch

現在ある証拠を見る限り、AutoResearch は注目に値しますが、広く検証済みの汎用 AI 科学者というより、「制約付きの自動実験反復フレームワーク」と見るのが妥当です。注目度の証拠は主に X 上の高エンゲージメント投稿で、論文再現や「11%改善」「自己改善」といった強い語りが拡散しています。ただし、これは関心の高さを示すもので、単独で安定した有用性の証明にはなりません。能力判断を支える証拠としては、Zhihu の分解記事やプロジェクト関連説明のほうが強く、ファイル境界、評価設計、実行前提が具体的に語られていますが、公開された実測サンプルはまだ少なめです。

実際の役割は、研究を自動で完成させる道具でも、GitHub Issue 駆動の汎用ソフトウェア開発 Agent でも、一般的な AutoML でもありません。より正確には、明示的な評価ルール、時間予算、git によるロールバックを備えた「コード実験用の自動ハーネス」です。既存の解説では、prepare.py がデータ・評価・予算制約を固定する裁定役、train.py が主な探索空間として扱われます。Agent は変更、コミット、巻き戻し、ログ記録を繰り返して改善を探します。X 上には論文再現向けのデモもありますが、これはあくまで事例であり、あらゆる研究領域で同じように機能するとまでは言えません。

コストと導入ハードルについて、証拠から確実に言える範囲は限定的です。Zhihu で引用されているプロジェクト説明では、現状は単一の NVIDIA GPU が必要とされており、これは比較的公式/リポジトリ寄りの情報です。一方、H100 を使った例はコミュニティ実演にすぎず、公式要件や安定した期待値ではありません。価格、商用プラン、固定 API 料金を示す信頼できる証拠はないため、保守的には GPU 時間、モデル/API 利用料、反復実験にかかる実装工数が主コストで、結果はハードウェアや時間予算に左右されると見るべきです。明確な評価関数があり、試行錯誤を多く回せる学習・調整・最小再現タスクには向きますが、目標が曖昧、計算資源が厳しい、環境横断の厳密な再現性が必要、あるいはワンクリック成果を期待する用途には向きません。

ソーシャル上の共通認識は、git を外部記憶として使うこと、固定 judge ファイル、評価改ざんを防ぐ境界設計、予算内探索の発想が新しいという点に集まっています。ただし議論の質は均一ではありません。今回の evidenceSources では、X は再投稿、要約、機能紹介が中心で、信頼性の証明というより話題性の証拠として強いです。Zhihu は件数こそ少ないものの、チュートリアルや構造解説に近く、能力や導入難度の判断材料としては有用です。