人工知能は科学の進歩の論理には従わない

私たちは、機械学習システムを構築する人たちにとってさえ「ブラック ボックス」(1) であると主張する研究者や専門家について MT で何度も書いてきました。 そのため、結果を評価したり、新しいアルゴリズムを再利用したりすることが困難になります。

ニューラル ネットワーク (インテリジェントな変換ボットや、詩を作成することもできる独創的なテキスト ジェネレーターを提供するテクノロジー) は、外部の観察者にとっては理解できない謎のままです。

それらはますます大規模かつ複雑になり、巨大なデータセットを処理し、大規模なコンピューティングアレイを使用します。 このため、得られたモデルの複製と分析にはコストがかかり、巨額の予算を持つ大規模センターを除いて、他の研究者にとっては不可能な場合もあります。

多くの科学者はこの問題をよく理解しています。 その中にはジョエル・ピノー（2）、「再現性」に関する主要なカンファレンスである NeurIPS の会長。 彼女の指導の下、専門家らは「再現性チェックリスト」を作成したいと考えている。

ピノ氏によると、そのアイデアは、研究者が他の人にロードマップを提供して、すでに行われた研究を再現し、その上に構築する機会を与えることを奨励することです。 新しいテキスト ジェネレーターの雄弁さやビデオ ゲーム ロボットの超人的な敏捷性に驚かれるかもしれませんが、最も優れた専門家でさえ、これらの驚異がどのように機能するのかはわかりません。 したがって、AI モデルを再現することは、新しい目標や研究の方向性を特定するためだけでなく、純粋に実用的な使用ガイドとしても重要です。

この問題を解決しようとしている人もいます。 Googleの研究者らは、潜在的なエラーを示す結果など、システムのテスト方法を詳しく説明する「パターンカード」を提案した。 アレン人工知能研究所 (AI2) の研究者は、ピノーの再現性チェックリストを実験プロセスの他の段階に拡張することを目的とした論文を発表しました。 「あなたの作品を見せてください」と彼らは促します。

研究プロジェクトは、特に企業の研究室にとって独占的なものであるため、基本的な情報が欠落している場合があります。 しかし、多くの場合、それは、変化し、ますます複雑になる研究方法を説明できないことの表れです。 ニューラル ネットワークは非常に複雑な分野です。 最良の結果を得るには、多くの場合、何千もの「ノブとボタン」を微調整する必要があり、これを「黒魔術」と呼ぶ人もいます。 最適なモデルを選択するには、多くの場合、多数の実験を行う必要があります。 魔法は非常に高価になってきています。

たとえば、Facebook が Alphabet の DeepMind によって開発されたシステム AlphaGo を複製しようとしたとき、その作業は非常に困難であることが判明しました。 Facebookのスタッフによると、膨大な計算要件、何日にもわたって数千台のデバイスで数百万回の実験が行われたこと、さらにコードの不足により、システムを「再作成、テスト、改善、拡張することが不可能ではないにしても、非常に困難」になったという。

問題は特殊なようです。 しかし、さらに考えてみると、ある研究チームと別の研究チームの間で結果や機能の再現性に問題が生じるという現象は、私たちが知っている科学の機能と研究プロセスの論理全体を損なうことになります。 一般に、以前の研究の結果は、知識、技術、全体的な進歩の発展を促進するさらなる研究の基礎として使用できます。