2017年5月、Google BrainTeamはAutoMLと呼ばれる新しいアプローチを発表しました。 AutoMLはトレーニングによって特定タスクを実行できるチャイルドモデルアーキテクチャを開発するためのコントローラーニューラルネットです。 つまりAI (人工知能) を生成できるAIです。
使用されたデータセット
Googleの研究者らは、AutoMLのテストをPennTreebankやCIFAR-10などの小規模な学術用データセットで実施してきましたが、過去最難関の挑戦をAutoMLで実施することに決めました。今回COCO物体検出やImageNet画像分類のような大規模なデータセットをテストした結果は驚くべきものでした。
学術コンペティションでより大規模なデータセットに取り組むため、いくつかの最先端の機械学習アーキテクチャが人間により開発されてきました。
スケーラブルな画像認識のための転送可能なアーキテクチャの学習において、Googleの研究者は、AutoMLを最も代表的な学術データセットであるCOCOとImageNetに適用しました。
AutoMLをこのような大規模データセットに専用で適用する場合、望まれる結果を出すには数か月のトレーニングが必要になります。
方法
AutoMLは強化学習アルゴリズムと進化的アルゴリズムに基づいて構築されています。 ただし、ImageNetに適用するにあたって、研究者は大規模なデータセットを扱いやすくするために以下の変更を加えました。
1.探索空間を再設計し最適レイヤーを発見できるようにし、複数回柔軟に積み重ねて最終的なネットワークを構築できるようにしました。
2. アーキテクチャ探索をCIFAR-10で実行し、最適な学習済みアーキテクチャがCOCO物体検出とImageNet画像アーキテクチャに転送されます。
変更後、AutoMLは、CIFAR-10だけでなく、COCO物体検出およびImageNet分類に関しても最適レイヤーを発見することができました。これらの2つのレイヤーは統合され、NASNetと呼ばれる新しいアーキテクチャが構築されます。
図に示されるように、AutoMLで構築したNASNetアーキテクチャには、通常レイヤーとReductionレイヤーの2つの層が含まれます。
結果
NASNetは、ImageNet画像分類で82.7%の予測精度を達成しました。これはGoogleBrainチームが構築した過去のInception Modelよりもはるかに高い精度です。また、これまでの結果 (公開・未公開含む) を1.2%上回りました。
NASNetのサイズを変更して、低い計算コストを維持しつつも適度な精度を達成するモデル群を生成することも可能です。たとえば、小規模のNASNetで計算コストを半減しながら、74%の精度を獲得しています。これはモバイルプラットフォーム用に設計されたいくつかの同サイズの最先端モデルよりも3%以上優れています。
図で示されるように、ImageNet画像分類に対するNASNetの精度は、異なる演算とパラメータ (百万単位) を含む多くのモデルサイズで、人間が作成したモデルよりも高いことがわかります。
この表は、ImageNet分類におけるアーキテクチャ探索および人間が開発したモデルのパフォーマンスを示しています。 Mult-Addsは、1件の画像に対する複合積和演算の数を指します。
Faster-RCNNをNASNetと組み合わせた物体検出
Googleの研究者は、ImageNetで学習済みの特徴をCOCO物体検出に転送しました。 テストでは、ImageNetで学習した特徴をFaster-RCNNフレームワークと組み合わせることでCOCOでの過去の予測パフォーマンスを上回りました。 最大のモデルは43.1%のmAPを達成し、最先端モデルの過去の結果を約4%上回りました。
今後
NASNetがCOCOおよびImageNetで学習した特徴は、いくつかのビジョンアプリで再利用できます。 さらに、このアプローチは、なぜ特定タイプのニューラルネットがこれほど良い結果を出すのかヒントを与えてくれます。
AutoMLは、機械学習の分野を専門家以外の人にも開放し、高度なAIを活用した機械、ロボットの開発に使用できます。 ある研究によると、高度なAIは視覚障害者が視力を取り戻すのに役立つ可能性があります。
このアーキテクチャは自動運転車にも利用できそうです。交通、道路の危険、歩行者の特定に利用することも想定できます。拡張現実において、アプリケーションと環境とのインタラクションの向上に使用することもできます。 しかし、このAIの最も興味を引くような利用方法はこれから発見していくことになるでしょう。
将来的には、Googleの研究チームは、そのようなコンピューターが生成するアーキテクチャの分析とテストに取り組み、改良し理解を深めていく予定です。成功した場合、まったく新しいタイプのニューラルネットを生み出しすべての人により大きな影響を与えるでしょう。