ニューラルネットワークの一種「カプセルネットワーク」を発表_グーグルの天才AI研究者

人工知能の学習能力を形成する基盤となるニューラルネットワーク、その欠点を補い、自己学習能力をさらに高めた「カプセルネットワーク」を、その分野の第一人者でグーグルの研究員でもある69歳のジェフ・ヒントンが発表しました。

 

カプセルネットワーク

2017年10月下旬、ジェフ・ヒントンは2つの論文を発表し、40年近く熟考を重ねた考えについて証明しました。新たな研究はニューラルネットワークを発展させたもので、画像や動画を通じて機械に世界を理解させやすくすることで「カプセルネットワーク」といいます。

発表した論文のうちの1つでは、カプセルネットワークの正確さについて、ニューラルネットワークの最高時のパフォーマンスに匹敵することを、ソフトウェアが手書きの数字をどれだけ正確に認識できるかという基準テストを用いて証明しました。

2つ目の論文ではカプセルネットワークの誤答率について、ニューラルネットワークの誤答率が最も低かったときのほぼ半分にまで減少したことをトラックやクルマといったおもちゃを異なる角度からソフトウェアに認識させる課題を通じて結果を得て証明しました。

 

カプセルネットワークの目的は、機械学習システムの弱点を克服し、本来発揮できる効果を最大化にすることです。

画像認識ソフトウェアでは、あらゆる場面で対象物を確実に認識するためには多くの写真を学習しなければなりません。なぜなら、このようなソフトウェアは学んだことを、これまでにない文脈で一般化するのが得意ではないからです。そのことは、あるモノを別の角度から見ても同じものだと判断することが難しいことに繋がります。例えば、人間の子供であっても動物の写真を数枚見せれば、それをある場所から認識することは容易にできます。しかしコンピュータには様々な角度から撮影した写真を何千枚も学習させる必要があります。

このAIシステムと平均的な幼児との大きな溝を埋めるためには世界についての知識をコンピューターヴィジョンのソフトウェアにもう少し組み込む必要があります。それは人の場合、既にこの世界で生活しているので、予めどこまでが背景かなどすぐさま理解することができるからです。

今回の「カプセル」とは、むき出しの仮想ニューロンの小さな集合体で、猫の鼻や耳のような、ある物体の異なるパーツと、空間におけるそれらの相対的な位置を探知するよう設計されています。多数のカプセルによるネットワークは、新たな場面について、「実はすでにある場面を違う視点から見たものだ」と理解し、その気づきを利用することができるそうです。

 

カプセルネットワークに期待されることは、今後のAI課題であるデータ量の軽減とスピード化に対応するこです。

ヒントンは1979年、人間が心理的なイメージをどのように活用しているかを解明しようとしていたときに、視覚システムはもって生まれた幾何学的感覚のようなものを必要としているという直観を得ました。そして2011年、カプセルネットワークの基になる構想を初めて発表しました。なので、今回の発表は研究者たちの間ではずっと待ち望んでいたものでした。

しかし、カプセルネットワークはまだ膨大な画像が必要であり、既存の画像認識ソフトウェアに比べて速度も遅いことが指摘され始めています。ジェフ・ヒントン自身もそれを理解していますが、これから欠点を克服できると考えていますし、他の研究者の間では基本構想について、与えられたある量のデータから既存のシステムよりも多くの理解が得られる、と話されています。

カプセルネットワークの概念がより広範囲で活用できると証明されれば、AIを訓練するための画像データに乏しい分野(ヘルスケアなど)で大きな貢献ができることになります。

近年のニューラルネットワークの隆盛を解釈する際、ひとつにはAIソフトウェアにはなるべく知識を与えず、物事を自分の力で一から理解させるべきだという意見があるので、カプセルネットワークの今後に注目です。

 

カプセルネットワークの資料

ここで取り上げられた技術は、下記リンクでも取り上げています。
CNNの欠点であるmax poolingと処理データ数を削減した点などに特徴があるそうです。
https://medium.com/ai%C2%B3-theory-practice-business/understanding-hintons-capsule-networks-part-i-intuition-b4b559d1159b

 

論文
http://papers.nips.cc/paper/6975-dynamic-routing-between-capsules
https://arxiv.org/abs/1710.09829

カプセルネットワーク(CapsNet)のGitHub
https://github.com/XifengGuo/CapsNet-Keras
https://github.com/naturomics/CapsNet-Tensorflow