Adversarial Examplesとは

現在、AIはディープラーニングによって、識別の精度が非常に高くなり、日常としても利用できるレベルまで成長してきました。
しかし、そのディープラーニングの技術を逆手にとって、識別の認識を誤らせる技術があります。そのような脅威ともなりうる技術があることを簡単に説明します。

 

Adversarial Examplesとは

Screen Shot 2017-10-09 at 20.14.10.png

上記の左の画像と右の画像を見てください。
自分たち人間が見れば、全く同じパンダだと認識することができます。
しかし、実は右側の画像は真ん中の画像により摂動(多少のノイズ)を与えた画像になります。人間とは違い、AIはデータの細かな特徴を学習しているので、このノイズにより、全く別物(上記ではテナガザル)として認識してしまうのです。それは人間からしたらパンダにしか見えない状態であっても、AIにはパンダではなく何かしらの食べ物であったり、風景であったり、そこまでの誤認識を起こすことが可能なのです。

このときのノイズは、そうなるように計算して作ることができます。

下記記事にわかりやすく記載してありましたので、参考にしてください。

 はじめてのAdversarial Example

開発者向けの記事は下記をご覧下さい。

 Adversarial Examples をやってみる

 

Adversarial Examplesの危険性

現在、様々な場所で画像認識は使われています。その中で、このような技術で最も危険にさらされる可能性があるのは自動運転技術です。

自動運転中に標識や道路(線や壁)など画像認識して、安全な運転をするように設定されていると思います。しかし、例えば一時停止の標識があったにもかかわらず、それが全く別なものとして認識されれば、大きな事故に繋がる可能性があります。

実際、動画によって画像識別するため、距離や角度が変われば、この技術の有効性がなくなるという論文や、そうではないという論文が現在でも行われているようです。