AI(深層学習)の概要を学ぶ

『施設園芸のPDCA』で紹介した(有)育葉産業様が生育予測をエクセルで構築しているとの情報に接し、『生育予測モデルの方程式~AIへの展開』にてロジスティックス方程式で生育予測が出来るのではと思い検討した。

検討過程でロジスティックス曲線を更に『微分』する利用シーンとして、AI(深層学習)の活性化関数で有名なシグモイド関数( ロジスティックス曲線)の活用事例、具体的には2値(クラス)分類の『誤差逆伝播』手法にて、出力層からの勾配計算(=誤差関数の重みに対する勾配)にシグモイド関数の微分が利用されている事に出会った。

当初とは全く予想外のAI(深層学習)への扉が目の前に現れ、思い切って扉を開いて、農産物生産プロセスの特定シーンにおいて AI(深層学習)活用ができないかとのテーマが新たに生まれた。

メニュー:生育予測モデルの方程式~AIへの展開 より再掲示

活性化関数を切り口にAI(深層学習)の活用を検討する当り、以下3ステップで検討を進める。

① AI(深層学習) の概要理解(準備編:今回のメニュ―内容)

② AI(深層学習) のコンセプト理解(学習編:個別メニュ―)

③AI(深層学習)アプリケーションでコンセプトの理解を深め、具体的なデータを準備し、同アプリケーションを利用して有効性を検証し、収集データに対する知見を深める(実践編)

今後、AI(深層学習)のコモディティ化が急速に進むと予想されており、既に日常生活でもFire TV Stick 4KのAlexa音声認識で番組等の検索にその利便性を実感(リモコンによる文字入力をしたくない)しており、 誰もが色々な日常生活シーンで容易に使える時代を意識すると、 AI(深層学習) の仕組みを理解し、自ら積極的に利用用途について思いをはせ、課題解決のツールとして開発検証出来るスキルを身に着け、新しい情報発信を目指す。

■ AI(深層学習)アプリケーションの活用

AI(深層学習) の理解を深めるにあたり、AI(深層学習)アプリケーションであるソニー社製のNeural Network Consoleを利用する事で上記3ステップを効果的に実践できるのではと考えている。

尚、ソニー社製のNeural Network Consoleは、 AI(深層学習) に必要となる『ネットワークアーキテクチャ設計』を手軽に設定する事が出来、また具体的な活用方法もYoutubeで詳しく紹介されており、コンセント理解を進めるには適していると現時点では考える。

同ソフトの使用は以下のURLでダウンロードする事で可能になる。

https://dl.sony.com/intro/fpage1.html?utm_source=google&utm_medium=cpc&utm_term=neural%20network%20console&utm_campaign=brand&gclid=EAIaIQobChMItbafv66l5AIVw2kqCh0mZwP3EAAYASAAEgKlsvD_BwE

最初に、AI(深層学習)開発 は従来型のソフトウェア開発の進め方とは根本的に違う事を前提に理解を進める。以下2枚の図にてその違いを確認する。

出典: 機械学習型システム開発へのパラダイム転換
国立研究開発法人 科学技術振興機構 研究開発センター
出典:Deep Learning習得と人材育成のコツ(初学者向け)
ソニーネットワークコミュニケーションズ(株)/ソニー(株)小林 由幸

■■目指すべき AI(深層学習)=Deep Learning理解のゴールレベル■■

収穫したきゅうりの等級を分けるため、等級ごとに275枚の写真を用意、AI(深層学習)に学習をさせたそうです。

そして「きゅうりの学習済みモデル」に、新しくきゅうりの画像を用意し、判定させました。すると正解率は80%。

その学習データを継続して使ううちに、95%まで正解率が上がったそうです。(以上の記述の出典: 5分でわかる、Deep Learning(深層学習)の仕組み3つのポイント)

この AI(深層学習)活用(=未知のきゅうり画像から等級判断や予測を適正に行えるようになっていく)は農業の人手不足対策に利用されており、農業従事者の経験知をシステムが取り込む(=学習する)事で課題解決に一歩踏み込み、新たな価値を生み出している。この等級情報がブロックチェーンのトランザクション情報(=生産履歴の出荷工程のトランザクション)に書き込まれる(=電子ファイルのハッシュ値が書き込まれる)シーンが容易に目に浮かぶ。これも品質保証の証拠データになる。

このようにAI(深層学習)も『特定の一つの問題を解かせるためのツール』 である事が分かる。

■今AI(深層学習=Deep Learning)に取り組む理由

①圧倒的な認識性能を示す。

人間の認識精度を甘く評価した誤り率5.1%を既に超えている。 下図のトレンドラインで分かるように深層学習を取り組む価値が広く一般人にも認識されるようになってきている。但し、人間の長年の経験による『直観』には到底及ばないが。

従来のAI(機械学習)による認識性能の限界を大きく突破させたのが、トロント大学のジェフリー・ヒントン教授らのグループによる、2012年の画像認識コンテスト「ILSVRC(ImageNet Large Scale Visual Recognition Challenge)」にて、ニューラルネットを用いたSupervisionという手法であった。1年前の優勝記録の誤り率25.7%から15.3%へと4割も削減し圧勝し、第3次AIブームを引き起こしたと言われている。

出典:今Deep Learningに取り組む理由
ソニーネットワークコミュニケーションズ(株)/ソニー(株)小林 由幸

②深層学習以前の機会学習やニューラルネットの分野では 人手による『特徴量』の設計が必要であった。 (例:下図)人手で特徴量を設計するのはとても難しい。そのためこの分野では長い間,顕著な精度の向上が見られなかった。

出典:日本ロボット学会誌 Vol 35 No.3 pp.180~185,2017
深層学習による画像認識

従来の機械学習(ここでは『深層学習』が注目される以前の手法と定義する)では、上図に示すように入力画像から直接一般物体認識を解くことは難しいため、この問題を画像照合・画像分類・物体検出・シーン理解・特定物体認識の各タスクに細分化して解いてきた。

人手の知見に基づいて設計したアルゴリズムにより特徴量を抽出・表現していたため、最適であるとは限らない。 (上記2行の出典先: 日本ロボット学会誌 Vol 35 No.3 pp.180~185 2017より)

出典:今Deep Learningに取り組む理由
ソニーネットワークコミュニケーションズ(株)/ソニー(株)小林 由幸

一方、深層学習は大量のデータから『その特徴量を自動で抽出し学習する』といった機構を持つ。

ヒントン教授らのSupervisionでは入力画像には最低限の前処理のみを行い、各ピクセルの画素値をそのままニューラルネットに与えていた。人手が必要と思われた特徴抽出を『自動化』し、その上で認識精度を向上させたディープラーニング(=深層学習)の登場は従来の手法を覆す大事件であり、上記①、②によりブレークスルー(=障壁の突破)が起きたと評価されている。

出典(上図):有名論文から学ぶディープラーニング
から編集(追加情報)

尚、トロント大学のジェフリー・ヒントン教授らが用いたモデルは CNN(Convolutinal Neural Network:畳み込みニューラルネットワーク)である。 1979年、 CNNの原型 (ネオコグニトロン)を初めて発表したのは日本人の福島邦彦氏である。

出典:上図:畳み込みニューラルネットワーク
出典:下図: https://hackernoon.com/ What is a CapsNet or Capsule Network?

福島モデル( ネオコグニトロン )は、1960年代に動物の視覚野の特性を調べるため、神経生理学者のデイヴィッド・ヒューベルとトルステン・ウィーセルの実験知見にヒントを得て開発された経緯がある。 尚、両氏は1981年 ノーベル生理学・医学賞を受賞している。

ネオコグニトロンはパターン認識においてある程度の成果を納め、畳み込みフィルターをニューラルネットワークに取り入れたものの、フィルター自体を学習するアルゴリズムを欠いていたために限界があった。(出典: 畳み込みニューラルネットワークの記述)

ヒューベルとウィーセルの実験によって、大脳皮質における感覚情報処理に関する知見が深まった。刺激提示位置や方位に対して選択的に応じるニューロンどうしが規則的なルールに従って視覚野を形成していることなどを発見し、単純な刺激が複雑な像となって表れる視覚の仕組みが明らかになった。 (Wikipediaより)

出典: https://ml4a.github.io/ml4a/jp/convnets/
畳み込みニューラルネットワーク

■簡単にAI歴史におけるブームと冬の時代の経緯を概観する。

出典:変わりゆく機械学習と変わらない機械学習
(シリーズ 人工知能と物理学 神嶌 敏弘 2019 日本物理学会)

概ね1950年代頃から機械学習は研究され始め、1953年のダートマス会議で人工知能の概念が提起されており、共時的に生体模倣のニューラルネットワークの概念も生まれた。

ニューラルネットワークは、人間の脳細胞と神経回路を模した演算によって、人間の行う複雑なパターン認識等を実現しようという試みであり、手書き文字認識で代表されるように『パターン分類を学習させよう』とした。

ニューラルネットワークの研究は、まず神経素子=ニューロンをモデル化する事から始まり、生理的研究から

①ニューロンは他のニューロンから電気的・化学的刺激を受けとる。

②受け取る刺激の総和が一定量を超えると『発火』して、他のニューロンに刺激を与える。

1958年、ローゼンブラットによりパーセプトロン(=3層ニューラルネットワーク)が開発され、第1次AIブームが始まった。

3層パーセプトロン(=3層ニューラルネットワーク)
赤●:入力層 黄●:中間層 青●:出力層

1969年、パーセプトロン学習とその限界を指摘したミンスキーらによってブームは下火になり、冬の時代に入った。

ミンスキーらは、入力層、中間層、出力層の3層パーセプトロンでは排他的論理和(XOR)演算で分類が直線で分離出来ない事を示した。

尚、 排他的論理和(XOR)演算はパーセプトロンを多層化する事で解決された。

出典:MIT Deep Learning Basics: Introduction and Overview 

1986年に隠れ層(多層パーセプトロン)を持つニューラルネットワークを高速に学習する『誤差逆伝播法』( バラバラに分布したデータを学習し法則性が発見できると実証)が発見され、第2次AIブームが起きた。

出典:Deep Learning: A Crash Course
https://www.youtube.com/watch?v=r0Ogt-q956I

『バラバラに分布したデータ』から想起されるのは、中心極限定理を採用したブラック・ショールズ方程式である。当時、DECのプライベート展示会で隣のブースにて人工知能を活用した列車ダイヤ編成作成のデモを見た記憶が蘇り、ワークステーションが金融分野で使用されている事も同展示会で知り違和感を持ったが、今から振り返るとオプション計算等に活用されていたと理解でき、時代の『知』の一端を感じさせる動きであった。

出典(図): https://www.youtube.com/watch?v=QTPKfikiku8
中心極限定理

だが、AI学習に必要な大量のデータを準備するのが難しく、コンピュータの処理能力も低く、不満足な『精度』しか得られず、実用化に至ったAIは限られ、再度冬の時代を迎えた。

状況が変わり始めたのは、インターネットの普及により、2000年には『学習』に十分な大量データと、それを処理できる計算機(ゲーム機用で開発されたGUP)が比較的容易に手に入るようになってきた。

深い層を持つニューラルネットワークが既存手法を凌駕する精度を達成できるようになり、ディープラーニング(深層学習)という言葉が使い始めらるようになった。

そして2012年に ジェフリー・ヒントン教授ら のグループによる CNN (Convoltutional Nueral Network:畳み込みニューラルネットワーク)  で『精度』に関してブレークスルーが起き、第3次AIブームが始まった。

出典:YOLO9000: Better, Faster, Stronger (Redmon)
注: YOLOという接頭語は You Only Look Once

◆21世紀の時代を実感させるヒントン教授による新たな提案であるカプセルネットワーク(CapsNet)。

Hinton: “The pooling operation used in convolutional neural networks is a big mistake and the fact that it works so well is a disaster.”

大成功をおさめたCNNモデルに隠された問題点(プーリング:Max Pooling)を解決する為に自己否定し、新たな概念を導入した。

Max Poolingは元のデータから抽出された特徴量の最大値を取り、残りを切り捨てる。この操作により特徴同士の関係が分からないようになった。

カプセルネットワークは個々の特徴を独立的に捉え、それぞれがどのような関係にあるかに注目する。この結果、特徴の位置関係が分かるようになり、人間の認識に近づき、AIの適用範囲が一気に広がる可能性を秘めている。

出典(上図):畳み込みニューラルネットワーク
出典(下図); Dynamic Routing Between Capsules
http://papers.nips.cc/paper/6975-dynamic-routing-between-capsules.pdf

これと対照的なのが、金融工学の金字塔であるブラック・ショールズ方程式は、1987年のブラックマンディ危機で崩壊(暴落の過程で理論が破綻)した。この方程式が前提にしている確率計算(価格変動は正規分布する)に対して 鋭く問題点 (綿花の価格暴落や洪水の発生頻度から分散は『一定』ではなく大きく外れた動きの頻度は高い=べき乗分布)を指摘したマンデルブロ氏の批判を金融工学理論業界は無視し、同氏を業界から摘まみ出す事で ブ ラック・ショールズ方程式は、限定的な条件でしか機能しない現実を隠した。まさに “ the fact that it works so well is a disaster.”

出典:不明(ネット検索画像より)

難解な数学理論(フーリエ変換も含む)で化粧を施し、リスク回避とは裏腹にレバレッジ金融を加速させ、尽きない利益を求める金融界と二人三脚でリーマンショックを引き起こし、挙句の果てに金融界の背骨をボキと折り、尻ぬぐいは各国の中央銀行からの巨額の金融緩和で逃げ、隠された問題点を自己否定するどころか、ほとぼりが冷めたら欠陥理論を使い同じ事を繰り返す金融業界には全く反省は無い。

具体的には『貸し手はいけない住宅購入者向け』サブ・プライムローンの再現と指摘されている 『貸し手はいけない企業向け』の CLO(Collateralized Loan Obligationの略 ) 。昨年12月に元FRB議長であったイエレン氏が問題点を提起し、日銀と金融庁が日本の銀行にCLO保有額の調査を実施した。

■深層学習の更なる理解へのアプローチ

カプセルネットワーク (CapsNet) の概要理解からCNN (Convoltutional Nueral Network:畳み込みニューラルネットワーク) の特徴と隠された問題点が明確に理解できると考える。更にCNNの理解からDNN (Deep Nueral Network) の特徴と問題点も意識できると考えるが、ニュラールネットワークの原点であるパーセプトロンと誤差逆伝播法を基本構造とするDNNから理解を進める。

各ネットワークの理解については新たなメニューを用意し内容理解を深める。

最後に

民主化運動の激化から香港政府の覆面禁止( 緊急状況規則条例)=『リアルタイム顔認証』への重い問いかけに触れざるを得ない。

公的機関が『リアルタイム顔認証』ソフトを利用すれば、『完全でない』個人認証の誤りから、権力の誤った執行や投獄につがるリスクが有る。又該当者に対して同ソフトの利用承諾を得ずに利用した場合、個人情報保護法に違反する。『リアルタイム顔認証』+運転免許証+パスポートと紐づけられ、データベースに情報が蓄積されれば最新の個人の日々の行動まで履歴が残る。

上記の文脈でMax Pooling の問題点を解決すべくカプセルネットワークで実現しようとする個々の特徴とその関係性に整合が取れるようになると、認識精度は高まり、その出力情報をデータベース上で蓄積されれば超監視社会を望む権力側にとって美味しい成果にも成り得る。

技術の進化を止める事は出来ず、技術を利用する社会は運用に対して『個人の権利』を保証し、権利侵害を起こさずを社会合意として臨まなければならない。

金融工学理論業界とセットで金融業界が犯したリーマンショックと同様の大災害(超監視社会の加速)を引き起こす事になる。

既にサンフランシスコ市、カリフォルニア州オークランド市等では『リアルタイム顔認証』ソフトの利用を禁止し、捜査機関が同ソフトを利用した捜査活動を禁じている。

fact that it works so well is a disaster.

出典: 監視カメラ向けAIを開発する商湯科技(センスタイム)の製品デモには、驚くほど詳細な情報が表示されている GILLES SABRIE-BLOOMBERG/GETTY IMAGES
出典:ウォールストリートジャーナル