人と AI が “共に進む” 社会

2012年頃から顕著になった深層学習（Deep Learning）による技術的なブレークスルー以来、多くの研究によって様々な技術が進展し、幅広い応用への適用が試みられました。その結果、現状の技術でできること、近い将来までにできそうなこと、まだしばらくは難しそうなこと、が徐々に明らかになり、「人工知能」「AI」に対する過剰な期待が醒めて、技術自体が話題になることも減ってきています。

しかし、COVID-19 の影響も加わってますます加速している社会のデジタル・トランスフォーメーション（DX）、サイバーフィジカルシステム（CPS）化の中で、蓄積するデータを知識、価値に換える技術としての AI の重要性、必要性はますます大きくなっており、日々進展しつづける技術を、倫理的な側面などにも配慮しながら、素早く、着実に、社会の中に実装してゆくことが求められています。

そこにおいては、「どういう AI を作るのか」の前に、データや AI を使って「どういう社会と、そこにおける価値を作るのか」についてのビジョンが必要です。SCSKでは、これからの社会とそこにおける SCSK の役割を ”共に進む” という言葉で表現していますが、ここでは、「人と AI が “共に進む” 社会」について少し考えてみたいと思います。

AIと人間が獲得する"知能"の違い

現在の AI の高い性能は、人間では到底利用できないような大規模な学習データや莫大な数の試行錯誤を利用していることに由来しています。たとえば、DeepMind社が構築した、強化学習のみでゼロから囲碁を学習するシステム AlphaGo Zeroの最終版（大規模ニューラルネットワーク版）は2,900万回の自己対戦で学習して強くなったと言われていますが、これは歴史上の全棋士の対戦の数をはるかに上回る、想像を絶する数です。

しかし、逆に言えば、それだけのデータや試行錯誤を利用して、やっと個別タスクで人間を超える性能に達したということでもあります。つまり、現在の AI は、同じ「学習」と言っても、人間の学習の仕組みとはかなり異なる、より単純な仕組みを使っているのです。これに対して、人間は、言葉の獲得や科学法則の発見に象徴されるように、より少ないデータからでも高度な知識を獲得することが可能です。

このように、同じ「知能」と呼ばれていても、現状の AI（人工知能）と人間（自然知能）では、その在り方や仕組みに大きな違いがあると考えられています。そして、そのことは、両者が相互理解し、「共に進む」ことを難しくしている面があります。そもそも、人間同士も相互理解できるのかと言われれば、完全にはできないのですが、理解したつもりで物事を進めることはとりあえず可能です。しかし、AI と人間の場合、そのギャップはさらに大きくなっています。

通常の機械装置であれば、人間が設計して作成するため、専門家であれば動作原理を理解可能ですが、データから学習する AI の場合、学習結果の理解は困難を伴います。大げさな言い方をすれば、私たちは、人類史上初めて、相互理解することが本質的に困難な、部分的には自分たちと同等以上の能力を持つ知能と幅広い場面で共存することになっているのです。

こうした状況を放置すれば、今後ますます増える大量のデータを利用して AI ばかりが賢くなって、人間はその「神託」に従っている、といった状況も予想されますし、その学習用データや計算インフラが一部の人々に独占された場合の危険性も高まります。こうした論点は、AI の構築やデータの利用に関する倫理的な課題の主要なものの一つとして議論されていますが、以下では、倫理的側面についてではなく、それを少しでも緩和するための技術に関する最近の研究開発動向の一端をご紹介できればと思います。

複雑化する機械学習と解釈へのアプローチ

まず、2015年頃から、説明可能 AI（Explainable AI, XAI）、あるいは、解釈可能な機械学習といった言葉で総称される技術の研究開発が盛んになっています(1)。

深層学習のように複雑なモデルを用いる機械学習では、従来のデータ解析で用いられてきた線形関数＋正規分布雑音のような簡単なモデルに比べて、モデルのパラメータ（例えば、ニューラルネットワークの結合の重み）の数が莫大になり、学習結果が分散して保存されるため、何が学習されているのかがわかりにくいという問題点が以前から指摘されてきました。そして、この問題に対処するために、１）感度分析的な手法、２）モデルの蒸留、３）説明文の生成、などのアプローチで研究が行われてきました。

１）は、学習したモデルの出力に大きな影響を与えるモデルのパラメータ、入力変数、学習用データ、等を見つける方法です。深層ニューラルネットワークの出力変数は、パラメータや入力変数に関して微分可能なため、ある変数の値を変化させたときに、出力変数がどれだけ変化するかを評価することが可能です。この性質を用いて、たとえば、ニューラルネットがある画像を犬と識別しているときに、入力画像のどの部分が重要な働きをしているかを可視化することができます。その結果を人間が見ることで、ネットワークが、個々の画像の認識のためにどの情報を用いているかをおおよそ知ることができるとともに、識別結果が誤っていたときの修正に活かすことも可能になります。

２）は、複雑な深層ニューラルネットワークで学習した結果のモデルが得られているときに、その学習済モデルに入力を入れて出力を計算することによって、学習用のデータ（＝入力と出力のペア）を作成し、それを用いて、より簡単な機械学習モデルを学習させるという手法です。一見不思議なことですが、この方法で、あまり性能を落とさずに、むしろ汎化性能の良い、より簡単な、学習結果を解釈しやすいモデルが得られることがあります。

３）は、識別や予測を学習するネットワークの学習と並行して、識別結果の説明文を生成する深層ニューラルネットワークを別途学習させるというものです。説明性という意味では最も高いですが、正解となる説明文を追加の学習用データとして用意する必要があるため、それをいかに減らせるかが課題です。

AIへ応用される様々な科学知識

また、最近では、こうした汎用的な手法以外に、個別の学習課題ごとに、その分野の科学的知識などを用いて、学習結果の解釈性を向上させるような仕組みを、モデルの中にあらかじめ組み込んでおくことも行われています。

画像の認識で成功した畳み込みネットワークも、部分的な特徴の組み合わせで大域的な特徴が作られるという画像の性質や、入力画像を少し平行移動しても認識結果は変わらないという画像認識課題の性質を利用したものでしたが、たとえば、化学物質の構造から、その物性を予測することを学習する課題の場合、物理化学の知識に基づいて、分子の波動関数や電子密度分布が重要な役割を果たすことが想定されます。

産業技術総合研究所（産総研）の椿氏らは、分子の波動関数が、原子の波動関数の線形結合で得られる、といった量子物理学の知識に基づいて、複数のニューラルネットワークを組み合わせた学習の仕組みを提案しました(2)。このネットワークに、分子の原子配置（入力）と、エネルギーや親水性などの予測したい物性値（出力）のペアを学習データとして与えて学習させると、潜在特徴表現に、波動関数や電子密度分布が自然に獲得されます。これにより、学習結果が専門家にとって理解可能で、納得しやすいものになります。

また、新規な物質に対しても、計算時間のかかる電子分布密度を瞬時に計算できることになります。さらに、このモデルを用いることで、原子数の少ない化合物のデータだけで学習したネットワークでも、原子数の多い化合物に対しても精度の良い予測ができる、すなわち、外挿的な学習ができることも示しています。

同じ2020年の11月には、Google 傘下の DeepMind が構築した、タンパク質の立体構造予測システム　AlphaFold2 が、CASP という予測性能評価の国際会議で、実験的解析に匹敵する予測精度を達成して(3)、研究コミュニティに大きなインパクトを与えました。そこでも、詳細は明らかにされていませんが、様々な科学的知識がモデルに組み込まれていると考えられています。

このように、人間がこれまでに積み上げてきた科学的知識は、多くの観測データを圧縮したものであり、AI の説明可能性や解釈可能性を向上させるために役立つだけでなく、AI の学習を助けることにも役立ちます。こうした研究が進展し、現在は、入力画像に正解ラベルをつける、といった単純な情報のやりとりが中心である人間と AI のインタラクションが拡張され、科学的知識のようなより高次の知識を容易にやりとりすることが可能になれば、AI と人間の双方にとって、効率的な学習や新たな知識の創生を可能にすることにつながると期待されます。

そのための最も強力な方法は、第１回の寄稿にも書いたように、現在の機械学習で性能を大幅に向上させたパターン認識的な AIと、ルールなどの形で表現された知識を利用する記号処理的な AI（それぞれ、無意識的処理と意識的処理、System1 と System2 などとも呼ばれます）とを統合し、AI が自然言語を自在に操れるようになることで、BERT のような技術を、画像・動画や音も加えたマルチモーダルデータに拡張して意味理解ができるシステムの実現を目指す研究も盛んになりつつあるのですが、そこに行き着く前にも、できることはたくさんあると考えられます。

たとえば、自動車、ロボット、プラント、ビル、都市などの複雑なシステムを設計・制御する場合には、科学的知識に基づいたシミュレーションが多用されています。ここでも、深層学習をシミュレーションと組み合わせて利用することで、学習を加速するとともに、人間にとっての解釈可能性を向上させる取り組みが盛んになっています。

自動運転車の開発では、実際の道路で車を動かすだけでなく、シミュレーションされた空間の中で動かすことで、多様な状況を効率良く経験させることが早くから進められてきました。プラント制御の異常対応の学習に、プラントについての知識であるマニュアルやシミュレータを活かすことも行われています。顧みれば、AlphaGo のようなゲームの学習システムも、モンテカルロ木探索による先読みや、自己対戦というシミュレーションを使って強くなったのですが、そうした技術を、ゲームの世界から実世界の現象やシステムに広げてゆくことが盛んに試みられているのです。

現状のAIが抱えるもう１つの重要な課題

説明可能性と関連する課題として、学習するシステムの信頼性も重要です。既に述べたように、説明可能性や解釈可能性も、信頼性の向上につながりますが、より直接的に、機械学習システムの性能をどのようにして保証、担保するのかという課題は、リスクの大きな実世界の課題に AI や機械学習を適用するために避けては通れません。

学習済モデルの性能は、１）学習用のデータ、２）学習に利用するモデル、３）モデルをデータにフィットさせるための学習アルゴリズム、の３つによって決まります。そこで、学習済モデルの品質を担保するためには、それぞれの品質の担保が必要です。

まず、学習用のデータについては、データが偏りなく、利用される場面と近い状況で網羅的に収集されていることが重要です。しかし、実世界での網羅的な収集には非常に高いコストがかかることが多いため、上述したように、科学的知識などを利用して外挿を可能にすることが大きな価値を持つのです。

また、正解ラベルをつけるのが人間の場合、そこに誤りが入る可能性もあります。計測データを使う場合でも、計測にノイズや誤りが入る可能性があります。誤りが入る可能性が高い場合には、データの前処理過程や学習中に、誤り検出をすることも必要です。また、データが少ない場合には、データを補完すること（data augmentation）が行われますが、その際に、適切な補完法が使われないと、間違った学習結果につながることがあります。

次に、学習用のモデルについては、データに適したモデルを選ぶ必要があります。学習するシステムでは、いわゆる過学習を避けることが重要なことがよく知られています。学習用に収集されたデータにはどうしても偏りが含まれますが、データに対して複雑すぎるモデルを用いると、その偏りも含めて学習してしまうため、実際に使う場合の性能が劣化してしまいます。そこで、学習用データ以外にモデル評価用のデータを用意して、モデルの構造の選択、入力変数の選択、学習率などの超パラメータのチューニングなどをしっかり行う必要があります。

最後に、学習アルゴリズムとその実行過程については、プログラムとしての正しい動作はもちろんですが、最適化手法としての最適解への収束性や収束速度の検討が必要です。特に、深層学習においては、常に大域的な最適解を求めることはできないため、初期値を変えて複数回試行することが必要です。また、学習の途中で誤差関数がなかなか減少しなくなる「プラトー」が現れることが多く、学習が収束しているのか否かの判断が難しいという課題もあります。

さらに、こうして構築された学習済のモデルの性能を、どのようにして評価、テストするのかという課題もあります。収集したデータの一部を、学習には使わず評価用にとっておく、いわゆるオープンな評価は大前提ですが、それ以外にも、複数の学習結果の不一致度が高い入力値を探索する、領域知識にもとづいて推論結果を変えないことがわかっている変換を入力に加えて、結果が変わらないか否かを評価する（metamorphic testing）、など、効率的なテストのための工夫がいろいろと考案されています。

さらに、現実の世界は時々刻々変化してゆくため、一度学習したモデルをそのまま使い続けることは危険が伴います。そこで、学習済モデルを用いたシステムを運用する際には、一定期間ごとに性能のモニタリングを行い、必要に応じて、モデルを再学習や追加学習させることが重要になります。これは、システムの運用体制の品質と言えるでしょう。こうした性能のモニタリングとモデルの更新を効率的かつ安定的に実現するためのシステム上の仕組みも重要です。

こうした、機械学習 AI の品質保証に関する様々な側面をまとめた総合的な取り組みの一つとして、産総研のデジタルアーキテクチャ推進センターでは、機械学習システムの品質保証に関する研究開発を実施し、「機械学習品質マネジメントガイドライン」を策定(4)するとともに、AIシステムに関する品質の指標および測定プロセスを提供する「機械学習システムの品質評価テストベッド」の構築(5)を進めています。

AI に対する脅威論が消えたわけではありませんが、現状の AI は、DX や CPS化によって生み出されるデータを利活用するためのツールであり、そうした汎用基盤技術としての AI をしっかり使いこなしてゆくことが、社会としての活性や競争力を維持するためにますます重要になっています。

そこにおいて、「人と AI が共に進む」ことは、とても重要な意味を持つと考えています。今回ご紹介した内容は、大きな研究開発の流れの中のごく一部ですが、技術の必要性や、基本的な考え方を感じていただければ幸いです。SCSK のR&D センターにおいても、データと人間の知識の双方を有効活用するための研究開発を進めており、今後の機会にご紹介できればと思います。

(1) 原聡: 機械学習モデルの判断根拠の説明 〜 Explainable AI 研究の近年の展開 〜, 第26回 画像センシングシンポジウム, 2020. 講演動画リンク https://vimeo.com/431348223
(2) 産総研プレスリリース https://www.aist.go.jp/aist_j/press_release/pr2020/pr20201111/pr20201111.html
(3) DeepMind Blog
https://deepmind.com/blog/article/alphafold-a-solution-to-a-50-year-old-grand-challenge-in-biology
(4) 産総研プレスリリース https://www.aist.go.jp/aist_j/press_release/pr2020/pr20200630_2/pr20200630_2.html
(5) 産総研プレスリリース https://www.aist.go.jp/aist_j/press_release/pr2020/pr20201118/pr20201118.html

■麻生英樹顧問の連載コラム
第1回　麻生英樹顧問 「AIとは何だろうか？」
第2回　withコロナ社会における ICT/AI の役割
第3回　実世界に浸透する深層学習 -人とAIが ”共に進む”社会へ
第4回　生成系 AI の進化、変わる知的生産
第5回　生成AI が変えるシステムインテグレーション