IBMがAIのブラックボックスを解明！OpenScaleとは？

現在のAI（人工知能）ブームのきっかけとなったディープラーニングには、その判断プロセスが複雑すぎて人間には理解できない、というブラックボックス問題があります。例えば、医者から「AI（人工知能）診断によりますと、あなたには手術が必要と判明しました」と言われても、とても納得なんかできませんよね。いくらAI（人工知能）の予測能力・判断能力が高いことが分かっていても、根拠についての説明がないと受け入れることはできません。

このブラックボックス問題に対する解決手段として注目を集めている「説明可能なAI（人工知能）」の一つが、IBMが提供するAIサービス「OpenScale」です。IBMのOpenScaleは、AI（人工知能）がどのような考えに基づき判断したのかを解析のうえ提示してくれます。

ということで、今回はAI（人工知能）のブラックボックス問題を解決してくれるIBMのAI、OpenScaleの仕組みについて、わかりやすくご説明します。

それではまず最初に、そもそもAI（人工知能）のブラックボックス問題とはどのようなものなのか、確認しておきましょう。

AI（人工知能）のブラックボックス問題とは、AI（人工知能）の思考回路がわからないこと

ディープラーニングは、囲碁の世界チャンピオンに勝利するなど、従来の技術では不可能であった極めて高いパフォーマンスを実現することにより、現在のAI（人工知能）ブームを巻き起こしました。

ディープラーニングは、脳に存在する神経細胞の結びつきにより情報が伝達される仕組みを参考にしています。この「神経細胞の結びつき」を多数の層構造とすることにより、データに含まれている特徴をそれぞれの層において段階的に深く学習することができます。

例えば、ディープラーニングに大量の画像を学習データとして入力すると、画像データに含まれる特徴を複数の層で分担して自動的に学習できるため、現在では人間を超える画像認識能力を持つまでに至っています。

囲碁対戦であれば、AI（人工知能）がなぜその手を打ったのか分からなくても、勝利すれば許されるかもしれません。一方で極めて大きな社会的責任を持つ企業にとって、重要な業務上の判断にディープラーニングを活用できるかというと、なかなかそうはならないのが現状なんです。

このため、ブラックボックス問題によりAI（人工知能）の社会的活用に歯止めがかかる状況が発生しており、対策として、説明可能なAI（人工知能）が求められているんです。

それでは次に、IBMのAI、OpenScaleがどのようにして説明可能なAI（人工知能）を実現しているのか、具体的に見てゆきましょう。

IBMのAI、OpenScaleがAI（人工知能）と対話しながら判断プロセスを解明

ここでは例として、保険金請求への対応をAI（人工知能）で判断する場合について考えてみます。例えば、ある保険金請求に対しAI（人工知能）が保険金を「支払うべきではない」と判断した場合、IBMのOpenScaleがその判断理由をどのように解明するか見てみましょう。

保険金請求の判断材料としては、年齢・保険加入年数・性別・国籍・人種・学歴・出身地・病歴などがあります。OpenScaleは、AI（人工知能）が「どの判断材料」を「どのような基準」で検討したか、について解明します。具体的には、OpenScaleが判断材料について、パラメータの値を変化させながら、AI（人工知能）に対し問い合わせを繰り返し、その答えを記録してゆきます。この結果をもとに、AI（人工知能）の判断理由を解明してゆくのです。

他の判断材料は変更せずに、特定の判断材料のパラメータを変化させてAI（人工知能）の答えを確認することにより、AI（人工知能）がどの判断材料をどのような基準で検討したか、を解析し提示してくれます。

実際にはOpenScaleが提示した判断基準をそのまま顧客に伝えることはないでしょうが、審査業務担当者にとって、顧客に対する説明根拠を得ることができるのは非常に大きなメリットですよね。

以上がIBMのAI、OpenScaleによるブラックボックス解明の仕組みですが、OpenScaleにはもう一つ、とても重要な機能があります。それは「AI（人工知能）のバイアス」を見抜き、しかも補正してくれる機能なんです。

まずは、AI（人工知能）のバイアス問題とはどういったものなのか、実際にamazonで発生した事例について確認しましょう。

amazonの人材採用システムが女性差別問題により運用を停止

本問題の背景には、AI（人工知能）の学習データとして過去10年間にわたる履歴書を採用したことにあります。過去実績ではソフトウェア開発エンジニアの殆どが男性であったことが原因ですが、ここで問題なのは、偏ったデータではあるものの、データとしては正しい（間違ったデータではない）という点にあります。

AI（人工知能）は学習データに基づき判断しますが、学習データに偏りがある場合、現実社会に存在する「偏り」を増幅してしまう、というのがバイアス問題です。ただし、これはAI（人工知能）だけの問題ではなく、私たち人間だって、偏った情報しか与えられなかった場合、正しい判断はできなくなってしまいますよね。

それでは次に、このような偏った情報をもとに判断しているAI（人工知能）のバイアスを、OpenScaleがいかにして見抜き・補正してくれるのか、について見てみましょう。

IBMのAI、OpenScaleがバイアスを見抜き、しかも補正してくれる！

ここでは先程の事例である、amazonの人材採用システムを例にご紹介します。実は、ここでも先にご説明したブラックボックス問題への対応と同じ技術を利用しています。履歴書に記載されているさまざまな判断材料について、パラメータの値を変化させながら、AI（人工知能）に対する問い合わせを繰り返し、その答えを記録してゆきます。この結果をもとにバイアスの有無を判断します。

amazonの人材採用システムの事例における問題は女性差別ですので、皆さんもお分かりかもしれません。応募者の評価結果が低いケースで、性別が「女性」であった場合、性別のみを「男性」に変化させると、AI（人工知能）の評価がどう変化するかを確認することにより、性別にバイアスがかかっているかを判断できます。

なお、ここで注目いただきたいのは、バイアスを生んでいるAI（人工知能）側には何ら手を入れることなく（AI（人工知能）としての再学習などは不要）、OpenScaleによりバイアスを補正できている点にあります。これはAI（人工知能）運用者にとって非常に大きなメリットになります。

以上、今回はAI（人工知能）のブラックボックス問題を解決してくれるIBMのAI、OpenScaleの仕組みについて、わかりやすくご説明しました。

AI（人工知能）のバイアスを見抜き補正してくれるなんて、なんとも心強いOpenScaleですが、実は注意点があります。

OpenScaleが、男女差別はあってはならない、あるいは、公正な社会を実現するためにはこうあるべきだ、といった倫理観を持っているわけではありません。このため、どの判断材料（年齢・性別など）について調査すべきかについては、私たち人間が選定する必要があります。

とはいうものの、OpenScaleは、AI（人工知能）の問題をAI（人工知能）の技術で解決するという、非常に画期的なサービスなんです。OpenScaleにより、今後さまざまな企業へのディープラーニング適用が進むことを期待しましょう！