AIとは何か

強化学習を取り組む前に読んでおきたい!おすすめ参考書6選

強化学習を取り組む前に読んでおきたい!おすすめ参考書6選

AI(人工知能)がチェスや将棋のプロプレーヤーに勝利した、という話を聞いたことがある方々もいるでしょう。一昔前では将棋などのボードゲームでコンピューターが人間に勝つのは不可能でした。ですが、今では逆に人間がコンピューターに勝つことが難しいと言われています。

ではなぜコンピューターの実力が急激に上がったのでしょうか。ここで登場するキーワードが「強化学習」です。

例えば将棋の名人に勝利したコンピューターである「Ponanza」や囲碁のチャンピオンに勝利したコンピューターの「AlphaGo」には強化学習の技術が使われています。

「学習」という言葉が入っていることから分かるように、強化学習も機械学習の一つ。大きな特徴として「学習に必要なデータが多くない」こと、「ゴールまでの方法は問われない」ことが挙げられます。そのため、データ数が少ない分野や囲碁などのボードゲームのような目的が明確な分野において強化学習は頻繁に使用されているのです。

本日は強化学習の概要を紹介した後に、強化学習を学ぶ際におすすめの参考書について紹介します。

強化学習って?

強化学習って?

強化学習とはコンピューターが自ら試行錯誤しながら正解を探す学習方法。

強化学習ではコンピューターが判断して実行した行動が望ましいものならば報酬を与え、望ましくないものならば罰を与えます。この賞罰によってコンピューターは正しい行動を徐々に学習していくのです。

最終的な目標の設定は必要ですが、目標に辿り着くまでの過程は細かく問いません。この考えはスポーツの試合に例えるとわかりやすいです。

例えばサッカーでは相手より多くの点を獲得するのが最終的な目標ですよね。この目標を達成するための過程として、守備を強化して相手にボールを奪われない戦術を選択しても良いですし、相手陣地に攻め入ってボールを奪う戦術を選択しても良いわけ。
このような具体的な戦術、行動はコンピューターに任せ、試行錯誤の中で正しい行動を見つけさせるのが強化学習です。

実際に強化学習を実装する際には「どのような行動に対して報酬(罰)を与えるか」、「報酬(罰)の大きさはどれくらいにするか」といった部分を調整してアルゴリズムを最適化します。

以下では強化学習を学ぶうえでおすすめの参考書、ならびに強化学習を行う際に必要となる数学やディープラーニング、Pythonプログラミングに関する参考書を紹介しましょう。

おすすめの強化学習の参考書その1: ゼロから作るDeep Learning

おすすめの強化学習の参考書その1: ゼロから作るDeep Learning

「ゼロから作るDeep Learning」はディープラーニングの定番の書籍。本格的なディープラーニング入門書で強化学習についても紹介されています。

この本の特徴的なところはディープラーニングの原理から詳細に説明されており、外部のライブラリを使わずにゼロから自分でプログラムを書いて学ぶことができる点です。

最近ではディープラーニングと強化学習を組み合わせた技術であるDeep-Q-Network(DQN)も頻繁に使われており、強化学習のみならずディープラーニング全般について学ぶことができるこの本は非常におすすめ。今は3巻まで出版されています。

なおこの本を用いる際はPython3の使い方、ならびにニューラルネットワークに関する基本的な知識が必要です。Python3やニューラルネットワークに詳しくない方に向けて、後ほどそれぞれの入門書についても紹介します。

ゼロから作るDeep Learning

ゼロから作るDeep Learning ❷

ゼロから作るDeep Learning ❸

おすすめの強化学習の参考書その2:直感 Deep Learning

直感 Deep Learning

「直感 Deep Learning 」は先程紹介した参考書とは異なり、原理を学ぶと言うよりはPythonのライブラリを使用して強化学習を含む様々なプログラムを作成、実装するための参考書です。Kerasと呼ばれるPythonの定番ライブラリを用いています。

この本では簡単なゲームを題材として強化学習プログラムを実装させています。また、プログラムの説明のみならず、強化学習の理論についても丁寧に書かれているのも特徴。

「まずは強化学習に触ってみたい」という人におすすめの参考書です。

なお、こちらの本もPython3並びにニューラルネットワークに関する知識を持っている読者を対象としています。

直感 Deep Learning

おすすめの強化学習の参考書その3:強化学習(森北出版)

おすすめの強化学習の参考書その3:強化学習(森北出版)

次にご紹介するのは「強化学習」。非常にシンプルなタイトルであるこの本は、強化学習を発展させた立役者のR.Suttonが自ら執筆した教科書の日本語版で、まさに強化学習の「教科書」とも言える一冊です。

強化学習の考え方に始まり、アルゴリズムで使用している数式の解説などを詳細に行っています。
この本は強化学習の理論をしっかりと理解したいという人におすすめの一冊。むしろ、強化学習を主軸としていく人はいずれ読まなければならない一冊かもしれません。

逆に理論は詳しく学ばなくてもよいので、まずはプログラムを組みたいという人は先に他の参考書を読み、理論の理解が必要になったときに読んでみる方がよいかもしれません。

強化学習(森北出版)

おすすめの強化学習の参考書その4: 最短コースでわかる ディープラーニングの数学

おすすめの強化学習の参考書その4: 最短コースでわかる ディープラーニングの数学

強化学習に限らず機械学習全般を学ぶときに多くの人が直面する壁、それは学習理論に使われている数学ですよね。一方で数学と向き合わなければ機械学習を深く理解し、AI(人工知能)開発を推し進めることはできません。

「最短コースでわかる ディープラーニングの数学」はタイトルにあるようにディープラーニングを初めとする機械学習で使われている数学を最短で理解するための参考書です。
大きな特徴は数式の説明が丁寧であること、そして数式と実際のプログラムをつなげていること。この本にはPythonのコードが付属しており、本の数式を用いた機械学習、予測がどのように行われるのか、プログラムを動かすことで実際に確認することができます。

高校数学のみならず大学で学ぶような線形代数学なども説明されているため、数学で躓いてしまった人、機械学習に関する数学理論を学んだことがない人におすすめの参考書です。

最短コースでわかる ディープラーニングの数学

おすすめの強化学習の参考書その5:ニューラルネットワーク自作入門

おすすめの強化学習の参考書その5:ニューラルネットワーク自作入門

前述の通り、現在は強化学習とディープラーニング、ニューラルネットワークを組み合わせた技術が頻繁に使われています。従って強化学習だけを学べば大丈夫、というわけではありません。

強化学習とセットで使われているニューラルネットワークを学ぶためにおすすめなのがこの参考書「ニューラルネットワーク自作入門」です。この本はニューラルネットワークの理論を数式から丁寧に解説しています。

そして本に付属しているPythonプログラムコードを用いることで学んだ内容をすぐに確認することができます。中学、高校数学の知識があれば読みすすめることが可能であり、数学が苦手な人にもおすすめの参考書。

ニューラルネットワーク自作入門

おすすめの強化学習の参考書その6:詳細! Python 3 入門ノート

おすすめの強化学習の参考書その6:詳細! Python 3 入門ノート

強化学習を始めとする機械学習の分野では標準的な言語としてPythonが使われています。実際に今まで紹介した参考書はいずれもPythonを用いています。従って機械学習に携わるのであればPythonは使えて損はない、というよりはむしろ必須のスキルとも言えるかもしれません。
「Python 3 入門ノート」はこれからPythonに触れていく入門者に向けた参考書です。

特徴としてサンプルコードが大量に付属しており、実際に動かしながら学べる点が挙げられます。機械学習に関するコードも付属しているため、まずPythonの基礎を学び、その後に機械学習プログラムを体験することもできます。

まずはPythonを使いこなせるようになりたいと思っている人、機械学習の理論よりも先にプログラムを書くことに慣れていきたい人におすすめの参考書です。

Python 3 入門ノート

 

まとめ

技術の進歩が非常に速い機械学習の分野のなかでも、強化学習は最近になって特に注目されている手法の一つです。

ニューラルネットワークやディープラーニングと強化学習を組み合わせることによって様々な分野にとって有用な技術となり、これからますます強化学習は使われていくことでしょう。

強化学習を学び、使いこなすためにはPythonなどのプログラミングに関するスキルや強化学習に関する理解を深める必要があるのはもちろんのこと、ニューラルネットワークやディープラーニングに関する知識も必要です。

強化学習に習熟した技術者の市場価値は今後ますます高まることが予想されるからこそ、ご自身のスキルや能力に合わせて本日紹介した参考書を基に、これから強化学習を学んでみましょう。

【お知らせ】

当メディア(AIZINE)を運営しているAI(人工知能)/DX(デジタルトランスフォーメーション)開発会社お多福ラボでは「福をふりまく」をミッションに、スピード、提案内容、価格、全てにおいて期待を上回り、徹底的な顧客志向で小規模から大規模ソリューションまで幅広く対応しています。

御社の悩みを強みに変える仕組みづくりのお手伝いを致しますので、ぜひご相談ください。

お多福ラボコーポレートサイトへのバナー

トップへ戻る
タイトルとURLをコピーしました