製造業関連情報総合ポータルサイト@engineer
WEB営業力強化支援サービスのご案内
研究・技術・事業開発のためのセミナー/書籍 サイエンス&テクノロジー
イベント

6/24【セミナー】深層強化学習の基本・最新アルゴリズムと応用

  • このエントリーをはてなブックマークに追加
  • @engineer記事クリップに登録
電気・電子・半導体・通信 ICT・情報処理  / 2019年05月19日 /  ロボット IT・情報通信 先端技術
イベント名 深層強化学習の基本・最新アルゴリズムと応用
開催期間 2019年06月24日(月)
10:30~16:30
会場名 東京・大田区蒲田 大田区産業プラザ(PiO) 6F D会議室
会場の住所 東京都
地図 https://www.science-t.com/hall/16430.html
お申し込み期限日 2019年06月21日(金)16時
お申し込み受付人数 30  名様
お申し込み

 

~「強化学習」「深層学習」「深層強化学習」の基本原理と応用、

そして最先端最適化技術へ~
~応用できる、実務に活かせる目線で、重要ポイントを理解・習得する講座~
~深層学習のさらに先にある、『深層強化学習手法』とは!?~

 
★ AI(人工知能)の応用、ビジネス展開を真剣に検討されている方にとってのマスト!「強化学習」を習得!
★ 現場での深層強化学習の応用ノウハウと経験を解説し、すぐ役立つスキルを持ち帰ることができます。

 

講師

 

電気通信大学 i-パワードエネルギーシステム研究センター&基盤理工学専攻 准教授 

曽我部 東馬 氏

兼任 (株)GRID 最高技術顧問

 

【経歴・研究内容・専門・ご活動など】
物理学の専門家で、東京大学物性研究所、国立分子研究所で学び、ドイツ マックス・プランク研究所、イギリス ケンブリッジで働いた後、2009年に一旦研究分野から離れ、(株)グリッドの共同設立者となり会社を立ち上げる。その後、東京大学 先端科学技術研究センターに研究の場所を移し、特任准教授として量子構造半導体デバイスの開発及びその理論計算、人工知能の研究を行う。2016年より電気通信大学の准教授および(株)GRIDの最高技術顧問を兼任。現在は、再生エネルギー最適化問題と人工知能のアルゴリズム開発、深層強化学習フレームワーク∞ReNomの開発に従事する。

 

 受講料(税込)

 

48,600円(本体45,000円+税3,600円)※資料・昼食付
キャンペーン!2名同時申込みで1名分無料(1名あたり定価半額の24,300円)

 

 趣旨

 

 2016年、世界トップのプロ囲碁棋士に見事に勝利したAlphaGoの出現により、日本を含め世界中でAIに対する期待が高まっています。また昨年、AlphaGoのシリーズにAlphaGo Zero とAlphaZeroが現れ、人間の経験を使用せずscratchから強くなるという典型的な強化学習手法が学術産業界から一層注目を集めています。
 AIの研究や将来のビジネスチャンスを踏まえたAIの応用を真剣に検討されている方々にとっては、深層学習の先にある「深層強化学習手法」の基本原理をしっかり理解することがマストといえるでしょう。しかし現状としては、深層強化学習手法をわかりやすく説明している資料はなかなか見当たりません。

 

 プログラム

 

<得られる知識・技術>
・強化学習の基本原理と要素技術の基本知識の習得
・深層学習の基本原理と要素技術の基本知識の習得
・深層強化学習の基本原理と応用に関する知見の習得
・最先端最適化技術の可能性と問題点についての知見を習得


<プログラム>
第1部 はじめに

 1.1 強化学習の基本概念
 1.2 強化学習・深層学習および深層強化学習の特徴と違い
 1.3 深層強化学習により可能となること
 1.4 強化学習における探索と利用のジレンマ
 1.5 多腕バンディット問題の解法をわかりやすく説明

   ・Epsilon-greedy
   ・最適初期値設定法
   ・UCB1
   ・Bayesian/Thompson 法の詳細
 1.6 簡易デモ(python):Gridworld(上記4種類解法の実行:直感的に理解する)

第2部 基本概念:マルコフ決定過程(MDP)の基本原理のポイント 
 2.1 マルコフ性とは
 2.2 平均という簡単な概念からMDPを学ぶ
 2.3 MDPの定義と式の導き方
 2.4 状態遷移確率と行動確率の違い
 2.5 価値関数V(s)と状態行動価値関数[Q(s,a)]の定義
 2.6 簡易演習デモ(python)1:Gridworld(式を理解するために)
 2.7 最適状態価値関数V_* (s)のポイント
 2.8 最適状態行動価値関数Q_* (s,a)のポイント
 2.9 簡易デモ(python)2:Gridworld(式を理解する)
 2.10 ディスカッション:最適性と近似性について


第3部 中核:強化学習におけるMDP問題の解法
 3.1 動的計画法の解説と入門
   ・最適な方策の探索手法をわかりやすく説明
    ・方策反復法による最適状態価値関数を求める
    ・価値反復法による最適状態価値関数を求める
   ・簡易デモ(python):Gridworld(4種類解法の実行と結果比較:概念を理解する)
 3.2 Monte-Carlo(MC)法をわかりやすく解説
   ・モデル法とモデルフリー法のちがい
   ・MC法による最適状態行動価値関数Q(s,a)の求め方とポイント
   ・簡易デモ(python):Gridworld(2種類MC法の実行と比較:概念を理解する)
 3.3 TD学習手法のポイントと入門
   ・SARSA法の説明と式の導きかた
   ・Q-学習法の説明と式の導きかた
   ・On-PolicyとOff-Policyを詳しく説明
   ・簡易デモ(python):Gridworld(3種類TD法の実行と比較:概念を理解する)

第4部 拡張:強化学習における関数近似手法とは(入門編)
 4.1 Tabular法(表形式手法)と近似解法のちがい
 4.2 回帰モデルと誤差関数をあらためて復習
 4.3 最急降下勾配法とMC法との関連性をわかりやすく説明
 4.4 疑似勾配(Semi-Gradient)とは
 4.5 簡単な線形回帰モデルに基いたMC法による状態価値関数V(s,θ)を求める
 4.6 簡単な非線形回帰モデルに基いたTD(0)法によるV(s,θ)を求める
 4.7 簡単な非線形回帰モデルに基いたSARSA法によるV(s,θ)を求める
 4.8 簡易デモ(python):Gridworld(回帰近似MDP解法の実行:直感的理解)


第5部 最前線:深層強化学習の基本概念と最重要ポイント
 5.1 簡易型ニューラルネットワークを応用したQ-学習手法の説明
 5.2 深層Q-学習(DQN)の基本ポイント
 5.3 連続動作空間における強化学習のポイント
 5.4 方策勾配法の基本と式の導き方
 5.5 ガウシアン型行動確率分布の導入
 5.6 方策勾配法による連続動作空間における強化学習の簡易説明
 5.7 深層Actor-Critic法の基本と実行のコツ
 5.8 確率方策勾配法と決定的方策勾配の比較
 5.9 決定的方策勾配DDPGの長所と短所について分析
 5.10 簡易実演デモ(python): Mountain car, Cartpole, Atariなど (概念の理解)


第6部 応用:強化学習と深層強化学習の応用事例
 6.1 蓄電池充放電制御における強化学習の応用事例
 6.2 混合整数計画問題における深層強化学習応用事例
 6.3 PID制御素子における強化学習の応用事例 


 □全体のまとめと質疑応答・名刺交換□

 

━━━━━━━━━━━━◆キャンペーンについて◆━━━━━━━━━━━━━━━━━━

≪お申し込み方法≫

 お申し込みページ一番上の連絡事項欄に「2名同時申込み」希望の旨と、

 2人目の受講者様の情報(お名前・メールアドレスは必須)をご入力ください。

 住所等が申込者様と同一の場合は、省略いただいて結構です。

・2名様ともS&T会員登録をしていただいた場合に限ります。詳細は別途ご連絡いたします。

・同一法人内(グループ会社でも可)による2名同時申込みのみ適用いたします。

・3名様以上でお申込みの場合、3人目以降は定価の半額で受講できます。

・受講券、請求書は、代表者にご郵送いたします。

・請求書および領収書は1名様ごとに発行可能です。ご希望の場合はお知らせください。

・他の割引は併用できません。

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

---------------------------------------------------------------------------------------

○お申し込み後、サイエンス&テクノロジーより確認のご連絡を差し上げます。

○受講料は銀行振込、または当日会場にて現金でお支払いください。

○お申込み後、ご都合が悪くなった場合は代理の方のご出席も可能です。

やむなくキャンセルされる場合は、下記のキャンセル規定で承ります。

◇キャンセル規定◇

開催日から逆算(営業日:土日・祝祭日等を除く)いたしまして、

・開催7日前以前でのキャンセル: キャンセル料はいただきません

・開催3~6日前でのキャンセル: 受講料の70%

・開催当日~2日前でのキャンセル・欠席: 受講料の100%

※受講料入金後での7日前以前のキャンセルについて、返金の手続きが発生した場合の振込手数料はお客様負担とさせていただきます。

---------------------------------------------------------------------------------------

※お申し込み詳細についてはQ&Aにも掲載しております。

  • HOME
  • イベント セミナー
  • 製品・技術 技術書籍
  • Q&A
  • 会社概要
  • お問い合わせ
サイト内検索
ページカテゴリ一覧
新着ページ
月別ページ