モラルや社会的な観点から，このような人種的性別的その他差別的な特徴抽出により，機械学習や統計推論が差別を助長してはならないと考えられる．ではどうやって防ぐのだろうか？　また学習機械が差別的になるとはどういう定式化がされるのだろうか？
教師あり学習を考える．$X$を特徴，$Y$を予測対象とする．また，$A$を人種などの避けたい特徴とする．$X\mapsto Y$なる予測機$\hat{Y}(X)$または$\hat{Y}(X,A)$を学習したい．データは実現値を小文字で書く慣例に従うと$(x_i,a_i,y_i{)}_{i=1}^n$として観測される，ここで$\hat{Y}(X)$は$A$の函数ではないが$A$を含みうるというブラインドネスの問題が生じる．予測精度は異なるグループにより差が生じる．
そこで$\hat{Y}\perp A|Y$を考えていかなる$A$の付加的な情報を考慮せず予測機を作る．このとき，リスク$R$が閾値$t$より大きいときに1っぽい何か$\mathbb{I}[R>t]$を使う（スライド中にノーテーションはなく，口頭で言っていたとしても聞き取れなかったTOEIC545点マン）．リスクがオッズに等しくせしめられる条件は$R\perp A|Y$と同値であり，試験しやすいものが得られる(??)．設定の抽象度から推測するに，おそらく一般理論の構築を行い，この理論により差別的特徴量$A$を避けた予測機を作成可能になるという研究と考えられる．

一方，そもそも機械学習がレイシストなわけではないような（発表でそう言っていたわけではない）．統計や学習による推論が差別を助長する可能性に警鐘を鳴らしていましたが，確かに人類は技術を常に良い方向に使えてきたわけではないとはいえ，殺傷事件の責任は包丁にはないと思います．日本より差別に厳しい欧米の価値観ならではなのでしょうか？（発表にもあったように，非常にセンシティブな話題であるので下手な感想は燃えそう）

知能の要素（？）に知覚(perception)と認知(cognition)がある．現在広く研究されているのは知覚であり，深層学習はそれに非常に強い．認知できるようになるには，一般に知覚できるようになるより長い時間を要し，今日も研究されている記号的な人工知能で重視されていたのが認知である．知覚はただ画像を見るという段階なのに対し，認知はその知覚した画像に意味付け･説明を行うということである．神経回路網は大変強力な知覚能力を持つが説明能力はない．現代ではまだ認知の問題は未解決である．確かに一部の分野について強い認知能力を持つ人工知能は存在する．エキスパートシステム，ディープサーチはその例であるが，認知可能な範囲は非常に狭い．例えば‘‘Deep Blue’’はチェスしかできない．
認知の問題の解決には常識または世界の知識(world knowledge)に基づく推論が必要だが，このような広範囲に対応した認知は実現できていない．ここまでについては，「みんながやってること」が統計や神経回路による知覚の研究であり，そうではないことがシンボリックな人工知能などによる認知の研究である．
さて，world knowledgeは共通のものであるが，実際の知能を持った人間は一人一人みんな異なる．人は知覚と認知だけで動くわけではない．現在の人工知能は，非常に狭い知識しか生かすことができない．IBMのWatsonなど，ある程度の広さを持つ知能も作られているが，まだまだである．
ここまで来て，そもそもAIは一発屋なのだろうかという疑問が浮かぶ．ある技術誌（？）によると，今の人工知能はほとんど神経回路網と統計的機械学習によるものであり，特に神経回路網は「ぼんやり」（抽象度が高いシステムということだろうか）しておりそれゆえに様々な分野で応用されているが，「ぼんやり」ゆえにニューラルネットワークだけでは本当の知能に至れない，という内容であった．そういうわけで今日の人工知能は一発屋とその記事は結論付けていた．プラグマティック，文法，統計では不十分な例を代名詞を使ってみてみよう．
Tim was mad at Joe because he was stolen his lunch.
これは5歳以上の人間であればheやhisはTimのことであることは自明である．しかし，人工知能においては非自明である．統計的な人工知能においては，従属節のheやhisはJoeを指していても等価になってしまうのである．そして文法的にもheやhisがJoeを指すことに問題はない．文法というルールやテキストデータによる統計処理では認知に限界が生じる．この問題はコンテクストを理解できる知能が実現できなくては解決できない．
コンテクストといえば自動運転においても重要である．高速道路においては，他の自動車との相対速度を考えればおおよそ問題ないだろう．しかし，例えばここ東京などの市街地ではそうはいかない．
街中に存在するサッカーボールそのものを知覚することは問題ない．しかし，そのような状況でのサッカーボールは，回収しに車道に飛び出る子どもが突然現れる可能性を持つ．常識がなければこの認知には至ることはできない．仮令Googleが自動運転車にどんなに詳細な街の地図を学習させ知覚させたとしても，文脈を理解できないがゆえに上記のサッカーボールの問題を解決できない．このように，機械学習はエッジケースに大変脆弱である．エッジデータはエッジの多様性がありまたサンプルサイズも稼ぎにくいためである．
もちろん，近くにいる子どもを知覚しただけで車を完全に止めるようなことも人間はしない．上記のサッカーボールや近くに子どもがいる状況に対しては適度な徐行を行うだろう．人工知能が持つべきは，解く問題の知識だけでなく常識的で社会的な世界の知識(world knowledge)である．文脈理解が今後の人工知能研究において重要である．
話題を変えて，ヒトと人工知能の協調：協調知能(cooperative intelligence)を考える．人工知能というものは様々な情報から取捨選択を行うことを得意とする．一方で人間は，情報を捨てずにすべてをタスクに組み込むことを得意とする．
ここにあるボードゲームの例がある．1兆ドル使って海軍を構築し，他のプレイヤーの海軍を撃破するというボードゲームだが，そのルールブックは大変分厚い．ある研究者（発表では名前が出ていたが失念）はゲームが大好きで，他の研究者が帰った夜中に研究所の大型計算機を使ってルールブックをコーディングし，必勝法を探索させた．計算機は何らかの手を研究者に教えてくれ，研究者はさらに探索を続けた．あるとき，この研究者はゲームの大会に出場した．計算機が探し出した答えは人間には想定外のかつ強力な手であり，ライバルの艦隊は次々と撤退，研究者は優勝した．以降連覇を続けるが，この方法に参加者とゲーム作者は怒り，大幅なルール改訂を行う．しかしその改訂したルールさえもコーディングし，手をサーチし再び優勝した．主催者は研究者を殿堂入りさせたうえで出禁とした．
人工知能の真面目な応用先として法と医学も挙げられるが，これらにおいては物語の説明が非常に重要視される．法律は数値では作られず，物語から作られるものであり，診断もそれに至る物語が構築できることが重要である．現在の人工知能は人間にとって代わるには特に法と医学ではあまりにも説明能力が小さすぎる．ゲームの例のように，人間に何かを教えてくれる使い方が考えられるが，物語の構築はまだである．
最後にアドバイスに戻る．現在のほとんどの科学研究はインクリメントなもの，すなわち最先端のものに若干の改善を加えながら前に進んでいくというものである．しかし，クーン氏によれば，すばらしい科学研究とはパラダイムシフトである．それはかっこつけた言い方をしているだけではない．パラダイムシフトの例としては，ニュートンの万有引力の発見から生まれた古典力学がアインシュタインにより相対論にシフト，あるいは量子力学にシフトするというものである．生物では，見かけによる分類学から進化論にシフトし，さらにゲノミクスに今日ではシフトしている．人工知能もある種のシフトを続けている．まずAIというものが考えられたことがパラダイムシフトであり，そして古典的なロジックベースのAIが考え出され，次に神経回路網にシフトする．更に統計的学習にシフトしたものが今日であり，またかつてのニューラルネットワークを多層にした今日の深層学習も神経回路網からの微小パラダイムシフトと言えるだろう．AI研究者へのアドバイスは，「深層学習のインクリメントをするのではなく，深層学習の次のパラダイムをみつけよう」である．そしてパラダイムシフトを起こすために大切なのは実験，そして失敗を恐れないことである．なぜなら，実験の失敗はパラダイムシフトを探す中の試行錯誤だからである．失敗が発見に至るまでの試行錯誤というのは実験科学では常識である．なので，「失敗を恐れずに実験しよう」というアドバイスもする．

その結果，バイアスはサンプルサイズに従い指数関数のオーダー；詳細な項がないため厳密には異なるがおよそ$o_p(e^{-n})$で$0$に確率収束する．理論的にはオーダーで評価される確率変数であるが，実際的な状況ではバイアスは無視できるほど小さいということになる．
加えて，この手法はコンシステントである（自由エネルギーによるモデル選択のコンシステントと同じ意味だとしたら，モデルが真の分布を実現可能であればサンプルサイズが無限($n\to \infty$)の極限において必ず真の分布を当てられることを意味する！）ことが証明された．
更に他のリスク推測機を用いる場合（？）よりもリスクを小さくできる．よくあるほげほげを最小にするぴよぴよのぴよぴよである．任意のぽよぽよを下から抑えるぴよぴよというステートメント（最小の$\sigma$加法族という表現に慣れている人は，そのイメージ）．こうして作った分類機械はロバストに過適合を起こしにくくなる．

スチューデントt分布は指数型分布ではないが，

$${\exp }_t(x)=\{\begin{array}{ll}\exp (x)& t=1\\ (1+(1-t)x{)}^{\frac{1}{1-t}}& otherwise\end{array}$$

という疑似的な指数分布を考えると記述できる．これをt指数型分布という．スチューデントのt分布はt指数型分布であり，t指数型分布の取り扱いができれば本題は解決する．しかし，${\exp }_t$は指数法則

$${\exp }_t(x+y)={\exp }_t(x){\exp }_t(y)$$

が成立しないため，指数型分布に帰着できたわけではない．

t指数関数は疑似的な指数法則は成立する．すなわち

$${\exp }_t(x+y+(1-t)xy)={\exp }_t(x){\exp }_t(y)$$

が成立する．この左辺の引数部分を$x$と$y$の疑似的な和として考えると，それを構造に持つ$q$代数を考えることでガウス近似することなく議論することができた．すなわち，スチューデントt分布を代わりに扱うアルゴリズムを導出できた．提案手法で数値実験を行うと確かに外れ値鋭敏性を解消できていた．

しかしナイーブなRNNは勾配が焼失したり長距離の依存関係をとらえられない弱点を持つ．そこでLSTMである．「ちょっと賢い」RNNであり，これが自然言語処理で用いられる．代表的な例は言語モデルすなわち単語が与えられたときに次の単語を予測するというものである．長雨でホウレンソウがXXXXというときのXXXX（答えは不作など）をあてるタスクである．また，LSTMを順逆双方向に流すことで左右両方向から品詞タグ付けを行うBiLSTMという手法もある．専門用語など固有な表現の認識やチャンキングは系列タグ付けに帰着される．
ここまで依存構造のないフラットなものを考えていたが，構文解析などでは係り受け構造とも呼ばれる単語間の関係を考察しなくてはならない．このとき単語間の関係性をグラフで表現する．代表的な依存解析はShift-Reduceである．解析前の単語列を格納したバッファ，解析後の依存構造を格納するスタックを用意し，シフトでバッファからスタックへ送る操作や，左右方向の削減により解析する．これをLSTMで実装する研究がされてきた．また，句の再帰的なまとまりにより構造を解析する見方もある．異なる視点に見えて実は系列タグ付けに帰着され，シフトと削減で戦える．多くのタスクを一連のものとしてまとめて行うマルチタスクを処理する手法もある．

ではこのような自然言語処理byNNが何に応用されるか．ニューラル機械翻訳が代表的である．翻訳元の各単語の隠れ状態の加重平均を考えることで，翻訳先の単語を選択する際に分のどこに注目するかを考えると従来の統計ベースのものに比べ高精度な翻訳が可能になった．専門用語を含んでいても，端的に言ってRNNを二つつなげただけの構造（エンコーダデコーダ構造）でかなり正確な訳が得られる．
応用は翻訳に限らない．電子メールの返事の自動生成もできる．
NNの代表的なバリアントとしてRNNのほかにCNNがあげられる．主に画像分野で使われることが多く，局所的な結合とその結合されたユニットではパラメータを共通にするという設計である．さて，動画像を説明したところだがそこで自然言語処理のRNNをCNNにつなげることで実現できる．CNNはテキスト解析にも使われる．テキストの単語のつながり方を「ソフト」に分析できるのがCNNである．
より難しい応用に，質問応答の生成がある．Wikipediaをデータセットにして，例えば「どうして雨が降るの？」と質問すると「重力により水分が云々」という答えをくれる．文章と質問の単語を互いの類似度で重みづけをして実現する．さらに推論を要する質問応答も研究されている．推論ということは答えを導出するわけだが，それに必要な文を順次推定する．
要約も文章2文章で機械翻訳のような流れであるが，要約問題ではポインターネットワークを使う．何をもって要約できたかというのは議論を要するが，何もできない時代ではなくなった．ポインターネットワークの応用として，自然言語によるメタプログラミングも行われることがある．自然言語処理の観点でプログラム生成となると，自然言語で書かれたものをプログラム言語で書き直すということ．OCGの効果を実装などが成功している．もちろん完全ではないため修正が必要なコードを返すこともある．プログラミングを行うことに類似し，データベースを作成するというSeq2SQLというものもある．これは教師あり学習と強化学習を組み合わせる．

ニューラルネットワークの弱点に大量のデータを集めるという必要性がある．アカデミアは企業に比べてサンプルサイズを大きくしにくいためである．それならばデータを作るという方法でデータを用意することで解決する．

今日，強化学習に基づく理論的なフレームワークが確立されている．論文レベルではなく教科書レベルの知識になりつつある．中野らの『対話システム』など．もう研究課題は存在しないのだろうか？

現在の研究はラボ環境である．現実世界の問題というより，実務的な現場でどのように動かせばよいかという問題がまだ残っている．これまではラボ環境での研究が多かったが，ラボの外でサービスを作るためのタスク処理は注目されていなかった．また，サービスとしてリリースすると大量の顧客が生じそこにインタラクションが生まれる．闇でもあり面白さでもある．

従来の対話システムはドメインが限定的であった．例えばある都市だけのバス時刻案内や，観光のみの案内などである．しかし最近の対話システムは多数のドメインをサポートする方向にある．Yahooでは天気予報からショッピングまで．迅速にドメインを作成するために，異なるドメインの類似性（天気予報とニュースなど）に注目して新ドメインに適応する研究が行われている．しかしこれまでのドメイン適応は再学習が必要である．現実的には，対話システムにはドメインがしばしば追加される．学習時間は従来はドメインの数に応じて指数関数であった．Yahooによる本研究の提案手法ではBiLSTMを組み合わせることにより，ほぼ定数のようなオーダーに抑え込むことに成功した．

ここまでタスク処理の対話システム（MSでいうとコルタナ）を考えてきたが，単純に会話を楽しむ雑談のものもある（MSでいうとりんなちゃん）．ユーザーは気持ち的に，タスク処理のシステムにも雑談を求めたくなるので，ディスジョイントに扱うことは現実的でない．雑談を意図したユーザの発話を認識できるかという課題がある．8時のアラーム設定タスクを処理した直後に，仕事しんどいという愚痴を聞かされて対応できるかという問題である．これはユーザの発話の分類問題として定式化される．ただ分類するのではなく，外気温や検索ログなどほかの知識も利用することで分類を手助けする．提案手法ではGRU言語モデルを学習し，対数尤度を特徴量にした．

テキスト解釈・トピック分類と異なり，対話はユーザ個人の好みに依存して客観的な答えは定義することが困難である．客観的に見れる部分問題の議論や設計者の天下りによる正解の定義はユーザを喜ばせられるかが非自明．
そこで発話だけでないクリック数などの特徴量をとることにより，ユーザは満足して使っているかどうか認識しようとする手法を提案．タスク処理に土江は満足して使える状況というのは人間が機械に合わせることなく一問一答に答えてくれるようなスイスイ対話が進む状況であうからである．

冒頭で大勢のユーザとの関わりを述べた．大勢のユーザからデータが得られるため，さらに自発的な学習を行うことが現実的になりつつある．例えば，「アラーム」「アラームの検索結果です」「アラーム設定して」といったユーザの修正発話を集めると，「アラーム」だけで設定にシフトしてくれるように学習できる．修正したという事実が半教師になるほか，もろもろの特徴量を設定する方法を提案し，SVMによる10holdCVで検証，成功した．

ニューラル翻訳の弱点は，ビームサーチによるスコア付けが重たい計算でありさらにシーケンスの末尾文字までで打ち切るという操作をしないと終わらない．この<EOS>をいれることで，入出力の対応が一致しなくなることがある．<EOS>が出力されたら完了としてしまうので入力を逐次訳す統計翻訳と異なり欠損を生じうる．しかしこの柔軟性ゆえ，めちゃくちゃな英語でもニュアンスをくみとれる場合がある．
You can not a IC card.とかいう意味不明な文を「ICカードは使えません」とできるのが特徴的．

ただやはりこのぼんやりさはフレーズベースと異なり説明能力がなくなってしまう．また，ほかの課題として訳ぬけと重複，語彙サイズの問題がある．語彙範囲外は<unk>(nown)という記号で置き換える．語彙サイズについては単語の部分sub wordを考えることで語彙数のわりに高精度を出せている．しかしsub wordはしばしば悪さを行い，知らない単語を細かく分けすぎた結果訳が崩壊してしまう．統計翻訳では未知語はそのままにしてくれていたのに……どうして……うぅ……．

重複や抜けはどの単語が翻訳されたかアテンションをあてて解決しようとしているが五分五分レベルである．アテンションなしのものを考えていくと，実は隠れ層が入出力をつかさどっていることが分かった．

一方で，記号置き換えの統計翻訳と異なりただのベクトルになっているため多言語対応が容易．ほかの言語のコーパスを介することで未知言語も対応しやすい．多言語対応というのは，訳す方向を指定すると，すべての言語対の大役こーおあすを同時に使うだけで，いろんな言語が混ざっていても大丈夫という事態である．
また，統計翻訳よりデータ自体は大変軽いのもニューラル翻訳の特徴である．巨大な行列だけあればよいニューラル翻訳と，フレーズテーブルと言語モデルの膨大なデータを要する統計翻訳である．計算時間はニューラルのが重いけど．これをさらに軽くして言ったらギャラクシー6ですら動いた．さきほどの発表でCNNも有用としていたが，翻訳についてもCNNにより軽量化を図る研究が顔本によりされている．さらにGoogleはフィードフォワードだけでRNNもCNNもなく計算できてしまう論文を書いていた．先日の招待講演で挙げられていた代名詞の問題がほぼ解決している（NNはダメというのはなんだったのか）．しかも実装がどんどん易しくなっているようだ．

10億点からなる高精度な3次元地図を用意．それを認識するときには地図の大きさが問題になるが，点数にのみ依存する(広さに依存しない）アルゴリズムも考案した．

運転支援の例として，熟練から高齢ドライバの運転データの収集を2000km以上にわたり行う．また，画像認識で人型を認識し，徐行及び回避運動を行う．このように，運転支援はいろいろできるが自動運転というには限定的であった．
現在，信号処理の研究室と結託して自動運転を考えている．運転中は様々な信号があるため信号処理による系列データ処理を応用したい．
また，CNNの利用も行っている．ロボット出身としては大量にデータがあれば走れるかというのは疑問．ただ大量の運転データがあればいいわけではなく，制御してる時のつまり出力のズレを入力により消しているときのデータが必要である．

航路計画の構築に画像認識．しかし視野が制限されることもある．視野制限化では状態変数として観測状態を追加すると，よくある「右見て左見て」を行うようになった．計算時間はネックだが，準最適解で動くならそれでいいので最適解のために時間をかけなくていい．動作計画には評価値を最小にする組み合わせを求める問題で難しい．Deepは入出力の対応なので単純であり，計算時間を落とすために深層学習は使える．

ある種の最適化問題を解いてきたロボティクスにより，ある程度の自立移動を実現できてきた．これらは学習により置き換えられる．複雑な場合は学習による制御がロボティクスを超えることも近いか？
置き換えの際は学習のためにどのようなデータが必要であるかを両側面から考えることが重要．

収束性の議論は学習理論（？）などで学習に置き換えた後に考える．

間接角度はまだしもトルクが絡むと問題は非常に難しくなり，またこれからのロボットは環境のモデル化により速さと生産性を得ていた工場ロボットよりも個人レベルの少数多種になり，それぞれも布など複雑な物理系を持つようになる．モデルベースの限界が見えてくる状況であり，認識ステージに機械学習を用いる研究が始まり，画像や音声認識について解決可能な問題が増えた．

従来は身体と知能を分けたロボットであったが，これからは不可分と考える．身体性人工知能(Embodied AI)である．ルンバがその原典．当初は環境はノイズを生むだけの邪魔ものであったが，環境を組み合わせた手法が現代的．ルンバはセンサーとモーターを簡潔に組み合わせたが，あれだけ複雑に部屋を動くことができる．

確かに学習により複雑な問題でも解決可能なものが増えた．しかし課題もある．ロボットは修理すると電流値など変わるので実機に学習させまくるのは故障の恐れからできない（堂々巡り）．一方でシミュレーションでは結局実機で再学習を要する．汎化性能をあげても全く未知な状況には適応する能力が低く，再学習していては即時対応が困難．この問題をどうするか？

試行回数を減らすために，シミュレーションと実機を交互に学習することを提案した．ただし学習回数そのものは多い．そこで強化学習だけでなく教師あり学習を組み合わせることで，試行回数を減らすことができた．教師ありで組み立てるには教師を用意することが困難だが，強化学習のような膨大な学習回数を減らせる．また，人間が一部教師として介入するため，強化学習的なヘンテコな動きはしないようにできる（強化学習では避けられなかった，中指を立ててボールを掴んだりするのを避けられる)．
ではその組み合わせるシミュレーションと実験との差異はどうするか．物理エンジン（？）を精密に作る．まだ課題は多い．
道の状況への即時対応能力については，異なる方策を保存しておき身体モデルを変更することで対応する．

ソフトウェアとハードウェアは不可分である．

語彙の獲得では語彙が必要．ごーる，ぼーる，ぼーうは音声認識で区別するのは難しく，さらに仮に音声の問題を乗り越えても「これはボールだよ」を正しく構文解析できるとは限らない．語彙がないため仕切りが不明なのである．

提案モデルでは，概念形成と同時に語彙・言語モデルを獲得させることができる．物体カテゴリと言語モデルを結び付けたモデルを作る．
音声認識「これわぬいぐるみだよ」を行うと，聞き取ったこれを単語区切りをする．ぬいぐるみという単語とぬいぐるみの物体を結び付けて音声．物体．単語の概念形成とぬいぐるみという語彙を同時に所得する．
学習初期は語彙が足りないためご認識が多く，従来に負けるものの時間をかけると従来より高精度である．
初期：「あｈすｆｓｇｈｓどｚｆのえ」
20時間後：「これはぬいえるみ」（「これは」も単語として意識してしまう）
ここで「ぬいぐるみ」という教師を与えて再学習すると「ぬいうるみ」というように「これは」を除去できる．
最終的には正確になるにはなるが，例えばパソコンとキーボードの区別がつかないなどは生じる．

物体以外も概念を持つ．人の行動シーンから物体や人だけでなく場所や動き概念を形成する．さらに概念クラスに順序規則を考え，それを文法として学習する．提案手法では複数概念モデル(mMLDA)と文法モデル(HSMM)を用いて文法と概念を相互に学習．この獲得した概念と文法からシーンを説明させる．提案手法では文法も意味も正しいものが7割近く生成できていた．これは相互学習しない手法の16%よりずっと大きく，相互学習なしでは文法とお意味の片方しか正確にできなかった，

動作データを統計的に分節することはこれまで考えられていなかった．
人による手動が多かった．モーションキャプチャデータを分節することでより正確に観測できるようになった（？）

ここまで紹介してきたモデルは，基礎的なモデルの結合によって構築している．統計モデルの統合による大規模なモデルの構築で汎用AIを目指す．

変換の対象となる特徴とはなにか．hand-crafedに取り出した人為的ヒューリスティックな特徴である．一方，学習的特徴量として画像学習済みのCNNで取り出すものがあげられる．

特徴変換は非線形がちであり，距離尺度を変更する操作である．主にヒストグラム特徴に対する手法が提案されてきた．ここでは特徴の物理的構造・特徴量のテンソル構造に注目する．尺度はSSIM．
画像特徴量のテンソル構造は，2次元データと1次元特徴量という3次元アレイ・3階テンソルである．従来はテンソルではなくベクトルとして扱っていた（MATLABの$A(:)$かな）．提案手法ではテンソルのまま扱う．
テンソルの各軸にそった特徴即を一つの単位として，そこでの距離尺度を考えることで自然に扱える．上述したSSIM(Structual Similarity Index Measure)は，画像品質評価（劣化の度合いなど）を定量的に指標として用いる．ヒトが見ても「ノイズのってる」「きたない」「くさそう」といった定性的主観的なことしかわからないがそれを定量化する尺度である．
明るさM，コントラストV，パターンCの積で定義される．パターンは相関係数そのもので，明るさとコントラストはそれぞれ平均値と標準偏差の類似度である．類似度は

$$k(a,b)=\frac{2ab}{a^2+b^2}$$

を用いる．ロバスト性を考慮すると，SSIMは積より和が望ましいので和に変えて扱う．る字度Sをexplicit mapの内積へ展開する：

$$S(x,y)=w_{M}M(x,y)+w_{V}V(x,y)+w_{C}C(x,y)=\varphi (x{)}^T\varphi (x)$$

カーネル法の発想を応用している．この写像をどう作るか？
まずM,V,Cについてのexplicit mapを用意しその直和で$\varphi$を作る．
Cは相関係数なので自明だが，M,Vで工夫が必要でこの研究の数理的キモの一つ（詳細は略された）．数値計算は早くかつ強い性能を出した．

上では人為的特徴量の変換を行っていたが，CNNで得られるものは「よくわからない」特徴なので，テンソルという構造に注目するなど対象の特徴量の特性に沿って距離尺度＝非線形カーネル函数を作っていた方法は使いにくい．なので距離尺度も学習で作ってしまう．汎用性と弁別性を高くしながら学習で作りたい．

出発地点は加法的カーネル表現である．函数を1から学習するのはつらいので，フーリエ展開的に基底函数を導入し，基底の線型和で学習．係数行列を学習するといえる．

$$k^{\ast }(x,y)=\sum _{i=1}^{D}f(x_i{)}^{Y}W{W}^{T}f(y_i)=tr(F(x{)}^{T}W{W}^{T}F(y))$$

としてカーネル函数$k^{\ast }$をかける．ここでFは基底である．

しかしこれだけではデータに特化してしまう．学習タスクごとに解が異なるが，それらの”共通部分”を合成により得ることを考える．タスクは20種類用意した．この”共通部分”が特徴の本質表現になると考えられる．
共通表現はSVDで抽出した．

$$[V_i]=W^{\ast }[A_i^T]$$

にて左辺が識別機たちで右辺が”共通の”係数行列$W^{\ast }$とベースである．右辺にSVDを用いてパターン発見．ベースはフーリエ基底．
C3D,Alex,VGGの3種のCNNをそれぞれ適用し，ビデオや画像の認識をタスクとして与え，本質表現を上の方法で学習させた．個別正規化と比較してほぼどのCNNでも向上している．また，いずれのCNNモデルでも似通った形状のななめらかな函数が学習で得られた．この学習されたカーネル函数はCNNの構造を意味していると考えられ，VGGを基準にするとタスクが似ているC3Dとは極大化元の位置が異なり形状は似ている，データのモダリティが似ているAlexは形状がやや異なり，極大化の場所は似ている．

上のCNNの距離尺度はコネクションのなかにいれてエンドtoエンドに混ぜてしまえばいいのでは？　というのはDNNがそれを埋め込まれたとして一緒に学習できるかは不明．また，データを変えてもこの方法なら簡単に距離尺度を再学習できるメリットもある．

コンピュータヴィジョンの観点からいうと，カメラベースの視線推定が考えられる．従来手法では実現できないアプリケーションとしてHRIや一人称視点映像解析や公衆空間での注意推定ができるようになる．従来のものは目の画像から眼球の向きを推知する方法であった．この画像ベース自体も学習でできるが，個人ごとに学習する必要があった．

人物に依存しない学習はできるだろうか？　複数のカメラから目元画像を撮影したものをデータセットにして工夫すると，個別に学習したものにはかなわないものの個人ごとに用意しなくていいことを考えれば悪くないパフォーマンスが出せていた．ズレは平均6.5°．学習はCNN．

実応用ではラボ環境より難しい状況で視点推定しないといけない．協力者に普段使いのラップトップに目の撮影アプリをいれてもらい，様々な照明の下でのデータを用意した．ラボ環境のデータセットとこれを比較すると，データセットの違いによる性能の違いが顕著である．問題が難しいため性能はズレ１３度ほどと大きくなってしまいはしたが．これは照明条件の変化が重要な要素であった．

リアルな眼球モデルをプロの撮影画像に当てはめて，様々な照明条件のデータを得た．実験結果は，むしろ視線方向がどれだけとりうるかが支配的だった．性能を上げたければ視線方向の範囲を狭めると問題が簡単になりうる．また，目は簡単な画像に見えるがより深いNNを使うことで高々９度のズレで抑えることができるようになった．

顔画像全体から空間的な重みを生かして学習すると，従来の片目ずつ使う方法に比べて平均誤差4.8度という高性能を実現．しかしCNNによることもあり，何が起きているか理解できない．

この手のHCI応用研究はラボと外の世界でかなり性能が異なってしまう．domainによる違いも顕著．アルゴリズムの問題より学習データをユーザから得るシステム設計の問題のほうが重要であると推測される．パブリックなとこにディスプレイを置いて視線推定で遊びに来た通りすがりの人からさらにデータを得るなど．

モデルの課題として着色問題がある．着色問題は白黒という低次元からカラフルという高次元への写像なため難しい．教師データの作成は簡単だが，画像全体としての情報と，局所的な情報の両方が必要になる．セグメンテーションと認識だけでなく，シーンそのものの認識も必要である．例えば室内と認識できなければ天井は真っ青な空になるかもしれない．そもそもその画像に何があるかを認識できなければどこが空・天井化もわからないからである．大域特徴と局所特徴（fully CNN）を同時に学習することで解決．モデル構造は大域と局所それぞれのDNNをマージして輝度マップを行っている．また，近年ユーザの入力付きの着色という編集ソフトとして使える対話的着色の研究もされている．これは入力された白黒画像にユーザが塗りたい色の指定を大まかに行うとその通り出力を調整できるということ．現状では画像の巨炊データはともかく，ユーザの入力の学習はかなり単純な状況．

学習方法としては画像補完．不要物体の除去や遮蔽領域の生成であり，平野から牛くんを除去して牛くんの後ろもちゃんと平野にするというようなもの．しかし大域的な構造を考慮できないため，空中庭園ができたり，また元の画像にないものは生成できないため人の顔を欠損させるとお化けになる．
普通のCNNではぼやけた画像しか生成できない．そこでGANによる敵対学習で生成器と識別器を戦わせて生成結果を更新する．生成側は識別をだまし，識別側は識別し続けるという仕組み．顔の補完もできる．

イラスト関連ということもありデータセットの少ない例としてラフスケッチを自動で線画にする研究がある．数が足りないうえに，この問題では教師データも困難である．ラフスケッチと線画はズレがちだからである．着色のように逆方向データ生成できないか？　できるけど少ない……そりゃあ線画をラフに戻す作業は人間がやるので．しょうがないのでトーン調整破れ，スケーリングや回転で増やす．ただ現実にはイラストデータだけはたっくさんあるので，ラフスケッチと線画が足りない．教師なしするしか……そこでまたGANを使う．ロス函数はMSEなので上で述べたようにぼやけるがやはり上で見たようにGANを使うとはっきりする．

日本的上司さん（企業も大学も）「辛いことは人間力構想力こみゅ力で乗り越えろ」
学習理論くん「アウトプットに学問はｲﾗﾅｲ」
この学習理論くん，何度も挫折をし絶望の淵に立ちながらもそこからよみがえりかつ前より強くなってきた．角刈りサラリーマンカットにネクタイをしめたスーツ姿の学習理論くん……．

人間力・構想力・こみゅ力で努力すればするほど「見かけの達成度」は大きくなる．しかし本当の達成度はどこからか落ちていく……．過剰学習と同じ．
数理科学は見えない本当のものを見かけから見るものである．過剰な人間力が抑圧しているのではないだろうか．日本製の「AI」は数理科学の割合が小さいゾ？　人間力は必要だが過剰すぎて理解が阻害されていないだろうか？？
$\to$閉塞の解消に数理科学が必要.

学習の枠組み．trueからデータが発生し，そこから事後分布・尤度を計算して得られる予測分布がtrueになっていくのでは？　というもの．なっていかない度合が汎化誤差．
従来から次が知られていた．サンプルサイズ$n$，パラメータ数$d$とするとき汎化誤差$G$の平均値の挙動は

$$\mathbb{E}[G]=\frac{d}{2n}+o\left(\frac{1}{n}\right)$$

である．ただし真の分布は確率モデルで実現可能かつ事後分布や尤度がガウシアンで近似できる(正則である）ものとする．

ただの正規分布と混合数２の混合正規分布を比べてみよう．前者は正則，後者は階層構造により非正則．ただの正規部布場合，データを出すたびに事後分布のピークの位置は変わるが形状は正規分布．しかし混合正規分布ではうまくいかない．

それはデータが足りないからだ！　と統計学者はいう．しかしパラメータ2個で$n=3000$でも（現実的にはめちゃ多い）正規分布近似できない．
人間力「データが多ければ尤度はガウシアン近似できる．根性だ」
人間力が理解を阻害した．

モデルの複雑さは$n$が大きくなるほど複雑になる．そして任意の自然数より大きな場所では正規分布近似できるが，$n$を固定してみれば非正則なのは自然．
サンプルサイズ$n$，パラメータ数$d$とするとき汎化誤差$G$の平均値の挙動は

$$\mathbb{E}[G]=\frac{\lambda }{n}+o\left(\frac{1}{n}\right)$$

である．ただし真の分布は確率モデルで実現可能とする．
この係数$\lambda$は実対数閾値と呼ばれる数学的（代数幾何学的）な量．
モデル依存で山崎青柳など様々な人が各々のモデル（混合分布，縮小ランク回帰など）で研究している．

モデル選択について．人間力「現実をみてがんばって統計モデリングしろ」
どんなモデルを選ぶか，どんなモデルがどれだけ間違っているかを数学的に得られる方法が赤池先生の衝撃的な成果．AICである．

次元の呪いとの闘いが機械学習ではあった．そして1993年に階層構造により解決できると発表された．しかし，階層構造を持つとAICは使えない．
そこで生み出されたのがWAIC．汎化損失を経験損失と事後揺らぎで平均的にかくことができる．これは揺動散逸定理と等価．この自然科学の定理と等価になるのは実は必然（後述）．

データ科学と機械学習の違い．これは双対構造である．データ科学はデータを説明する．機械学習はデータを予測する函数を作る．データと予測器それぞれが互いに函数・引数になるという双対構造．どちらも大切なものであり，数学的には「等価」．実務で両方必要となる．お互いに相手に「こうあってほしい」という気持ちがあるが，数学的に等価であるもののそれぞれ異なる姿も持って発展してほしい．

機械学習と人間の関係．学習だけでなく人間も変わっていかなくてはならない．数学も物理も学習理論も宇宙人も持っているだろう．しかし神経回路網はどうだろうか．全く異なるとても強力な方法を持っているかも？

自然と情報科学．様々な場所で数理により密接なかかわりが示唆されてきたが，実は似ているどころか同じである．学習理論くんが従う法則も自然科学と無矛盾であるはず.情報エントロピーと自然のエントロピーの等しさなど（マクスウェルの悪魔も参照）．量子コンピュータがあれば量子深層学習である．
学習理論は何処へ？　学習理論は自然へ帰るのかもしれない．