プレゼン第5回機械学習

本日は私n_haretsuの話す番ということで、機械学習の話をしました。(w/ sasaki_hm, Y)

内容は以下のとおりです。

1.今日の話の位置づけ

　　・教師あり学習　←今回はコレ

　　・教師なし学習

2.線形回帰モデル

　　・最小二乗法

　　・モデルの種類

　　　　・線形多項式モデル

　　　　・RBFモデル

　　・オーバーフィッティング(過学習)の対策法

　　　　・リッジ回帰

　　　　・LASSO(ラスー)

3.モデルの決め方

　　・クロスバリデーション(交差検定)

　　・情報量基準AIC,BIC ←今回ふれず

4.ベイズ線形回帰モデル

　　・尤度(ゆうど)

　　・リッジ回帰との関係

今回は内容が内容なので議論がおきる余地はあまりなく、私が知っていることをダーっと話してそれに対して出た質問に答えるという感じでした。随所随所で、これから話そうとすることを先まわりしたような質問(まるでサクラ質問のような)がバンバン出て非常に話しやすかったです。

以下やりとり：

(Y)

線形回帰モデルの形というか、基底関数をいくつ組み合わせるかとかは人がエイヤで決めるの？

(n_haretsu)

それは一応決める方法があって、後で話そうと思ってたんだけど、クロスバリデーションとかが使える。クロスバリデーションというのはうんたらかんたらetc...

(Y)

最小二乗誤差の和が小さくなるように線形回帰モデルの各項にかかってるパラメータ群αを調節してモデルを決めるという話だけど、αって何通りもありそうな気がするけど、一意に決められるの？

(n_haretsu)

決められるんですそれが。なぜかというと、最少二乗誤差の和はパラメータαについての２次式で表せて、２次方程式を最小にするのと同じ問題になるから。

(sasaki_hm)

リッジ回帰とLASSOってどっちがいいとかあるの？

(n_haretsu)

やっぱりそこは一長一短やね。例えばリッジ回帰は解析的に解けるけど、LASSOは数値的にしか解けないとか...

(sasaki_hm)

解析的ってどういう意味だっけ？

(n_haretsu)

「解析的」というのは方程式を変形させて一意に解がきまるということで、「数値的」にというのは、ニュートン法みたいに計算を繰り返して最適値に収束させていくやり方のこと。とはいってもLASSOも解き方によっては早く解けるらしいけど。

あと、LASSOが最近もてはやされてるのは、「変数選択能力」が高いというメリットがあるから。つまり、たくさんの入力数(データ数じゃないよ)があるデータでも、関係の無い入力はカットしたようなモデルができるということがある。例えばコンビニのおでん。売り上げとか季節とか店員や客の年齢とか天候とかのデータがあったとする。出力は売り上げで、それ以外は入力。で、これをLASSOにかけて売り上げモデルを作ると、変数選択能力によって売り上げとは関係の薄い店員の年齢はカットされて、なんと季節が最もおでんの売り上げに効くというモデルが得られるという...

(sasaki_hm)

ナンダッテー（棒）

メモ書き:

f:id:n_haretsu:20140209215917j:plain