EM-argolithmのことでそれをもとに個人的に思いつき考えたこと書きます。アルゴリズム自体やそれの持つ意味効用などは、自分は深いところにははいりこんでません。EMアルゴリズムとは、一番もっともらしい解を探すことのできるアルゴリズムのひとつ、くらいしかいえません。何年かぶりこのキーワードで検索してみてこのへん納得いい感じでまとまってそう、にも自分には半分くらいしかわからずまだまだ理解不足がおおいです。
EM-algorithmがやっていることは、入力値が隠し持っているパラメータのうち”もっともらしい”値を探し出す、ということ。これを行うために、最適解の載っている代数式を尤度関数という(ないしそれであらわしている)このとき尤度関数の形がわからない、式でぱすん陽に書くことができない。だから関数の山を登っていくことが保証されているこのアルゴリズムを使う。このアルゴリズムは山を登っていくことが証明されている。上った山が一番高い山かはわからない。
それで満足するかどうか。それを決めるのは真に一番にこだわるか、明らかに最適解が存在すると確信したらどうするか。
このあたりから妄想にはいるのですが、山の例えに移りきってかんがえると、山をいったん降りる、そして登り直す気力を奮い立たせる。
あと、最適解にあたるかどうかが初期値依存で、これも世俗的なアナロジーだと、運、なわけです。
計算機はバンバン並列でまわせばいいが、登山アタックはそうそうできません。
山は、その高さはそと目にでもだいたいわかるでしょうが世の中の迷い事はそうもいかないわけです。
というようなことが、頭に思い浮かんでました。