Vapnikの原理「ある問題を解くとき、すぐにそれより一般的な問題を解こうとしてはいけない」
SVMの本に載っていた。"原理"と言うけど、何らかの普遍的性質を示しているわけではなくて、人がついやってしまう間違いがあるので、注意したい考え方の一つという感じ。
目の前に問題があったとき、より一般的な大問題が存在していて、今直面しているような問題はその大問題の一例でしかないと考え、この問題を解くのをやめて大問題を示せば、より強い定理が得られる...とつい考えてしまう。そうすると、考えるべき問題の難易度があがってしまい、結果的に失敗する。アプローチとしては絶対悪であるわけじゃないが。
定理の証明だけではなく、人間の脳が引き起こす過学習も似ている。
もしハゲた人が電車で何も言わず乗客を無理に押して出ていったら、ハゲは比較的マナーが悪いのではないかというより一般的な性質に帰着させたくなるが、そのような一般化された問題を解くのは当然難しい。任意のハゲについて考えるのは時期尚早。マナーが悪いのはその人に関する固有の性質でしかない。
汎化があるからこそ学習できる側面もあるので、Vapnik原理主義にならなくてもいい。難しいことで悩んでしまっているなと思ったらVapnikの原理を思い出してもいいかもね。
