很多人问我如何开始进入机器学习理论(learning theory)研究。我认为研究机器学习理论没什么窍门。就是要不断的去学看各种推导和掌握各种工具。记住各种大的，小的推导引理的技巧。
有时候一些特别简单的技巧其实你一看就能明白，但你自己还不一定马上能想出来。比如在perturbation 经常用到的 || W x - W'x'||, 常用的方法是
|| W x - W'x'|| = || W x - W' x + W' x - W'x'||
<= || W - W' || || x || + || W' || || x - x' ||
做到这步，你就可以加上你的参数和 perturbation 假设限制了。。
够简单是吗？当你记住几百个这种例子之后，你也能成为机器学习理论的佼佼者。