Proposition 1. Soit le modele de l'Equation (3). Alors, pour toute fonction (mesu- rable) 6 : X - Y, Ed(X) - Y]' > Ef(X) - Y]? (11) ou dit autrement arg min Ed(X) - Y]? = f. DEF Proposition 1 nous indique que, si P de l'Equation (3) etait le vrai modele des donnees et si l'estimateur de f, disons o, (i) prend ses valeurs dans tout F et (ii) minimise le risque d'apprentissage sous la perte quadratique, alors 0 = f, i.e. l'esti- mateur va retrouver exactement la vraie fonction f. Toutefois on ne peut en general trouver cet estimateur car le risque d'apprentissage est typiquement impossible a cal- culer exactement. Proposition 2. Le risque moyen de tout estimateur fr : X - Y de f se decompose en ER( f.)] = E (f(X) - E(f(X)IX)) +E ( E M(X)IX - S(X)) Variance biais + E [(Y - f(X)) ], (12) bruit irreductible avec f(I) = E[Y | X = x]. Exercice 6. Demontrer les propositions 1 et 2. Dans les deux cas exploiter le fait que f(@ = E(Y X =x)