Vediamo ora come risolvere sistemi lineari con matrici rettangolari.
Consideriamo $Ax=b$ con $A\in m\times n$ con $m > n$, in quello che si dice sistema sovradeterminato, ovvero un sistema in cui il numero di equazioni supera il numero delle incognite (la matrice è più alta che larga).
In generale un sistema di questo tipo non ammette soluzioni.
Ci si sposta quindi in quello che viene chiamato il problema dei minimi quadrati, cioè cerco un vettore $(x_1,x_2)$ che renda più piccola possibile la norma 2 dei residui:
$$ \underset{x\in\R^n}{min} ||Ax-b||_2^2 = \underset{x\in\R^n}{min} ||r||_2^2 $$
In pratica siccome non si può trovare una soluzione $x$, invece che arrenderci decidiamo spavaldamente di trovare due soluzioni (il vettore sopra citato) che rendano la norma dell'equazione qui sopra la più piccola possibile.
Sia $A$ una matrice $m\times n$ con $m>n$, indichiamo con $k$ il rango di $A$ (che sappiamo sarà $≤n$), allora il problema:
$$ \underset{x\in\R^n}{min} ||Ax-b||_2^2 $$
Avrà sempre almeno una soluzione. In particolare
In questo caso l'equazione diventa:
$$ ||Ax-b||_2^2 = (Ax-b)^T(Ax-b) $$
Questo perché appunto la norma a 2 è la radice di $\rho$ per la matrice trasposta per la matrice non trasposta ed essendo la norma al quadrato semplifichiamo la radice. Non so perché $\rho$ non ci sia più:
$$ = (-b^T+x^TA^T)(Ax-b) $$