El método de los mínimos cuadrados tiene toda una serie de problemas,
cuya solución, en muchas ocasiones aproximada, ha estado ocupando el
trabajo de los investigadores en el campo de la econometría.
De entrada, el método presupone que la relación entre las
variables es lineal y está bien especificada. Para los casos de no
linealidad se recurre, bien a métodos para obtener una relación lineal
que sea equivalente, bien a aproximaciones lineales, o bien a métodos de
optimización que absorban la relación no lineal para obtener también
unos valores de los parámetros que minimicen el error cuadrático.
Otro supuesto del modelo es el de normalidad de los errores del
modelo, que es importante de cara a los contrastes de hipótesis con
muestras pequeñas. No obstante, en muestras grandes el teorema del límite central justifica el suponer una distribución normal para el estimador de mínimos cuadrados.
No obstante, el problema se complica considerablemente, sobre
todo a la hora de hacer contrastes de hipótesis, si se cree que la
varianza de los errores del modelo cambia con el tiempo. Es el fenómeno
conocido como heterocedasticidad (el fenómeno contrario es la homocedasticidad).
Este fenómeno se puede detectar con ciertas técnicas estadísticas. Para
resolverlo hay que usar métodos que intenten estimar el cambiante valor
de la varianza y usar lo obtenido para corregir los valores de la
muestra. Esto nos llevaría al método conocido como mínimos cuadrados generalizados.
Una versión más complicada de este problema es cuando se supone que,
además, no solo cambia la varianza del error sino que también los
errores de distintos periodos están correlacionados, lo que se llama autocorrelación.
También hay métodos para detectar este problema y para corregirlo en
cierta medida modificando los valores de la muestra, que también son
parte del método de los mínimos cuadrados generalizados.
Otro problema que se da es el de la multicolinealidad,
que generalmente sucede cuando alguna de las variables exógenas en
realidad depende, también de forma estadística, de otra variable exógena
del mismo modelo considerado, lo que introduce un sesgo en la
información aportada a la variable endógena y puede hacer que el método
de mínimos cuadrados no se pueda aplicar correctamente. Generalmente la
solución suele ser averiguar qué variables están causando la
multicolinealidad y reescribir el modelo de acuerdo con ello.
También hay que tener en cuenta que en ciertos modelos puede
haber relaciones dinámicas, esto es, que una variable exógena dependa,
además, de los valores que ella misma y/u otras variables tomaron en
tiempos anteriores. Para resolver estos problemas se estudian lo que se
llama modelos de series temporales.