Comparativa de Métodos de Regresión

Visualización interactiva de tres tipos de regresión: lineal, polinómica y logística

Sección 1: Regresión Lineal

Comparación de 3 métodos para resolver regresión lineal ordinaria (OLS): analítica (ecuación normal), gradiente descendente y scikit-learn. Observa cómo las rectas oscilan con pocos datos y convergen a la misma solución conforme se agregan puntos.

Insight: La solución analítica (azul) es instantánea porque resuelve directamente (X^T X)^-1 X^T y. El gradiente (rojo) se mueve iterativamente "cuesta abajo" por la superficie de error. Ambos convergen exactamente al mismo punto porque OLS tiene una solución única.

Sección 2: Regresión Polinómica

La regresión polinómica no es un modelo nuevo — es regresión lineal en un espacio transformado. La matriz de Vandermonde [1, x, x², x³] transforma el problema a OLS ordinario. Observa cómo el grado 4 oscila con pocos datos (overfitting) pero converge con más puntos.

Insight: Grado 2 tiene alto sesgo (curva rígida), grado 4 tiene alta varianza (oscila). En el Panel B ves el bias-variance tradeoff en vivo: el grado 3 equilibra ambos. Este es exactamente el problema que Ridge resuelve penalizando coeficientes grandes.

Sección 3: Regresión Logística

En regresión logística no predecimos un valor continuo sino una probabilidad via sigmoid. Comparamos gradiente descendente, Newton-Raphson (convergencia cuadrática) y scikit-learn. El dataset es clasificación binaria: vivienda cara (≥ mediana) vs barata (< mediana).

Insight: Newton-Raphson (azul) converge en ~5-10 iteraciones mientras gradiente (rojo) necesita miles. La Hessiana le da información de curvatura que GD no tiene — es como tener un mapa topográfico vs caminar a ciegas. Usa log-loss, no MSE, porque los gradientes de sigmoid + MSE se aplanan en los extremos.

Resumen Comparativo

Característica Regresión Lineal Regresión Polinómica Regresión Logística
Tipo de Problema Predicción continua Predicción continua (no lineal) Clasificación binaria
Función de Costo MSE (suma de cuadrados) MSE (suma de cuadrados) Log-loss (cross-entropy)
Optimización Ecuación normal O(n³), GD O(n·iteraciones) Ecuación normal O(n³), GD O(n·iteraciones) GD O(n·iteraciones), Newton-Raphson O(n³·iteraciones)
R² / Accuracy 0.47 (débil pero interpretable) Mejora con grado, pero overfitting ~80% accuracy
Supuestos Clave Linealidad, errores normales, homocedasticidad Linealidad (en espacio transformado) Independencia, relación lineal en log-odds
Regularización Ridge/Lasso para multicolinealidad Ridge/Lasso para penalizar coeficientes altos L2 (C=1.0 por defecto en sklearn)
Limitaciones Detectadas:
  • MedHouseVal está capped en 5.0 → viola linealidad en extremo superior
  • MedInc se usa tanto en lineal como polinómica — la relación no lineal con precio justifica el polinomio
  • MedInc + AveRooms están correlacionadas → multicolinealidad en logística
Conclusión: Lineal y polinómica resuelven el mismo OLS en distintos espacios. Logística cambia la función de costo (MLE en vez de OLS) pero comparte métodos de optimización (GD, Newton). Entender optimización es la base de todo esto.