Escuela de Postgrado UPC
Machine Learning
REPASO REGRESIÓN, CLASIFICACIÓN E
INTERPRETABILIDAD
Profesor:
Ing. Jorge Alarcon Flores
Integrantes:
Cesar Ponte Quezada
[[email protected]]
Contenido
INTRODUCCIÓN ............................................................................................... 3
1. SECCIÓN A – REGRESIÓN Y REGULARIZACIÓN ...................................... 3
2. SECCIÓN B – CLASIFICACIÓN Y EVALUACIÓN ......................................... 5
3. SECCIÓN C – OPTIMIZACIÓN DE MODELOS ............................................. 6
4. SECCIÓN D – INTERPRETABILIDAD (SHAP) .............................................. 8
CONCLUSIÓN ................................................................................................... 9
BIBLIOGRAFÍA ................................................................................................ 10
INTRODUCCIÓN
En el contexto actual de la ciencia de datos aplicada a los negocios, la construcción de
modelos predictivos trasciende la mera búsqueda de la exactitud. La capacidad de un
profesional para entender porqué un modelo hace una predicción específica
y cómo equilibrar los riesgos operativos es lo que genera valor tangible. Este informe
responde a preguntas fundamentales sobre regresión regularizada, clasificación en
entornos desbalanceados, optimización de modelos y el valor estratégico de la
interpretabilidad (SHAP). Cada concepto se explica con ejemplos prácticos de negocio
para consolidar la comprensión técnica y su aplicación en la toma de decisiones.
1. SECCIÓN A – REGRESIÓN Y REGULARIZACIÓN
1.1 ¿Qué problema soluciona la regresión Ridge y cómo lo hace? ¿Qué rol juega el
parámetro α?
•
•
•
Problema que soluciona: Ridge resuelve el sobreajuste (overfitting) y
la multicolinealidad. Cuando las variables predictoras están correlacionadas
entre sí (ej. "Numero de habitaciones" y "Metros cuadrados"), los coeficientes del
modelo OLS (Mínimos Cuadrados Ordinarios) pueden volverse inestables, muy
grandes o con signos contrarios a la lógica de negocio.
Como lo hace: Ridge añade una penalización L2 (suma de los coeficientes al
cuadrado) a la función de coste. Esto obliga al algoritmo a minimizar el error pero
manteniendo los coeficientes pequeños y distribuidos.
Rol de α (Alpha) : Es el parámetro de regularización que controla la intensidad
de la penalización.
*α = 0*: El modelo se comporta como una regresión lineal estándar
(OLS).
o α muy alto: Los coeficientes tienden a cero (pero sin llegar a ser
exactamente cero), simplificando el modelo.
Ejemplo: Imagina predecir el precio de una casa usando "Número de habitaciones" y
"Tamaño en metros cuadrados" (variables correlacionadas). Ridge hará que ambas
variables contribuyan al precio, repartiendo el peso entre ellas para que el modelo sea
más robusto ante casas nuevas.
o
1.2 ¿Por qué se dice que Lasso realiza “selección de variables”? ¿Qué ventaja práctica
ofrece frente a OLS y Ridge?
•
Explicación: Lasso utiliza una penalización L1 (suma del valor absoluto de los
coeficientes). A diferencia de Ridge, esta penalización tiene la propiedad
geométrica de llevar algunos coeficientes a ser exactamente cero.
•
Ventaja práctica:
•
o
Frente a OLS: OLS usa todas las variables aunque sean ruido. Lasso
elimina las irrelevantes, creando modelos más simples y rápidos.
o
Frente a Ridge: Ridge solo reduce el tamaño de los coeficientes, pero
nunca los elimina. Si tienes 1,000 variables, Ridge te devuelve 1,000
coeficientes (aunque pequeños). Lasso te devuelve, por ejemplo, solo 50
coeficientes distintos de cero. Esto facilita enormemente la explicación
del modelo a los directivos.
Ejemplo: Un banco tiene 200 variables para predecir fraude (edad, historial, tipo
de navegador, fase lunar, etc.). Lasso automáticamente asignará coeficiente
cero a las variables irrelevantes (ej. fase lunar), dejando solo las 5 variables
realmente predictoras. Es como un filtro automático.
1.3 ¿En qué escenario de negocio sería más recomendable usar Ridge y en cuál usar
Lasso?
Ridge: Recomendable cuando sospechas que todas tus variables tienen una influencia
pequeña pero real en el resultado. Escenario: Predicción de ventas donde factores como
clima, inventario, promociones y competencia influyen simultáneamente.
Lasso: Recomendable cuando tienes cientos de variables y sospechas que solo un
puñado de ellas son las causantes del fenómeno. Escenario: Análisis genético o
marketing digital masivo, donde quieres identificar los 5 comportamientos clave que
disparan una compra entre miles de clics registrados.
2. SECCIÓN B – CLASIFICACIÓN Y EVALUACIÓN
2.1 Explica con tus palabras qué significa que un modelo tenga alta precisión, pero baja
recall. ¿En qué escenario de negocio esto sería problemático?
•
Definición:
o Precisión (Precision) : De todas las veces que el modelo dijo "Sí", ¿cuántas
veces acertó? (Cuidado con las falsas alarmas).
o Recall (Sensibilidad) : De todos los "Sí" reales, ¿cuántos atrapó el modelo?
(Cuidado con los que se escapan).
o El problema: Alta precisión pero bajo recall significa que el modelo es muy
"miedoso". Solo dice "Sí" cuando está 100% seguro, dejando escapar muchas
oportunidades.
•
Escenario problemático – producción de productos químicos:
o
o
Contexto: Detección de fugas en una planta química. El modelo tiene 99%
de precisión (cada vez que suena la alarma, es real), pero solo 40%
de recall (solo detecta 4 de cada 10 fugas reales).
Consecuencia: La planta explota. Aunque no hubo falsas alarmas, el costo de
perder el 60% de las fugas es catastrófico. Aquí priorizaríamos el recall sobre la
precisión.
2.2 ¿Qué riesgos existen si entrenamos un modelo de clasificación con datos
desbalanceados y no aplicamos técnicas de balanceo?
El riesgo principal: El modelo se vuelve vago y tramposo. Aprende a predecir siempre
la clase mayoritaria para obtener una alta exactitud (accuracy), volviéndose inútil para
detectar la clase minoritaria (que suele ser la más importante).
Ejemplo:
En este caso se muestra una matriz de confusión para un modelo de detección de
tumores con 1000 pacientes (500 mujeres, 500 hombres). La matriz global muestra:
Observación clave: El Verdadero Negativo (974) es altísimo, mientras que el Verdadero
Positivo (16) es muy bajo. Esto ocurre porque el modelo está sesgado a predecir la clase
mayoritaria (negativo).
3. ¿Por qué en problemas de clasificación no basta con usar “accuracy” como
única métrica de desempeño?
Porque la accuracy (exactitud) es engañosa en datos desbalanceados.
•
•
Ejemplo: En un control de calidad de una fábrica, el 99.9% de las piezas son
buenas y solo el 0.1% son defectuosas.
o
Modelo tonto: Clasifica todo como "Bueno".
o
Accuracy: 99.9% (parece excelente).
o
Realidad: El modelo no sirve porque no detecta ni una sola pieza mala.
Solución: Usar Precision, Recall, F1-Score o AUC-ROC (Área bajo la curva
ROC), que miden específicamente la capacidad del modelo para distinguir entre
clases, sin dejarse cegar por la clase mayoritaria
3. SECCIÓN C – OPTIMIZACIÓN DE MODELOS
3.1 ¿Qué papel cumplen la regularización y el early stopping en la reducción del
overfitting?
•
Regularización (Ej. L1/L2 en redes): Actúa como un "peso en el pie" del modelo.
Añade un coste por tener coeficientes muy altos, evitando que el modelo se
"memorice" el ruido de los datos de entrenamiento y obligándolo a generalizar
mejor.
•
Early Stopping: Es como un "termómetro". Consiste en detener el entrenamiento
justo antes de que el modelo empiece a memorizar. Se monitoriza el error en un
conjunto de validación; cuando el error de validación deja de bajar y empieza a subir
(aunque el de entrenamiento siga bajando), se para el proceso.
•
Ejemplo: Enseñar a un niño a reconocer perros.
o
Overfitting: El niño memoriza fotos exactas (solo reconoce al labrador dorrado
de la foto 1).
o
Regularización: Obligar al niño a mirar características generales (orejas, cola,
no el color exacto).
o
Early Stopping: Dejar de mostrarle fotos justo cuando empieza a obsesionarse
con el fondo verde de las imágenes.
3.2 Aunque el modelo optimizado mejore el desempeño técnico (ej. AUC), puede reducir
recall o precision. ¿Cómo interpretarías este trade-off desde la perspectiva de negocio?
Este trade-off es una decisión estratégica sobre el tipo de error que duele más.
•
Negocio A (Detección de Spam): Prefiero alta Precisión (no quiero que correos
importantes vayan a spam, aunque se escape algún correo basura - bajo recall).
El coste de un falso positivo es altísimo.
•
Negocio B (Diagnóstico de Cáncer): Prefiero alto Recall (detectar a todos los
enfermos, aunque luego tenga que hacer pruebas extra a falsos positivos - baja
precisión). Perder un enfermo (falso negativo) cuesta una vida.
•
Interpretación: Si al optimizar el AUC perdí recall, significa que
estratégicamente decidí que era más caro tener falsas alarmas que dejar pasar
casos.
3.3 Desde la perspectiva de negocio, ¿qué ventajas ofrece evaluar no solo métricas
técnicas (ej. MSE, accuracy) sino también métricas económicas (ej. ROI, ingresos
adicionales)?
Porque las métricas técnicas no pagan las facturas. Se debe conectar la desviación
estadística con el dinero real.
•
Ejemplo: Un modelo de predicción de "Abandono de clientes (Churn)" tiene un
MSE (Error cuadrático medio) de 0.05.
o
Visión técnica: "El modelo es bueno".
o
Visión económica: El modelo identifica a 100 clientes que van a
abandonar. El departamento de marketing ofrece un descuento de $10 a
cada uno (coste $1,000).Si 70 aceptan y pagan $100/mes,
el ROI (Retorno sobre la inversión) es del 700%.
o
Conclusión: Calcular el ROI valida si el modelo es útil para el negocio o
solo un ejercicio académico
4. SECCIÓN D – INTERPRETABILIDAD (SHAP)
4.1 Define con tus palabras qué significa interpretabilidad en Machine Learning y por
qué es relevante en contextos empresariales.
•
La interpretabilidad en ML, es la capacidad de explicar, en un lenguaje humano y
comprensible, por qué un modelo tomó una decisión específica. No basta con saber
"qué" va a pasar (la predicción), hay que saber "por qué" va a pasar.
•
Relevancia en contexto empresarial:
o
Confianza: Los gerentes no implementarán un modelo que les da miedo o no
entienden.
o
Depuración: Si un modelo niega un préstamo a una persona con buen historial,
la interpretabilidad permite saber si fue un error o una lógica válida (ej. deuda alta
oculta).
o
Regulación: En sectores como el bancario (Ley de Crédito Justo), la ley exige
explicar las decisiones automatizadas.
4.2 ¿Qué ventajas ofrecen técnicas como SHAP o LIME para la toma de decisiones en
una organización?
Estas técnicas permiten abrir la "caja negra"
•
SHAP (SHapley Additive exPlanations) : Se basa en la teoría de juegos. Asigna
a cada variable un "peso" o contribución específica a la predicción final.
o
Ventaja: Es consistente y global. Permite ver qué variables son las más
importantes en general y también por qué un caso específico es atípico.
•
LIME (Local Interpretable Model-agnostic Explanations) : Crea un modelo
simple (local) alrededor de una predicción específica para explicarla.
•
Ventajas prácticas:
a. Auditoría de sesgos: SHAP puede revelar que el modelo discrimina por código
postal (proxy de raza o nivel socioeconómico).
b. Accionabilidad: Si SHAP dice que la razón por la que un cliente se va es "alta
latencia en el servicio de 48h", la empresa sabe exactamente qué problema
solucionar.
4.3 Si un modelo predictivo tiene excelente performance técnico, pero es considerado
una “caja negra”, ¿qué problemas podría traer en términos de adopción en la empresa?
Si un modelo es percibido como una “caja negra”, podría generar desconfianza entre los
usuarios, quienes podrían dudar en adoptarlo por no entender cómo se llegó a una
conclusión. Esto puede limitar su implementación y el alcance de los beneficios del
modelo, por lo cual se debe tener en cuenta lo siguiente:
1. Resistencia al cambio (Desconfianza) : El director financiero nunca aprobará un
modelo que rechaza créditos si no puede entender por qué. Preferirá un modelo
peor pero entendible.
2. Riesgo Regulatorio y Legal: En Europa, el GDPR otorga el "derecho a la
explicación". Un usuario tiene derecho a saber por qué un algoritmo le negó una
hipoteca. Si no puedes explicarlo, la empresa enfrenta multas millonarias.
3. Falta de estrategia: Si el modelo predice "ventas bajas" pero no sabes si es por el
precio, la competencia o el clima, el departamento comercial no sabe cómo actuar.
El modelo es técnicamente perfecto, pero estratégicamente inútil.
CONCLUSIÓN
En este trabajo se demuestra que el Machine Learning efectivo en entornos
empresariales requiere un equilibrio delicado entre poder predictivo y comprensión
práctica.
Hemos visto que mientras Ridge y Lasso ofrecen soluciones a la maldición de la
dimensionalidad y la multicolinealidad, la evaluación de clasificadores en
entornos desbalanceados exige
ir
más
allá
de
la
accuracy,
priorizando precisión o recall según el costo del error de negocio.
La optimización mediante regularización y early stopping permite combatir el
sobreajuste, pero siempre validando el impacto en trade-offs críticos. Finalmente,
herramientas de interpretabilidad como SHAP y LIME emergen no como un lujo
académico, sino como un requisito indispensable para la adopción, el cumplimiento
regulatorio y la generación de confianza, transformando modelos de "caja negra" en
aliados estratégicos transparentes para la organización.
BIBLIOGRAFÍA
•
AWS Well-Architected Framework. (2024). *MLPER-09: Perform a performance
trade-off analysis*. Amazon Web Services.
•
GitHub. (2025). Explainable AI (XAI) for Model Transparency in Credit and Churn
Prediction.
•
Gómez, M. T. (2020). Retail Expansion Analysis with Lasso and Ridge
Regressions. GitHub Repository.
•
Parate, V., et al. (2025). EXPLAINABLE AI IN FLEET PREDICTIVE
MAINTENANCE: USING SHAP AND LIME FOR TRANSPARENCY AND
REGULATORY ALIGNMENT. International Journal of Advanced Management.
•
Qi, Q., et al. (2021). Stochastic Optimization of Areas Under Precision-Recall
Curves.
•
Splunk. (2025). Leverage the examples provided in the Splunk App for Data
Science and Deep Learning.
•
Suyashi. (2023). LASSO and Ridge Regression - Comparative Analysis.
0
