Concepto
Los valores atípicos: dos formas de detectarlos, y por qué a veces no coinciden.
Un mayorista registra cuántas cajas lleva cada pedido. Dieciocho pedidos: casi todos entre 10 y 20 cajas. Y dos que se escapan: uno de 45, y otro de 90.
Primera forma: la regla de la caja, la de la lección anterior. El primer cuartil es 13, el tercero es 18, y el rango intercuartil, 5. El límite de arriba queda en 18 + 7,5 = 25,5. El 45 y el 90 quedan afuera. Para la caja, los dos son atípicos.
Segunda forma: el puntaje zeta. Mide a cuántos desvíos de la media está cada valor, y lo usual es marcar lo que pasa de 3.
La media da casi 21, y el desvío, 18. El 90 está a 3,8 desvíos: atípico. Pero el 45 está a 1,3. Para el puntaje zeta, es un pedido normal.
¿Por qué no coinciden? Porque el 90 infla la media y el desvío, y así esconde al 45. Sin el 90, el 45 pasa a 3,7, y aparece.
La regla de la caja usa cuartiles, y los cuartiles no se mueven por los extremos.
Un valor atípico puede esconder a otro. Con varios extremos, la regla de la caja es más confiable.
En resumen. La caja: afuera de una vez y media el rango intercuartil. El puntaje zeta: a más de 3 desvíos de la media. Y un extremo grande puede esconder a otro.
Ejemplo real
Un caso real donde el valor atípico no es un error: es justo lo que hay que encontrar.
Un banco mira las compras con tarjeta de una clienta. En los últimos meses hizo sesenta consumos. Veamos su boxplot, en miles de pesos.
La mediana está en $ 14.500. La caja va de $ 9.500 a $ 23.500. Y el límite de arriba queda en $ 44.500.
Pero hay un punto suelto, muy lejos: una compra de $ 480.000. 33 veces su mediana. Hecha a las tres de la mañana, en otra ciudad.
En un reporte de ventas, alguien borraría ese punto para que el gráfico quede prolijo. Acá, ese punto es la alarma. Tiene la forma de un fraude: alguien usó los datos de la tarjeta.
Ahora, un detalle importante. Si miramos las compras de todos los clientes del banco juntos, $ 480.000 no es un número raro: hay clientes que gastan eso todos los meses. En el boxplot de todos, ese punto queda adentro de los bigotes.
Por eso el sistema no compara la compra contra todos: la compara contra la historia de cada cliente. Aprende dónde está la caja de cada uno y hasta dónde llegan sus bigotes, y revisa lo que cae muy afuera. Un valor es atípico contra un grupo. Con otro grupo, deja de serlo.
La decisión del banco: no borra el punto. Bloquea la compra y llama a la clienta. Si fue ella, queda anotado como contexto. Si no fue, frenó un fraude.
Regla para llevarte: antes de borrar un valor atípico, hay que preguntar qué dice. A veces, es la única información que importa.
Error típico
Una empresa que vende electrodomésticos arma el presupuesto de garantía para el año que viene. Mira los últimos cien reclamos, en miles de pesos.
Noventa y cinco son arreglos chicos, de $ 8.000 a $ 14.000. Cinco son reparaciones de motor, de $ 150.000 a $ 190.000.
El analista dibuja el boxplot. La caja queda aplastada contra la izquierda, y cinco puntos quedan sueltos, muy lejos. El gráfico se ve feo.
Entonces hace lo que parece prolijo: borra los cinco puntos. La caja ahora ocupa todo el gráfico. Con los noventa y cinco que quedan, cada reclamo cuesta en promedio casi $ 11.000. Para mil reclamos, pide casi $ 11 millones.
Pero esos cinco puntos no eran errores de carga. Eran motores que se rompieron de verdad. Y el año que viene se van a volver a romper.
Con los cien reclamos, el promedio es de casi $ 19.000. Para mil reclamos hacen falta casi $ 19 millones. Faltan $ 8 millones en el presupuesto.
Los cinco motores son el 5 % de los reclamos, pero casi la mitad de la plata.
La decisión correcta: no borrar. Separar en dos líneas. Arreglos chicos: casi $ 11.000 por reclamo. Motores: cinco de cada cien, a unos $ 170.000 cada uno. Las dos líneas suman los casi $ 19 millones.
Regla para llevarte: borrar los valores atípicos deja más lindo el gráfico, y más falso el número. Si el valor es real, se queda.
Práctica
Tres casos con un valor atípico, y tres cosas que se pueden hacer con él: corregirlo, separarlo o explicarlo. Borrarlo sin preguntar no es una opción.
Caso uno. Una planilla con las edades de los clientes de un gimnasio. Casi todas entre 18 y 70 años. Y una dice 250. La respuesta es corregir. Nadie tiene 250 años: es un error de carga. Seguramente alguien quiso escribir 25. Se busca el dato original y se corrige. Si no aparece, se saca del análisis, y queda anotado que se sacó.
Caso dos. Una distribuidora mira las compras de cada cliente por mes. Son cuarenta clientes. Treinta y nueve compran entre 1 y 5 millones. Y uno compra 60 millones: es una cadena de supermercados, y el dato es real. La respuesta es separar. El dato es real, así que no se corrige ni se borra. Pero la cadena es otro tipo de cliente: si entra en el promedio, el cliente típico parece más grande de lo que es. Se analiza aparte: los treinta y nueve clientes por un lado, y la cadena en su propia línea.
Caso tres. Un local de comidas mira sus ventas de cada día del mes. Casi todos los días vende parecido. Y un día vende el triple: fue feriado. La respuesta es explicar. El dato es real, y el local es el mismo: no es otro grupo. Se deja en el gráfico, con una nota que dice feriado. Así nadie lo borra, y nadie espera vender el triple un martes cualquiera.
En resumen. Si es un error, se corrige. Si es real pero de otro grupo, se separa. Si es real y del mismo grupo, se explica.