Mala Ciencia: 14) Mala Estadística

Todos cometemos malos usos de la estadística. Pero no es lo mismo argumentar mal entre amiguetes en un bar, en los titulares de los periódicos, o en un juicio en el que se juega una condena de cárcel.

Organizaré este resumen no por los malos usos de la estadística, sino por sus malos usuarios. Empezaremos por lo más obvio (los periodistas) y terminaremos por lo más truculento (jueces y abogados).

Malos usuarios #1: Los periodistas

Ben Goldacre nos presenta distintas modalidades en que los periodistas usan mal la Estadística. Voy por orden de aparición en el texto.

• Comunicar mal los riesgos.

Los titulares de periódicos suelen preferir las cifras grandes. Pero, aunque sean menos espectaculares, las frecuencias naturales son la forma más sensata de comunicar el riesgo. Al comunicar riesgos siempre se debe proporcionar: (i) la cifra de base o prevalencia (4 de cada 100 hombres de cincuenta años posee la enfermedad xxx) (ii) el incremento en frecuencias naturales de un factor dado (2 hombres adicionales caen enfermos por consumir yyy) (iii) qué está causando el incremento (i.e. matizar yyy: 2 pastillas de ibuprofeno diarias).

Véase este titular de El País publicado el pasado Febrero de 2013, haciendo referencia al estudio PREDIMED en el que participaron 7500 pacientes españoles:

Uno al leer esto, ¿qué piensa? “¡Genial!, si sigo la dieta mediterránea mi riesgo de infarto se reduce un 30%...” Bueno, pues sí y no. El riesgo se reduce un 30%, pero con respecto al riesgo que ya se tenía. Compárese con la forma de comunicar el riesgo del estudio original, publicado en The New England Journal of Medicine: además de mencionar las cifras absolutas en primer lugar -cosa que proporciona una idea más precisa del hallazgo-, se deja bien claro que esta reducción del riesgo es relativa:

• Inventarse cifras.

Este mal uso es obvio, y la solución para controlarlo -esto lo digo yo- pasa por compartir las fuentes de datos. Cuando Goldacre publicó este libro (en 2008), seguro que no estaba tan desarrollado como hoy el movimiento del “open data” (o datos abiertos) y el periodismo de datos, que genera una información basada en datos trazables.

• Saltarse a los expertos e interpretar las cifras (de encuestas) por su cuenta.

Las encuestas son peligrosas. Goldacre menciona el caso de un titular publicado en The Times y The Telegraph que rezaba “La cocaína inunda los patios de los colegios” :

Lo cierto es que el análisis de datos de esta encuesta -plasmada en la nota de prensa y pasada por alto por estos periodistas, según sugiere Goldacre- no había encontrado un aumento significativo del consumo de cocaína en los colegios. Un aumento “estadísticamente significativo” -el que no hallaron los profesionales que analizaron los datos de la encuesta- es el que no se obtendría por puro azar. En una serie de cien tiradas de una moneda puedo obtener 90 caras, pero es raro. La significación estadística mide cuánto de raro es un suceso observado, y la cifra hallada en la encuesta en cuestión -de la que los periodistas, por su cuenta, dedujeron que el uso de cocaína se había doblado- entraba dentro del rango de lo posible por puro azar.

• Dar más valor del que tienen a encuestas sesgadas (por ejemplo, hechas en una web).

Las preguntas que se votan en un programa en directo o en determinadas páginas web obviamente están sesgadas. Goldacre cuenta casos en que trascendieron a titulares de periódico.

Malos usuarios #2: Expertos en otros campos

Para mi gusto, es aquí donde el capítulo empieza a tocar temas algo peliagudos.

Hay casos famosos en que el cálculo de probabilidades se ha usado erróneamente para proporcionar cifras claves, con consecuencias nefastas. En el caso que se menciona en el apartado siguiente, el pediatra británico sir Roy Meadow proporcionó una cifra absurda (véase el detalle al final de esta entrada) en un juicio contra una madre al que se le murieron dos bebés (siga leyendo). Ojo con usar mal el cálculo de probabilidades, es más fácil hacerlo mal que bien.

Malos usuarios #3: Jueces y abogados

Es terrible, pero en la historia reciente han ocurrido varios malos usos de la Estadística en juicios. Goldacre lo ilustra con dos casos reales. En uno, dos bebés ingleses murieron en una misma familia, y un juicio llevó a su madre a cárcel. En el otro, siete pacientes fallecieron la misma noche en el mismo ala de un hospital de Holanda, y la enfermera que hacía ese turno fue condenada a prisión.

Foto personal de la enfermera Lucia de Berk, 

a quien liberaron en Abril de 2010.

¿Cuán de probable es una muerte súbita doble? ¿Cuán de probable es que mueran 7 pacientes de golpe? Se calcularon (aunque mal, véase la nota al final de la entrada) estas probabilidades en los dos casos: obviamente, eran bajísimas. Son sucesos muy raros. Así pues -se argumentó- debe ser que la madre mató a los niños y la enfermera de turno, a los 7 pacientes.

Pero aquí el problema no (sólo) está en la cifra sino en el uso que se hace de ella. Si partimos de que los dos sucesos ocurrieron, la probabilidad de que la madre y la enfermera sean asesinas es alta; pero aquí es donde está la falacia: ¿Cómo de probable es que una madre mate a sus dos bebés, en general? ¿Cómo de probable, que una enfermera cualquiera se cargue a 7 pacientes? Esas cifras también deben calcularse, y compararse con las anteriores. (Y, de hecho, se calcularon, pero demasiado tarde. En el caso de Sally Clark la razón de probabilidades salía alrededor de 4 a 1 a su favor).

La enfermera Lucia de Berk fue liberada gracias a la apertura del caso, tras pasar varios años en la cárcel. La madre de los bebés Sally Clark murió en su casa en 2007 tras haber sido liberada cuatro años antes (os recomiendo esta entrada). En ambos casos el proceso judicial que les llevó a prisión -con jueces, abogados, periodistas… involucrados- “fue incapaz de detectar el matiz sobre cómo debía usarse aquella cifra”.

Dice Goldacre que ”lo interesante de la estadística no son los complicados cálculos matemáticos, sino lo que esos números significan”. No todo el mundo tiene por qué saber hacer estos cálculos. Pero todo profesional con cierta responsabilidad debería tener conocimientos muy sólidos acerca de cómo se debe -o no se debe- argumentar con ellos.

ANEXO: Sobre el cálculo erróneo de Meadow.

Meadow calculó que la probabilidad de que dos niños de la misma familia fallezcan de muerte súbita era de 1 entre 73 millones. Llegó a esta cifra elevando la probabilidad de una muerte súbita (1 entre 8500) al cuadrado, lo que presupone que las dos muertes súbitas son independientes. Pero esto no es correcto pues puede haber múltiples circunstancias -por ejemplo, compartir hábitos o ciertos factores genéticos- por las que una vez que ocurre la muerte de un bebé, hay más predisposición a que ocurra una segunda. Véase aquí el detalle.

PREGUNTAS PARA EL DEBATE

1. Al margen de la necesidad de tener una sociedad más educada en números, ¿es suficientemente buena la educación superior en temas de estadística y cálculo de probabilidades si, como vemos, profesionales de alto nivel educativo como abogados y médicos, cometen errores de bulto? ¿Cómo de generalizada estará esta falta de educación en estadística que sugiere el autor?
2. Encuestas: Las oficinas estadísticas deberían hacer públicos los resultados de sus encuestas (siempre que se puedan anonimizar, etc), pero, ¿tienen también la responsabilidad de advertir de los posibles malos usos de estos datos? (Es una especie de: aquí están los datos, usted sabrá qué hacer con ellos - ¿o debería ser algo más? - o sea cuál es el dato relevante en este caso, el original, ¿o el interpretado por expertos en el análisis de los datos?).
3. A mí lo que más me llama la atención de los juicios de Sally y Lucia no es el mal uso de la Estadística, sino el que se pueda condenar a alguien sólo con un cálculo matemático. ¿No se supone que uno es inocente, mientras no se demuestre lo contrario? ¿Es acaso posible que una probabilidad -por baja que sea- sea una prueba de culpabilidad?