sábado, 11 de abril de 2015

Mala Ciencia: 14) Mala Estadística

Todos cometemos malos usos de la estadística. Pero no es lo mismo argumentar mal entre amiguetes en un bar, en los titulares de los periódicos, o en un juicio en el que se juega una condena de cárcel.


Organizaré este resumen no por los malos usos de la estadística, sino por sus malos usuarios. Empezaremos por lo más obvio (los periodistas) y terminaremos por lo más truculento (jueces y abogados).

Malos usuarios #1: Los periodistas

Ben Goldacre nos presenta distintas modalidades en que los periodistas usan mal la Estadística. Voy por orden de aparición en el texto.
  • Comunicar mal los riesgos.
Los titulares de periódicos suelen preferir las cifras grandes. Pero, aunque sean menos espectaculares, las frecuencias naturales son la forma más sensata de comunicar el riesgo. Al comunicar riesgos siempre se debe proporcionar: (i) la cifra de base o prevalencia (4 de cada 100 hombres de cincuenta años posee la enfermedad xxx) (ii) el incremento en frecuencias naturales de un factor dado (2 hombres adicionales caen enfermos por consumir yyy) (iii) qué está causando el incremento (i.e. matizar yyy: 2 pastillas de ibuprofeno diarias).

Véase este titular de El País publicado el pasado Febrero de 2013, haciendo referencia al estudio PREDIMED en el que participaron 7500 pacientes españoles:



Uno al leer esto, ¿qué piensa? “¡Genial!, si sigo la dieta mediterránea mi riesgo de infarto se reduce un 30%...” Bueno, pues sí y no. El riesgo se reduce un 30%, pero con respecto al riesgo que ya se tenía. Compárese con la forma de comunicar el riesgo del estudio original, publicado en The New England Journal of Medicine: además de mencionar las cifras absolutas en primer lugar -cosa que proporciona una idea más precisa del hallazgo-, se deja bien claro que esta reducción del riesgo es relativa:



  • Inventarse cifras.

Este mal uso es obvio, y la solución para controlarlo -esto lo digo yo- pasa por compartir las fuentes de datos. Cuando Goldacre publicó este libro (en 2008), seguro que no estaba tan desarrollado como hoy el movimiento del “open data (o datos abiertos) y el periodismo de datos, que genera una información basada en datos trazables.

  • Saltarse a los expertos e interpretar las cifras (de encuestas) por su cuenta.


Las encuestas son peligrosas. Goldacre menciona el caso de un titular publicado en The Times y The Telegraph que rezaba “La cocaína inunda los patios de los colegios” :



Lo cierto es que el análisis de datos de esta encuesta -plasmada en la nota de prensa y pasada por alto por estos periodistas, según sugiere Goldacre- no había encontrado un aumento significativo del consumo de cocaína en los colegios. Un aumento “estadísticamente significativo” -el que no hallaron los profesionales que analizaron los datos de la encuesta- es el que no se obtendría por puro azar. En una serie de cien tiradas de una moneda puedo obtener 90 caras, pero es raro. La significación estadística mide cuánto de raro es un suceso observado, y la cifra hallada en la encuesta en cuestión -de la que los periodistas, por su cuenta, dedujeron que el uso de cocaína se había doblado- entraba dentro del rango de lo posible por puro azar.
  • Dar más valor del que tienen a encuestas sesgadas (por ejemplo, hechas en una web).

Las preguntas que se votan en un programa en directo o en determinadas páginas web obviamente están sesgadas. Goldacre cuenta casos en que trascendieron a titulares de periódico.

Malos usuarios #2: Expertos en otros campos

Para mi gusto, es aquí donde el capítulo empieza a tocar temas algo peliagudos.

Hay casos famosos en que el cálculo de probabilidades se ha usado erróneamente para proporcionar cifras claves, con consecuencias nefastas. En el caso que se menciona en el apartado siguiente, el pediatra británico sir Roy Meadow proporcionó una cifra absurda (véase el detalle al final de esta entrada) en un juicio contra una madre al que se le murieron dos bebés (siga leyendo). Ojo con usar mal el cálculo de probabilidades, es más fácil hacerlo mal que bien.

Malos usuarios #3: Jueces y abogados


Es terrible, pero en la historia reciente han ocurrido varios malos usos de la Estadística en juicios. Goldacre lo ilustra con dos casos reales. En uno, dos bebés ingleses murieron en una misma familia, y un juicio llevó a su madre a cárcel. En el otro, siete pacientes fallecieron la misma noche en el mismo ala de un hospital de Holanda, y la enfermera que hacía ese turno fue condenada a prisión.

Foto personal de la enfermera Lucia de Berk, 
a quien liberaron en Abril de 2010.

¿Cuán de probable es una muerte súbita doble? ¿Cuán de probable es que mueran 7 pacientes de golpe? Se calcularon (aunque mal, véase la nota al final de la entrada) estas probabilidades en los dos casos: obviamente, eran bajísimas. Son sucesos muy raros. Así pues -se argumentó- debe ser que la madre mató a los niños y la enfermera de turno, a los 7 pacientes.


Pero aquí el problema no (sólo) está en la cifra sino en el uso que se hace de ella. Si partimos de que los dos sucesos ocurrieron, la probabilidad de que la madre y la enfermera sean asesinas es alta; pero aquí es donde está la falacia: ¿Cómo de probable es que una madre mate a sus dos bebés, en general? ¿Cómo de probable, que una enfermera cualquiera se cargue a 7 pacientes? Esas cifras también deben calcularse, y compararse con las anteriores. (Y, de hecho, se calcularon, pero demasiado tarde. En el caso de Sally Clark la razón de probabilidades salía alrededor de 4 a 1 a su favor).


La enfermera Lucia de Berk fue liberada gracias a la apertura del caso, tras pasar varios años en la cárcel. La madre de los bebés Sally Clark murió en su casa en 2007 tras haber sido liberada cuatro años antes (os recomiendo esta entrada). En ambos casos el proceso judicial que les llevó a prisión -con jueces, abogados, periodistas… involucrados- “fue incapaz de detectar el matiz sobre cómo debía usarse aquella cifra”.

Dice Goldacre que ”lo interesante de la estadística no son los complicados cálculos matemáticos, sino lo que esos números significan”. No todo el mundo tiene por qué saber hacer estos cálculos. Pero todo profesional con cierta responsabilidad debería tener conocimientos muy sólidos acerca de cómo se debe -o no se debe- argumentar con ellos.

ANEXO: Sobre el cálculo erróneo de Meadow.

Meadow calculó que la probabilidad de que dos niños de la misma familia fallezcan de muerte súbita era de 1 entre 73 millones. Llegó a esta cifra elevando la probabilidad de una muerte súbita (1 entre 8500) al cuadrado, lo que presupone que las dos muertes súbitas son independientes. Pero esto no es correcto pues puede haber múltiples circunstancias -por ejemplo, compartir hábitos o ciertos factores genéticos- por las que una vez que ocurre la muerte de un bebé, hay más predisposición a que ocurra una segunda. Véase aquí el detalle.




PREGUNTAS PARA EL DEBATE

  1. Al margen de la necesidad de tener una sociedad más educada en números, ¿es suficientemente buena la educación superior en temas de estadística y cálculo de probabilidades si, como vemos, profesionales de alto nivel educativo como abogados y médicos, cometen errores de bulto? ¿Cómo de generalizada estará esta falta de educación en estadística que sugiere el autor?
  2. Encuestas: Las oficinas estadísticas deberían hacer públicos los resultados de sus encuestas (siempre que se puedan anonimizar, etc), pero, ¿tienen también la responsabilidad de advertir de los posibles malos usos de estos datos? (Es una especie de: aquí están los datos, usted sabrá qué hacer con ellos - ¿o debería ser algo más? - o sea cuál es el dato relevante en este caso, el original, ¿o el interpretado por expertos en el análisis de los datos?).
  3. A mí lo que más me llama la atención de los juicios de Sally y Lucia no es el mal uso de la Estadística, sino el que se pueda condenar a alguien sólo con un cálculo matemático. ¿No se supone que uno es inocente, mientras no se demuestre lo contrario? ¿Es acaso posible que una probabilidad -por baja que sea- sea una prueba de culpabilidad?




13 comentarios:

  1. Hola Inés,

    me alegro que te hayas animado a resumir este capítulo. Nada mejor que alguien que conoce la estadística bien para resumir un capítulo sobre lo mal que se interpreta la estadística. ¡Muchas gracias!

    La verdad es que llevamos dos capítulos que son los que más me han gustado hasta ahora. Dan una perspectiva de la mala ciencia desde un enfoque más neutro, sin tirarse al cuello de diversas pseudociencias. Además la manera de escribir de Goldacre me parece más pausada y relajada, por lo que es más fácil seguir el hilo.

    Antes de empezar con las cuestiones, voy a plantear yo una que me ha surgido de la lectura del capítulo. Cuándo se habla del consumo de drogas y la mala interpretación de las estadísticas que muestran una tendencia hacia un mayor consumo, ¿es tan malo criticar el mal uso de la estadística? Lo digo porque aunque los resultados estén mal interpretados, esto hace que se tome una mayor conciencia del problema y se puedan tomar medidas.

    Ahora sí, las cuestiones:

    1. No es buena la educación en estadística, ni siquiera en áreas donde es especialmente importante el uso de la estadística. El ejemplo lo tomo de mi facultad. En primero teníamos una asignatura de estadística y prácticamente todos coincidimos en que cuando empezamos a necesitarla de verdad en cursos avanzados, nos dimos cuenta de que no sabíamos nada y que teníamos que empezar de cero. Además, había gente que había dado nociones de estadística en el antiguo BUP y COU. Imaginaos lo que me costó a mi que no había dado nada. Y lo peor de todo, si en una carrera de ciencias no se prestaba la suficiente atención a la estadística, en otras carreras de áreas de humanidades no creo que fuera mucho mejor, es decir, la falta de educación en estadística está muy generalizada, desde mi punto de vista. Y sí, ¡la estadística mola!
    2. Lo que creo es que se deberían publicar los datos y como analizarlos, pero no el análisis en sí. Esto llevaría a diversos análisis y conclusiones, de los cuales se podría hacer un análisis para obtener un resultado más fiable. Eso sí, los resultados sólo serían fiables si todos ellos se han analizado de manera correcta.
    3. No me parece bien que se juzgue a nadie por un resultado matemático. Aquí entran en juego los expertos o peritos. Se puede confiar en su opinión, pero no dejan de ser humanos y se equivocan. Para ello se tienen que conseguir segundas opiniones y análisis. Una de las cosas que más me gustan de la ciencia es que el resultado de una persona o un equipo de investigación, no es válido hasta que no se obtienen resultados por otros equipos analizados siguiendo diferentes métodos. En casos como los de un juicio, se debería seguir esta misma aproximación.

    Buen fin de semana a todos.

    ResponderEliminar
    Respuestas
    1. Hola Jorge, creo que he caído en tu provocación ;)

      Preguntas: ”¿es tan malo criticar el mal uso de la estadística?”. Mi opinión es que sí. No soy partidaria de que el fin justifica los medios. Se está mintiendo y las medidas que se adopten no lo serán con conocimiento de causa. El uso de la estadística debería servir para ayudar a tomar las decisiones correctas, y no, como muchas veces pasa, que se utiliza con fines e ideales políticos.

      ¡Saludos!

      Eliminar
    2. Buena pregunta Jorge. Buena respuesta Conxi, pero si me permites voy a darle un poco de caña yo también.

      ¿El fin justifica los medios? Opino que en muchas ocasiones sí.
      ¿Y en este caso y en otros que se basen en malos análisis? No, definitivamente no, entre otras cosas porque nunca llegarás a conseguir el fin pretendido.
      Opino que si no haces un buen análisis de la situación de partida, difícilmente vas a conseguir el fin que pretendes. Además, opino que lo "bueno" es relativo, que la sociedad nunca alcanzará ese ideal y que lo más que podemos pretender es ir acercándonos poco a poco a lo que queremos en ese momento y lugar.

      Centrándonos en el ejemplo del libro:
      En los colegíos parecía que no había aumentado el problema de las drogas y hemos generado muchos al dar la noticia de esa forma. Te enunció todos los que se me ocurren:
      - Los alumnos que no han consumido se sienten fuera del grupo y eso les puede empujar a consumir (creen que todos lo están haciendo).
      - Los padres empiezan a tener miedo de lo que está pasando en los colegios, empiezan a cuestionar a los profesores y a la institución porque no han sido capaces de frenar el consumo (te recuerdo que ante la impotencia tendemos a echarle la culpa a otros).
      - La administración educativa se ve obligada a destinar recursos a una cosa que en principio parecía controlada, quitándolos de otros sitios como podría ser: la integración de los distintos colectivos, el tratamiento de la diversidad de capacidades...
      - La administración sanitaria se ve obligada a destinar recurso que podría invertir en prevenir en otros sitios donde sí que está aumentando el consumo.
      - Los traficantes creen que existe "un filón de potenciales consumidores" más grande de lo que creían y destinan más droga al enganche de niños.
      ...

      Creo que como dice Conxi sin dar tantos rodeos como he hecho yo: "Se está mintiendo y las medidas que se adopten no lo serán con conocimiento de causa" y yo añado "y como es lógico no conseguirán los pretendidos resultados".

      Un saludo

      Eliminar
    3. Jajaja, muy buena cuestión Jorge. Me ha hecho pensar en algo que no se me había pasado por la cabeza... Y la verdad es que la respuesta de Juan Carlos me ha encantado.

      Además, esto me ha hecho recapacitar acerca de los problemas que se pueden plantear en la redacción de un medio de comunicación a la hora no solo de decidir si ofrecer o no una noticia, sino también la forma de hacerlo.

      En cualquier caso, me quedo tanto con las conclusiones de Conxi como de Juan Carlos.

      Eliminar
  2. Hola Inés, ¡encantada de comentar tu resumen! El cual es muy bueno. Y gracias también por los enlaces.

    Voy por las cuestiones, que estoy con poco tiempo:

    1. No tengo una opinión concreta sobre si es suficientemente buena la educación superior en temas de estadística y cálculo de probabilidades. Mi experiencia es que... ya no me acuerdo de nada de lo que me enseñaron en la carrera sobre estos temas :(, y, aunque hace mucho tiempo de ello, en su momento lo único que me interesaba de estas asignaturas era aprobar.

    A nivel profesional, sólo he necesitado conocimientos básicos. Y todo lo que se aprende y no se utiliza, se acaba olvidando.

    2. En teoría, si está bien hecha la interpretación, el análisis de los expertos será más relevante. Pero la trampa está en "si está bien hecha la interpretación", pues muchas veces no lo está o los criterios de esa interpretación no son objetivos y, por lo tanto, dependiendo del experto la interpretación puede variar.

    Pero creo indiscutible que tiene mayor relevancia una interpretación del experto “adecuado”, si lo comparamos con los datos crudos.

    3. Opino como tú, Inés, me parece absolutamente irresponsable e injustificable que se pueda condenar a alguien sólo con un cálculo de probabilidades.

    Cada disciplina tiene sus utilidades, y la estadística y las probabilidades no deberían ser utilizadas donde se puedan malinterpretar, como es en un juicio (al menos como prueba fundamental) y tampoco en titulares periodísticos. Opino como Goldacre que la estadística no es intuitiva, y por lo tanto los datos no se deberían presentar a la población, que no tiene grandes conocimientos en ella, como dato relevante.

    ¡Buen fin de semana!

    ResponderEliminar
  3. Gracias Inés por tu resumen.
    Habréis detectado que no estoy leyendo el libro de Goldacre :( Me engañe pensando que con vuestros expertos y acurados resúmenes tendría suficiente, pero no, me faltan datos . O tal vez creí que no me implicaría como lo estoy haciendo .. no se .Ahora ya no estoy a tiempo de ponerme al día. pero con el próximo lo haré mejor.
    Aun así , si me permitís, me arriesgo a comentar
    1- Estoy alejada del mundo educativo, pero en vista de los resultados en el día a día de los profesionales de toda índole,sean periodistas, economistas, psicólogos..etc he de llegar a la conclusión de que no. No se educa bien ni en estadística ni en su metodología de análisis para poder llegar a una conclusiones lo mas veraces posibles. Ya se comento en otro momento pero repito. Creo que va enlazado con la falta de educación sobre el método científico que es el único, que de momento, nos puede alejar de las falacias y de nuestros sesgos
    2-Claro que si, los datos de las estadísticas han de ser públicos, por supuesto. Los riesgos de las conclusiones del análisis de datos están también ahora presentes. Claro que un profesional hará menos errores, pero la información ha de ser de todos con todo y el riesgo que conlleva. Aquí la importancia de educar correctamente en evaluar los números (en corregir el anumerismo)
    3-Un resultado estadístico puede orientar , pero es reduccionista inculpar o absolver por solo ese motivo. Todos los actos humanos son lo suficientemente complejos como para que se base solo en un solo numero
    Buen fin de semana a todos

    ResponderEliminar
    Respuestas
    1. Hola Cristina.

      Me voy a aventurar a opinar sobre lo que dices de “me arriesgo a comentar”, que viene de tu confesión de no estar leyendo el libro.

      Ya me rectificarán si no es así, pero creo que el formato de esta iniciativa requiere el resumen, precisamente, para que cualquiera tenga la posibilidad de comentar, y eso incluye, sobre todo, las personas que no han leído el libro (aunque es cierto que si lo lees tienes algo más de material para comentar y argumentar). Por lo que no veo motivo a eso de “si me permitís, me arriesgo a comentar”. No eres la primera (y dudo mucho que seas la última) que, sin haber leído el libro, se pasa por aquí para dar su opinión, enriquecer y aportar otra visión al debate.

      Y sobre lo que expones en las cuestiones, no he encontrado nada con lo que discrepar :).

      ¡Saludos!

      Eliminar
    2. Nadie te va a rectificar Conxi.
      Yo en más de una ocasión (en este y en los otros dos) he comentado algún capítulo sin leerlo, lo pude hacer gracias a los resúmenes y porque el debate me interesaba.
      Una de las características de los libros que hemos elegido es que los capítulos, en gran medida, se puedan leer de manera independiente del resto del libro, ello facilita el desarrollo de este proyecto.
      Saludos a ambas.

      Eliminar
    3. Ok, captada la idea, gracias a los dos :)

      Eliminar
  4. Hola Ines, lo primero decir que para seguir el debate no me hubiera hecho falta leer el capítulo, desde mi punto de vista me parece que está más claro tu resumen.
    El caso es que la lectura del capítulo me ha parecido "pesada" (lo mismo me pasa con libro "el hombre anumérico"), creo que es un tema enormemente interesante pero, quizás por la traducción, me cuesta leerlos. Además en el capítulo he leído algunas frases que me han sonado mal, del estilo "como puede ver querido lector es fácil de entender" ¡y yo no lo había entendido! (como profesor que soy afirmo que esas frases, que pretenden criticar a un tercero, son contraproducentes en libros, exposiciones... ¡son útiles cuando estás seguro de que te han entendido!)

    Y ahora sobre la primera cuestión: desde luego la sociedad (y sobre todo los gestores de alguna parcela social) no deberían ser anuméricos. Los que tengan una carrera universitaria deberían de haber alcanzado esta competencia matemática pero ¿cómo lograrla? Está claro que las clases típicas de matemáticas no sirven para ello (me remito a que muchos de los alumnos de las carreras de Ciencias no lo logran) se necesita trabajar la "cultura matemática". Algo que se podría hacer es "obligar" que se tenga del mismo modo que se obliga a saber inglés (el problema es quién y cómo gestiona esas pruebas/cursos... está claro que en la actualidad la clase política no está a la altura para gestionar está obligación).

    Luego continuaré (desde el móvil me está costando horrores)

    ResponderEliminar
  5. Genial resumen Inés, creo que nadie mejor que tú para hacerlo.

    Este capítulo también me ha gustado mucho porque me ha servido para darme cuenta de que es muy fácil confundirnos con algo en principio tan poco dado a la manipulación como los datos.

    PRIMERA CUESTIÓN. Creo que si juntamos el anumerismo generalizado con lo poco intuitivo que resultan muchas veces las conclusiones estadísitcas, lo tenemos complicado. Es más, en la facultad estudié "algo" de estadística y confieso que sigo cometiendo errores garrafales (de hecho, tras leer este capítulo he escrito una anotación hablando del famoso valor p que saldrá en unos días y me ha costado bastante seguir el hilo...)

    SEGUNDA CUESTIÓN. En mi opinión, las encuestras deben ofrecerse íntegras, es decir, los datos al completo y en bruto para que los investigadores puedan trabajar con ellos. Ahora bien, tener que hacer una advertencia me parece exagerado.

    TERCERA CUESTIÓN. Es un caso totalmente aberrante. Cuando he leido esto no me lo podía creer.

    Bien, en España os puedo "casi" garantizar que un caso así no podría pasar. Aunque también tenemos juicios en los que interviene un jurado popular, en última instancia un juez "profesional" interviene para dictar sentencia. Además, nuestro ordenamiento jurídico exige una prueba clara de la culpabilidad de una persona para que sea condenada (y cuando digo clara digo que los indicios tienen que ser sólidos, y una estadística desde luego que no lo es). De hecho, lo más habitual en nuestro país es que un culpable salga absuelto que un inocente sea condenado...

    ResponderEliminar
  6. Y por cierto, otra cosa que quería comentar es un estudio que me ha dejado de piedra.

    Un análisis realizado por Emili García-Berthou reveló que uno de cada cuatro estudios incluidos en BMJ, una de las cinco grandes revistas médicas, tiene errores en los datos estadísticos, mientras que en la otra revista, la reputada Nature, el 38% de los artículos incluye algún error. Los errores más frecuentes son de redondeo de los números y de transcripción de los resultados.

    Estos errores pueden ser nimios, pero si ya se detectan errores en estos datos verificables, ¿qué habrá en los que no son fácilmente verificables o simplemente no se hacen públicos...? Da que pensar.

    ResponderEliminar
  7. Por cierto, la referencia es:

    Garcia-Berthou, E. y Alcaraz, C. (2004), "Incongruence between test statistics and P values in medical papers". BMC Medical Research Methodology, vol. 4, núm. 1, p. 13.

    Se puede acceder aquí: http://www.biomedcentral.com/content/pdf/1471-2288-4-13.pdf

    ResponderEliminar