sábado, enero 28, 2012

¿Se puede distinguir agua normal de agua homeopática?

Uno se pone a discutir sobre pseudociencias con un creyente, y según el tema, no es raro llegar al "investiga tú mismo". El creyente reta al escéptico a hacer un experimento para que se convenza de que lo que dice es correcto.

Hay veces que el escéptico acepta el reto, o experimenta por iniciativa propia para mostrar al creyente que se equivoca. Como resulta que el experimento no ofrece el resultado esperado por el creyente, de pronto le aparece una vena escéptica que le hace descubrir miles de fallos (con o sin razón) al experimento, que antes de conocer el resultado no había detectado. En este blog hay algún que otro ejemplo. Mostrarle a un creyente con un experimento la falsedad de una pseudociencia es tarea imposible, porque un creyente asume por defecto que la razón está de su lado. Si el experimento falla, es porque el escéptico no sabe hacerlo, nunca porque su creencia sea incorrecta. Así, cualquier intento parece destinado a ser inútil.

Así que uno se pregunta "¿Hay alguna forma de que un creyente no pueda encontrar resquicio alguno a cómo se ha hecho el experimento?". Puede que sí, y esa posibilidad pasa porque sea el propio creyente quien realice el experimento, mientras que el escéptico se limite a establecer métodos de control, y velar por que se cumplan.

Como ejemplo de lo que digo, les recomiendo este artículo publicado en Revista Cubana de Física para la medida del efecto de la energía piramidal sobre el agua. Basándose en él, se puede adaptar para evaluar otras pseudociencias, como por ejemplo, la homeopatía. Veamos como.

La homeopatía se basa en la dilución de un compuesto en agua hasta límites en los que la probabilidad de encontrar una sola molécula del compuesto original es prácticamente nula. En estas condiciones, la lógica más elemental dice que es imposible que ese compuesto que ya no está en el agua pueda actuar sobre una persona enferma. Pero según los homeópatas, sí. El agua adquiere una "memoria" de que ese compuesto estuvo ahí, y es capaz de sanar a un paciente.

Es decir, el agua de un preparado homeopático es distinta del agua normal, porque produce efectos distintos. Pues probemos que efectivamente, el agua homeopática es distinta del agua no homeopática.

El problema, como decía en la introducción, es que si yo, escéptico recalcitrante, preparo el agua homeopática, por muy bien que siga el manual, llegará un homeópata y encontrará mil fallos (con razón o sin ella) a cómo he hecho el preparado. Así que, dejaremos que un homeópata sea quien lo prepare.

En particular, el homeópata debería preparar una cantidad N de botes. Pongamos N=100. De esos, en 90 de ellos serán de agua normal, y los otros 10 serán de un preparado homeopático, el que quiera, preparado como él prefiera, siempre que cumpla con los postulados homeopáticos.

Los botes será indistinguibles unos de otros, y el homeópata los numerará del 1 al 100, aleatoriamente, y anotará en una hoja aparte si el bote n es agua normal, o un preparado homeopático. Él y sólo él sabrá cual es la relación entre los números de los botes y su contenido.

Ahora, una mano inocente, que no sepa cual es el contenido de cada bote, cambiará la numeración por un par letras, al azar. Es decir, el bote 1 no tiene por qué ser la "AA", ni el 2 el "AB"... Y en un papel aparte anotará la relación entre los números y las letras con que identifica los botes.

Es decir, hasta ahora, un homeópata ha preparado 10 botes con agua "homeopática", y 90 con agua normal. Se guarda en un sobre qué contiene cada bote, y eso sólo lo sabe el homeópata. Una mano inocente recodifica los botes, de forma que sólo ella sabe cual es la correspondencia entre la nueva codicación por letras, y la anterior codificación por números, pero no sabe cuales son agua normal y cuales agua homeopática.

Así, tenemos 100 botes indistinguibles entre sí, identificados por letras. Ahora toca determinar cual es agua normal, y cual no. De nuevo, si yo, escéptico, me pongo a hacerlo, corro el riesgo de que el homeópata me diga que no he usado la técnica adecuada para diferenciar entre ambas aguas. Así que de nuevo, dejaremos que sea un homeópata quien decida qué contenido tiene cada bote. A ser posible, un homeópata distinto al que preparó los botes, y que no sepa ni la relación entre la identificación por letras y la numeración, ni la relación entre la numeración y el contenido de los botes. Es decir, este segundo homeópata se enfrenta de forma ciega al contenido de los botes.

¿Y cómo debe analizar los botes? Pues como más le guste. Espectrometría, radiostesia, ouija, dárselo a pacientes y ver cuales se curan y cuales no... El método que le de la real gana. Lo que importa es que al final del proceso haga una lista relacionando cada bote (identificado por sus letras) con el contenido que ha determinado con el método de análisis que ha elegido.

El último paso, obviamente, es abrir los sobres, y descubrir cuantos botes ha identificado correctamente el homeópata. En función del número de botes correctamente identificados, se compara con lo que se esperaría si la identificación hubiera sido hecha al azar. Aquí entran en juego análisis estadísticos para determinar cual es la probabilidad de acertar el número de botes que se han acertado.
Por convenio, se suele establecer que si el número de aciertos es tal que la probabilidad de obtenerlo al azar es menor del 5%, entonces el resultado es "significativo". En caso contrario, es "no significativo".

Resumiendo:
- Un homeópata prepara 10 botes con agua homeopatizada, y 90 con agua normal
- Los botes y sus contenidos son indistinguibles, y se etiquetan al azar entre el 1 y el 100 anotando su contenido, y guardándolo aparte. Sólo una persona conoce esta relación
- Otra persona recodifica los botes, sin conocer su contenido, y guarda esta relación. Sólo una persona conoce esta relación
- Otro homeópata trata de identificar el contenido de los botes
- Se comprueba el número de aciertos, y se establece si el experimento ha sido "significativo" o "no significativo".

Como ven, el experimento está hecho enteramente por homeópatas, y el malvado escéptico de turno no participa en absoluto, ni siquiera en la codificación de las muestras. Sólo tiene que tener el ojo puesto para comprobar que se respeta el protocolo de actuación, y no hay ni trampa ni cartón.

¿Y con un experimento de estos se podría convencer a un creyente o a un escéptico de que está equivocado? Lo cierto es que con un sólo experimento, no. El valor límite del 5% para determinar "significativo" o "no significativo" es un valor arbitrario que se toma por convenio. Con el número de aciertos, se calcula la probabilidad p de que ese resultado haya sido fruto del azar. Obviamente, cuanto menor sea p, quiere decir que es más probable que los aciertos hayan sido porque el análisis ha podido distinguir entre un tipo de agua y de otra. Pero aún así, hay una probabilidad no nula de que un resultado "significativo" haya sido producto del azar, y que no haya diferencia entre las aguas.

Por otro lado, si sale un resultado "no significativo" (voy a hacer de adivino), aparecerá algún homeópata que identificará mil cosas que fueron mal hechas por sus otros colegas que hicieron el experimento. Él lo hubiera hecho de otra forma.

Un sólo experimento no suele clarificar nada. Pero los resultados "significativos" son siempre interesantes porque invitan (o casi, obligan) a repetir el experimento para comprobar si el resultado se repite. Y realmente, tampoco es mala idea comprobar resultados "no significativos".

Total, que lo mejor para zanjar el asunto sería repetir el experimento un número elevado de veces: con los mismos homeópatas, y con otros distintos (cada uno con su forma de preparar y analizar los preparados). Cuantos más mejor. Y tras hacer un número elevado de veces el experimento, entonces se podrá comprobar cuantos experimentos han sido "significativos" y cuantos "no significativos".

Si el número de experimentos significativos es mayor de ese 5%... pues los homeópatas estarán de suerte, porque tendrán una buena evidencia de que el agua homeopática puede tener propiedades distintas a las del agua normal, y los escépticos no podríamos ignorarlo.

Pero si el número de resultados "significativos" es del 5%, entonces mala suerte , porque eso es justo lo que se espera por azar, y por tanto, quedaría determinado que el "agua homeopática" es indistinguible de "agua normal", no tienen propiedades distintas... y por tanto no pueden producir efectos distintos.

¿Y con este resultado se podría convencer a un homeópata de que está equivocado?... pues no creo. Pero quedaría al desnudo que no tienen evidencias, sino sólo creencias.

Por último, esto es sólo un ejemplo de cómo hacer el experimento. No tienen por qué ser 90/10 botes. Puede ser otro número, otra proporción, se podría pensar en hacerlo con pastillas, que es el formato en que se venden los preparados homeopático. Lo importante es la idea de que sean los propios homeópatas quienes realicen el proceso, poner los controles adecuados, y sobre todo, entender la parte estadística del experimento. Básicamente, esto fue lo que hizo Randi con Beneviste.

Con esto en mente, incluso es posible idear experimentos similares para otras pseudociencias.