Guía rápida para conocer la credibilidad de una fuente

Estamos expuestos a una evolución constante en el sector de la actividad física que tiene más que ver con las tendencias cíclicas propias de la moda que con la evolución científica propiamente dicha. Cada vez que aparece algo nuevo que promete resultados que nunca antes hemos obtenido, en la mayoría de los casos está relacionado con estrategias de marketing que pretenden relanzar las ventas, al igual que ocurre cuando vuelven los pantalones acampanados.

Es por ello que, para evitar que nos engañen, resulta fundamental analizar cada una de las promesas que nos hace la publicidad de toda nueva técnica, producto o tecnología de entrenamiento. De hecho, si aplicamos la guía que utilizamos en PERFORMA, observaremos que gran parte de las novedades en el mercado no pasa del quinto punto, en muchas ocasiones ni siquiera del primero. 

La guía es sencilla. Empieza desde el primer punto. Si la respuesta es satisfactoria pasa al siguiente. En caso de ser negativa, abandona el test. Cuanto más lejos llegue una determinada promesa, más probabilidades existirán de que esté relacionada con el conocimiento actual y no tanto con un posible engaño o estafa.

1. SIEMPRE, SIEMPRE, SIEMPRE PIDE LA CITA O REFERENCIA DEL ESTUDIO

En caso de que te la den, pasa al siguiente punto. Si no, abandona inmediatamente el test y aquello que estés haciendo y para lo que has pedido la cita. Te ahorrarás seguramente una cantidad importante de dinero, tiempo, esfuerzo y disgustos.

Debe ser un estudio publicado en una revista científica. No sirve la experiencia personal puesto que esta misma experiencia dice en muchos casos que se puede predecir el futuro observando los astros, las lineas de la mano o incluso en un bar del barrio de Malasaña en Madrid, según me cuentan, los posos del café. Por norma general, quien esgrime el argumento de la experiencia personal es porque carece de respaldo científico o, al menos, no sabe si cuenta con él. 

El método científico, bien aplicado, aísla las diferentes variables que pueden afectar al resultado, de manera que cuando hay una mejora significativa sólo pueda deberse a aquello que se está investigando. No hay que olvidar que la mayoría de resultados observados son multifactoriales y la experiencia personal carece de la capacidad para aislar las diferentes variables. Si bien es cierto que la ciencia parte del empirismo, igual de cierto es que la inmensa mayoría de hipótesis basadas en la experiencia se acaban descartando al no superar la investigación científica más rigurosa.

2. PUBLICACIÓN

Debe haberse publicado en una revista científica de prestigio. No sirve una web personal, de una empresa, o redes sociales aunque se utilice la excusa de que de esta manera todo el mundo podrá acceder a la información. El método científico requiere el escrutinio del resto de la comunidad científica, de tal forma que se someta a examen la rigurosidad de la metodología, los resultados obtenidos y las conclusiones de los diversos estudios. Asimismo, un estudio debe ser reproducible para que sus resultados sean contrastados y esto sólo es posible si se publica en un medio serio, donde el resto de la comunidad científica pueda acceder a la información.

3. ¿QUÉ DICE EL ESTUDIO?

Recientemente leí que un conocido método de entrenamiento abdominal mejoraba del rendimiento sexual. Sorprendentemente, incluían la referencia y, al revisarla, observé que en ningún momento en el estudio se había analizado dicha técnica de entrenamiento en concreto, sino que se refería a la actividad física en general. Supongo que quienes citaron el estudio pensaron que poner la referencia les daría una mayor credibilidad y que nadie lo comprobaría.

4. CONFLICTO DE INTERESES

Todos los estudios cuentan con un apartado al final del texto en el que se relatan los posibles conflictos de intereses de sus autores así como la fuente de financiación. Si algunos de los autores se beneficia personalmente con los resultados del estudio, o bien recibe financiación de alguna empresa, industria o lobby que lo haga, el estudio carece de credibilidad y debe abandonarse en este punto el examen.

5. CREDIBILIDAD DE LA REVISTA

Tal y como explicaba anteriormente, el método científico se sostiene en publicaciones existentes para intentar llegar a conclusiones más complejas y sólidas. Para ello se basan en los estudios anteriormente publicados para argumentar las diferentes hipótesis, así como para la realización de las revisiones de la bibliografía con las que se pretenden alcanzar conclusiones más rigurosas. Cada vez que un estudio se menciona recibe una citación. Cuantas más citaciones recibe un estudio, más credibilidad le otorga la comunidad científica, puesto que se ha utilizado en un mayor número de investigaciones posteriores.

Existen diferentes índices que recogen el número de citaciones y, mediante un algoritmo, lo traducen en un coeficiente que trata de cuantificar la solidez y credibilidad de una revista. El índice más importante es el JCR (Journal Citation Reports) a cuyo coeficiente se le denomina “índice o factor de impacto”. Cuando una revista se encuentra en este índice, se dice que está indexada al igual que la totalidad de sus estudios. Es por ello que muchas veces, quien pide una referencia exige, que el estudio o la revista que lo publica estén indexados. También es criterio habitual de inclusión en las revisiones que menciono en el siguiente punto.

Además, la revista debe estar sometida a revisión por pares (Peer review), es decir, que una serie de científicos expertos en la materia que hayan revisado la rigurosidad del estudio, su metodología, estadística, resultado y conclusiones. No se conoce la identidad de estos revisores, lo que garantiza la limpieza al proceso al evitar que puedan ser comprados o coaccionados. En la presentación de toda revista científica se indica si funciona mediante la revisión por pares. Al estar publicadas normalmente en inglés, busca el término ‘Peer review’.

En caso de que la revista donde se encuentra el estudio sea ‘peer review’ y se encuentre indexada en el JCR y, por tanto, cuente con factor de impacto, salta al siguiente punto.

6. TIPO DE ESTUDIO

No todos los estudios son iguales. Por norma general, aquellos con muestras más grandes y representativas de la población que se intenta analizar tendrán resultados más sólidos. Si lanzo una moneda al aire 10 veces es posible que me salga 7 veces cara, lo que no significa que se haya demostrado que en un 70% de las ocasiones que lance una moneda saldrá cara. Cuantas más veces lance la moneda el resultado se irá acercando cada vez más a la realidad. Cuando no conocemos esta realidad, es importante que la muestra sea lo más cuantiosa posible puesto que los resultados serán más fiables.

Esto me lleva al nivel más riguroso de publicación, que no es otro que las revisiones en las que se analiza toda la bibliografía existente que cumple con los criterios de inclusión. Dentro de estas revisiones, son los metaanálisis aquellos que mayor rigurosidad y credibilidad tienen debido a que al juntar las muestras de un gran número de estudios se alcanza una representatividad mucho mayor.

También, en aquellas disciplinas que lo permiten, un estudio que utilice una técnica de enmascaramiento como, por ejemplo, un doble ciego, cuenta con una mayor credibilidad que aquellos que no lo utilizan. Un doble ciego consiste en que ni investigador ni sujeto conocen si en su caso se está utilizando aquello que se está tratando de analizar o un placebo. Por desgracia, esto se puede utilizar fácilmente en el campo de la medicina o nutrición, pero resulta complicado en el campo del entrenamiento y la actividad física por causas evidentes.

7. EXCEPCIONES Y MATICES

Es posible que nos encontremos con un estudio que apruebe todos los puntos anteriores. Llegado a este nivel, hay dos situaciones que debemos identificar y evitar.

Cherry picking

Consiste en elegir de todos los estudios existentes sólo aquel que nos interesa en función de la promesa o argumento que queremos defender. Si un estudio dice algo que contradice el resto de la bibliografía que cuenta como mínimo con la misma rigurosidad,deberá entenderse como una anomalía y no como un indicio de que el resto están equivocados o son fraudulentos.

Falacia de publicación

Tal y como explicaba recientemente en Cadena SER el investigador del CSIC JM Mulet, autor de libros como “Medicina sin engaños” y “Comer sin miedo”, un estudio con resultados positivos resultará más atractivo para las revistas científicas. Si un estudio que trate de analizar la capacidad de beber agua de lluvia en la cura del cáncer obtiene un resultado negativo, no lo publicará nadie y es posible que hasta se rían de él. Sin embargo, si se realiza un estudio que observa una curación del cáncer por ingerir agua de lluvia y la metodología es aparentemente seria, saldrán novias por doquier. Es por ello que algunos investigadores sin escrúpulos que pretenden ganarse un prestigio que no se merecen pueden llegar a modificar un estudio para obtener los resultados deseados y así facilitar su publicación.

Comentarios

comentarios