[Sujet précédent: "La dernière newsletter de l'OZ est parue."] [Sujet suivant: "Au sujet de Apollo 11 et des premiers pas de l'Homme sur la lune..."]
11/09/2006: "Comment on "A Filmed experiment on telephone telepathy with the Nolan Sisters""
Attention : cet article a été soumis au « Journal of the Society for Psychical Research (JSPR) » pour publication. Il est donc susceptible de modifications liées au processus de revue.
Dans cet article en anglais, Florent Tournus, de l'Observatoire Zététique, fait une critique argumentée du travail de Rupert Sheldrake, célèbre parapsychologue anglais.
In a recent publication entitled “A Filmed experiment on telephone telepathy with the Nolan Sisters”, R. Sheldrake et al. (Sheldrake et al., 2004) report an experiment conducted with the Nolan Sisters in 2003 during a television show, designed to test the hypothesis of telepathy by telephone. According to their statistical analysis of the results of a few trials, the authors conclude “that the results support the hypothesis of telepathic communication”.
Let us briefly recall the reader the experimental procedure described in the original publication of Sheldrake et al. (Sheldrake et al., 2004). Colleen, one of the five Nolan sisters, had to guess, just before picking up the phone, who among her four sisters was calling her. The experiment was filmed and according to the authors any “normal sensory clues” was impossible. 12 successive trials were planed, separated by a five minutes interval, the calling sister for each trial being randomly selected by the throw of a die.
Colleen correctly guessed who was calling in 6 out of the 12 trials, leading the authors to the above conclusion. This above-chance result was claimed to be significant at the p=0.05 level, and consequently the null hypothesis (i.e. that the results are obtained by chance) was rejected in favor of the hypothesis of the highly “extraordinary” and controversial telepathy phenomenon.
However, using the exact binomial test (which has here to be preferred over other statistical tests since within the null hypothesis the results follow exactly the well-known binomial law), the correct p value corresponding to a 6/12 score is in fact p=0.0544. Since this value is strictly greater than 0.05, it is incorrect to conclude that “the results were significant at the p=0.05 level” and it is abusive to talk about “Colleen Nolan's above-chance success rate”.
Moreover, there are some mistakes when the authors write “The positive result could simply have arisen by chance, but the odds against this explanation are 20:1”. Indeed, the first point is that this value is incorrect for two reasons. In probability theory, a probability p corresponds to the odds x:1, meaning x to 1 against, with x=(1-p)/p. Therefore, the rounded p value (p=0.05) given in the article would correspond to 19:1 and not to 20:1. In addition, the true p value must be used, leading in fact to the odds against the explanation by chance of 17:1. Rejecting the null hypothesis because the odds against it are 20:1 is already “risky” (though it seems to be the standard in parapsychology...), but with the odds 17:1 it is even more venturous! The second point, which is more conceptual, is that the p value of a statistical test is not the probability for the null hypothesis (i.e. chance) to be true. The p value gives the probability to obtain, within the null hypothesis (by chance), a score greater or equal to the one observed (for a one-tailed test, which is the case here). This is the only interpretation that can be made, even if of course, the smaller the p value is, the more reasonable it is to think that the null hypothesis is not the correct explanation.
Furthermore, Sheldrake et al. write in their article that “on two occasions Colleen picked up the phone before making her guess, contrary to her instructions”. This is clearly a violation of the experimental procedure and the authors agree that “these two trials should be excluded from the total”. Nevertheless, they do not reconsider the statistical analysis, arguing that with 10 or 12 trials the success rate remains the same: 5 out of 10 instead of 6 out of 12. Using this “spurious argument”, the authors stick to their conclusion that “the results were significant at the p=0.05 level” and do not reject expression like “positive result” or “above chance success rate” as they should have done. It is indeed obvious that the same success rate can be significant for a given number of trials while it is insignificant for another (smaller) number of trials! In this case, although a score of 6/12 was almost significant (p just over 0.05) a score of 5/10, corresponding to the same success rate, is far from being significant at the 0.05 level. Calculations using the exact binomial test show that for such a result, the p value is p=0.0781. This value would have given the odds against the chance explanation (letting aside the fact that this interpretation of the p value is erroneous, as discussed above) of 12:1.
This shows that with a more careful statistical analysis, Sheldrake et al. should have come to this kind of conclusion, stated in a more rigorous way: “the odds against the fact that chance would give such a high score for this experiment are 12:1”. The reader would then have made up his/her mind concerning the soundness of the conclusion that “the results support the hypothesis of a telepathic communication”.
Lastly, the authors themselves admit that cheating was possible (for instance using electronic devices). Although the authors are “confident” on this point and claim that “it is not plausible”, cheating can not be totally ruled out. For the sake of scientific rigor, an experiment where any form of “normal” communication is really made impossible would have been preferable, otherwise any sound conclusion can unfortunately not be drawn from the results...
REFERENCESSheldrake, R., Godwin, H. and Rockell, S. (2004) “
A Filmed experiment on telephone telepathy with the Nolan Sisters”.
J. Soc. Psychic. Res. 68, 168-172.
Author : Florent Tournus, Observatoire Zététique, 2006.
Cet article est aussi téléchargeable en
version .pdf (Acrobat Reader nécessaire).
Réponses: 2 Commentaires
le Monday, October 2nd, Grégory Gutierez a dit
Hello,
félicitation à ce Florent Tournus pour faire l'effort d'envoyer un texte en anglais à une revue de parapsychologie à comité de lecture.
Une première critique à la lecture du texte de Florent, c'est qu'il semble tout de même un peu "jouer sur les chiffres", quand il dit qu'un P=0,0544 n'est plus significatif. Certes, c'est un peu moins significatif que 0,05 tout court, mais tout de même : sur 12 tentatives, 6 ont été des réussites. Meme si l'on ne prend que 10 tentatives, on arrive encore à 5 réussites. Simple chance ? Si c'était là le seul test de "télépathie par téléphone" organisé par Sheldrake, on pourrait le penser (la chance des débutants ?), mais c'est loin d'être le cas, voir par exemple : http://www.sheldrake.org/Articles&Papers/papers/telepathy/exptests_abs.html
où il fait passer plus de 500 tests à 63 participants, en prenant soin de mener une série "témoin" avec des personnes qui ne se connaissent pas entre elles (les résultats correspondent alors au hasard, soit 25% de réussite, tandis qu'avec des personnes qui se connaissent, ils montent à 40%).
Dans une autre série d'expériences (http://www.sheldrake.org/Articles&Papers/papers/telepathy/calls_video_abs.html), il fait passer 271 tests à 4 participants différents (en filmant les participants) et obtient 122 réusites sur 271 tentatives (45% de réussite, au lieu des 25% attendus).
On aurait aimé que Florent s'attaque à ces deus autres papiers, qui sont beaucoup plus représentatifs que le test avec les soeurs Nolan, qui, lui, ne concernait que 12 tentatives, et n'avait été mis en place que sur proposition d'une émission de télévision
Il faut reconnaître tout de même à Sheldrake d'avoir pris le risque de refaire un test pour la télé, car si les résultats avaient été conformes au hasard, il aurait été dans une situation bien délicate. (A moins d'imaginer une collusion de l'équipe télé, ou une tricherie de Sheldrake, mais ce genre de suspicion gratuite resterait à prouver !).
le Monday, October 2nd, Florent Tournus a dit
Bonjour,
Le but de mon article n'est pas de "jouer sur les chiffres", mais de mettre en lumière un certain manque de rigueur dans l'analyse des résultats effectuée par Sheldrake et al.
Si vous pensez que c'est "jouer sur les chiffres", comment expliquez-vous que Sheldrake ne donne pas les vrais chiffres alors ? Si c'est une omission involontaire, alors ça montre une certaine "incompétence" et incite à se méfier d'autres travaux...
Si c'est volontaire, c'est encore plus grave, puisqu'il y a une volonté de dissimulation.
Tout ce que je fais dans cet article, c'est "corriger" l'analyse erronée effectuée par Sheldrake et al. et ainsi inciter le lecteur à être vigilant ! Je laisse le soin au lecteur de se faire une idée : est-ce qu'une cote de 20 contre 1 contre l'hypothèse du hasard c'est la même chose qu'une cote de 12 contre 1 ? La conclusion donnée dans l'article de Sheldrake et al. est tout simplement fausse : les résultats NE SONT PAS en faveur de l'hypothèse télépathique. Cela me semble suffisamment "grave" pour être souligné, qu'on ne dise plus à l'avenir que cet article "va dans le sens de l'hypothèse d'une communication télépathique".
Quant à la question des autres articles de Sheldrake sur ce sujet, j'espère pouvoir écrire une critique prochainement. Je connais évidemment ces articles et il y a des choses à dire dessus ! Avant de soumettre mon "comment", je me suis interrogé sur la marche à suivre : fallait-il attendre et critiquer "en bloc" l'ensemble des articles de Sheldrake sur ce sujet (la télépathie par téléphone) ou déjà pointer du doigt un article "mineur" ?
Voilà ce que j'avais écris à l'époque sur la liste publique zététiciens (http://fr.groups.yahoo.com/group/zeteticiens/message/6901)
"Ca n'est qu'une publication un peu "anecdotique", mais révélatrice de la qualité du travail de Sheldrake (voire du sérieux de la recherche en parapsychologie) !
Il y a également pas mal à dire sur d'autres publications de Sheldrake concernant la télépathie par téléphone, et je ferais une "synthèse" un jour..."
et (http://fr.groups.yahoo.com/group/zeteticiens/message/6949)
"Et puis, comme je l'avais déjà dit, je trouve qu'il serait préférable que je fasse une analyse plus "globale" des travaux de Sheldrake sur la télépathie par téléphone, pour en faire un vrai dossier... Là aussi ça demande du temps.
Maintenant, je suis tout ouï concernant les avis sur la meilleure stratégie à adopter : publier un court article pointant quelques abus/erreurs dans un article "mineur", ou faire une critique plus "globale" et plus étoffée ?"
J'ai finalement pris le parti, après demande de conseils, de commencer par publier un "comment" sur cet article précis. J'espère trouver le temps rapidement de rédiger quelque chose au sujet des autres articles, que je n'oublie pas !
Mais là n'était pas l'objet de mon "comment" et je préfère que l'on se focalise sur l'article que je critique. Si vous n'êtes pas d'accord avec certaines de mes remarques, merci de m'en faire part. Je ne prétends pas du tout "démolir" tout le travail de Sheldrake. Encore une fois, j'attire simplement l'attention sur le fait qu'avec un peu de rigueur, les conclusions qu'on peut tirer sont différentes de celles annoncées par Sheldrake et al.
J'en profite maintenant pour répondre plus précisément à certaines de vos remarques :
-Vous dites "c'est un peu moins significatif que 0,05".
Ca n'est pas "un peu moins significatif", ça n'est pas significatif, c'est tout. C'est une question de convention et de frontière bien définie. Shelkdrake n'avait qu'à donner la valeur correcte de p, sans discuter son caractère "significatif" (hautement subjectif de toute façon...).
-Vous dites : "mais tout de même : sur 12 tentatives, 6 ont été des réussites. Meme si l'on ne prend que 10 tentatives, on arrive encore à 5 réussites. Simple chance ?".
On ne pourra jamais savoir si c'était simplement de la chance. Tout ce que je peux vous dire c'est qu'il y avait environ 8 % de chance de faire aussi bien par hasard ! Maintenant, à vous d'en penser ce que vous voulez. Personnellement, un résultat comme cela ne m'incite absolument pas à rejeter l'hypothèse de la "simple chance" et aucun statisticien ne le ferait. Il faut un résultat autrement plus "extraordinaire" pour privilégier l'hypothèse "extraordinaire" d'une communication télépathique.
-Vous dites "Si c'était là le seul test de "télépathie par téléphone" organisé par Sheldrake, on pourrait le penser (la chance des débutants ?), mais c'est loin d'être le cas".
OK, mais parlons de ce test déjà. Etes-vous bien d'accord pour dire que les résultats ne sont pas en faveur de l'hypothèse télépathique (si vous n'êtes pas d'accord, merci d'argumenter au delà d'un "tout de même, un score de 6 sur 12 ou 5 sur 10 c'est bien", puiqu'un tel argument ne vaut rien d'un point de vue statistique) ? Nous verrons ensuite les autres tests, qui ont été effectués dans un tout autre cadre et qui ne suivent pas le même protocole (qui de toute façon n'est pas très rigoureux puisque les auteurs écrivent qu'il y avait possibilité de tricher...).
-Vous dites "Il faut reconnaître tout de même à Sheldrake d'avoir pris le risque de refaire un test pour la télé, car si les résultats avaient été conformes au hasard, il aurait été dans une situation bien délicate."
Mais les résultats SONT conformes au hasard ! C'est là tout l'objet de mon article, je m'étonne donc de cette remarque ! C'est une très bonne chose que Sheldrake ait fait cette expérience télévisée (on aurait aimé un protocole plus strict), on peut simplement regretter le faible nombre d'expériences menées. Ce que l'on doit retenir de celle-ci, c'est que LES RESULTATS SONT CONFORMES AU HASARD.
Cordialement,
Florent Tournus.