Fraude et science….
J’ai le sentiment que les affaires de fraude scientifique se multiplient ces derniers temps. La livrée de Nature de cette semaine offre deux beaux exemples, à des degrés très différents.
- L’affaire la plus grave concerne des physiciens turcs, accusés de plagiat. 70 articles ont été ainsi retirés d’arXiv (la base de données d’articles de physique) après enquête. La méthode employée était simple : attendu qu’il vous faut des papiers pour avoir un job (ou simplement finir votre thèse), attendu que de toutes façons, personne ne lit vos papiers dès qu’ils deviennent un peu compliqués, les “scientifiques” concernés ont décidé de s’intéresser à un domaine complètement obscur de la physique (la version de Moller de la relativité générale, ne me demandez pas ce que c’est) , de repomper purement et simplement d’autres articles en coupant les parties les plus techniques et de les publier sur arXiv ou dans certaines revues obscures. “They’re isolated, their English is bad, and they need to publish. So they plagiarize, I guess.” nous dit le professeur ayant découvert le pot aux roses. Comme quasiment personne ne lit les papiers de ce domaine, le risque était limité. Le plus cocasse est que deux groupes ont plagié des papiers du domaine, et que ces deux groupes étaient concurrents ! Comment les plagiaires ont-ils été découverts me direz-vous ? Et bien, les étudiants en thèse n’y connaissaient rien de rien à la physique, et étaient incapables de répondre lors de leur soutenance à des questions élémentaires sur la mécanique newtonienne du niveau du lycée !
- Le deuxième exemple est à mon avis plus subtil et illustre bien certaines dérives actuelles du publish
andor [1] perish. Il s’agit d’une remise en cause des résultats d’un des articles dont j’avais parlé sur ce blog à propos du séquençage du génome de Néandertal. A l’époque, deux articles étaient parus, l’un dans Science, l’autre dans Nature. L’article de Nature (Green et al.) affirmait détenir des preuves de l’hybridation entre l’homme moderne et l’homme de Néandertal. Il se trouve qu’une autre étude sur le même échantillon a montré depuis que les échantillons prétendûment néandertaliens avaient été en fait contaminés par l’ADN d’hommes modernes. Les résultats de l’étude de Nature étaient donc partiellement, voire complètement faux. Plusieurs choses me semblent intéressantes dans cette histoire.
D’abord, tous, moi y compris, nous sommes précipités sur les conclusions plus spectaculaires de l’article de Nature (hybridation qu’ils disaient) sans voir que l’article de Science ne confirmait en rien cette étude. Regardons avec le recul la couverture stylisée du mois en question. Relisons les envolées enthousiastes sur la méthode révolutionnaire du “pyroséquençage” permettant de séquencer plus vite et mieux les séquences (pas comme les auteurs de l’article de Science qui ont utilisé la méthode traditionnelle beaucoup moins “efficace”). L’équipe ayant publié dans Nature a changé ses méthodes d’analyse juste après la publication de l’article, disant soupçonner des problèmes de contamination. Je ne crois pas que compte-tenu des résultats de leurs études, ils n’aient pas eu de doutes plus tôt. Si vous trouvez des séquences communes entre Sapiens et Néandertal, le premier truc à faire est de blinder le résultat pour exclure la contamination. Seulement, ils étaient en compétition avec un autre groupe, il fallait publier vite; tant pis, on vérifie comme on peut et on se lance. Je ne les crois pas de mauvaise foi, il ne s’agit pas de fraude, mais je pense simplement que c’est une illustration terrible du problème du “publish or perish” qui fait qu’on publie vite pour avoir la prééminence ou simplement parce que si vous ne publiez pas vous n’êtes pas considéré comme productif. Et puis, quelques années après leur publication, certains papiers deviennent notoirement faux [2] - Petit bonus : Le Monde nous informe que les cellules clonées par l’équipe de Hwang étaient en fait issues… de parthénogenèse ! Ou comment le désir d’obtenir un résultat trop spectaculaire peut obscurcir une vraie découverte scientifique un peu moins forte, mais très intéressante.
[1] Merci Timothée !
[2] j’en profite pour dire que je fais partie de ses angoissés qui ont peur de publier et vérifient tous leurs résultats 3-4 fois par des tas de méthodes différentes quand je peux. Cela n’exclue pas qu’un jour je publie un truc faux, et c’est mon cauchemar…
Popularity: 19% [?]
September 6th, 2007 at 8:43 am
Publish AND perish? L’équivalent labo du “voir Venise et mourir”? Je vais laisser tomber avant de finir ma publi si c’est ça ^^
Bon billet, sinon…
September 6th, 2007 at 9:15 am
Oui, c’est sûr que les temps vont être durs pour l’équipe s’étant gouré… Mais encore une fois, je pense que c’est vraiment parce que quelque chose ne tourne pas rond dans la recherche de productivité scientifique.
September 6th, 2007 at 10:01 am
Salut Tom,
je pense que l’horreur n’est pas de publier un truc faux, mais de s’en rendre compte et de ne pas avoir le courage de publier un rectificatif.
September 6th, 2007 at 10:14 am
@ Oldcola : oui, tu as raison pour ce cas précis. En l’occurence, je reconnais qu’en ce qui me concerne, je reste très scolaire et très français dans ma façon d’envisager mon propre travail (genre c’est une catastrophe si je publie une bêtise).
September 7th, 2007 at 2:48 am
Je constate que si les articles plagiaires ont été retirés d’ArXiv, ils n’y restent pas moins référencés. C’est important pour la mémoire de la recherche, et c’est une politique qui prouve qu’ArXiv n’est pas juste un entrepôt (repository) de documents. Tant mieux !
September 7th, 2007 at 10:39 am
Plutôt que de laisser la référence sans les articles, pourquoi ne pas leur adjoindre une première page expliquant qu’ils sont frauduleux?
Un peu comme les papiers sur le site des PNAS, vous voyez le genre, sauf qu’au lieu de donner les infos/copyright, on retrace rapidement le problème. Ca doit être faisable, techniquement parlant…
September 8th, 2007 at 8:50 pm
Mais, et Nature alors! Où est leur responsabilité là-dedans? Ils ont des éditeurs, des réviseurs… est-ce que ça ne faisait pas aussi bien leur affaire d’avoir cette page couverture? Ce n’est pas la première fois que Nature publie des articles frauduleux, ça devient même presque une habitude. C’est trop facile de se laver les mains en mettant toute la faute sur les seuls auteurs.
September 9th, 2007 at 4:35 pm
Pour le cas de Nature, c’est tout le problème du système des revues (et accessoirement de leur classement). Tout le monde critique tout le temps Nature. Mais tout le monde veut publier dans Nature parce que c’est la revue la plus lue. Cela ne risque pas de changer du jour au lendemain, donc en attendant, Nature est assis sur un tas d’or.
Accessoirement, en général, les problèmes :
- ne sont pas aussi flagrants
- ne sont pas spécifiques à Nature; au contraire, plus le niveau de la revue baisse, plus la concentration de bullshit augmente.
J’ajoute enfin que le vrai contrôle scientifique n’est pas fait par la revue mais par les pairs scientifiques. Rappelons que ceux-ci sont bénévoles. De plus le fait d’être un bon reviewer n’est absolument pas valorisé : c’est plutôt une tâche un peu ingrate qui emmerde tout le monde, doit être faite par tous pour faire fonctionner le système .
September 13th, 2007 at 2:56 am
Timothée > Parce qu’ArXiv n’a pas à proprement parler de politique éditoriale, à la différence d’une revue. Ils n’ont pas d’abonnés, pas de directeur de rédaction et peu de force de contrainte sur les auteurs. Ils nettoyent les cas évidents de fraude en laissant la référence (ce qui est le minimum, certes, mais doit être salué), voilà. Une revue, elle, se doit de donner des explications à son lectorat payant, quand son système de “peer review” a failli et que sa “responsabilité” a été engagée. Comme tu le remarques, c’est souvent ainsi que cela se passe.
Tom > “plus le niveau de la revue baisse, plus la concentration de bullshit augmente” : les chiffres (voir un mien billet) semblent montrer que les revues à fort impact (”Nature”, “Cell” et les autres) ont une plus grand probabilité de voir leurs articles rétractés. Est-ce parce que celles-ci rétractent alors que les autres “laissent courir”, parce que ce que tu nommes “bullshit” ne correspond pas à des fraudes avérées ou parce que ton intuition est fausse ? Je te laisse répondre…
September 13th, 2007 at 9:59 pm
Enro : pour moi, le “bullshiting”, ce n’est pas forcément les papiers faux, mais par exemple les papiers qui clament beaucoup plus qu’ils ne démontrent, les papiers dont les auteurs recyclent la même idée depuis 20 ans, ou les papiers simplement sans valeur ajoutée, sans aucun intérêt scientifique qui ne font que gonfler la liste de publis des auteurs. Je préfère cent fois un papier qui prend des risques et propose des idées sans tout vérifier que cette espèce de consensu mou et peu exigeant que j’observe dans ma discipline. Autre aspect : dans mon domaine, les standards sont parfois absurdes, voire dénués de tout intérêt scientifique : la nouvelle mode c’est par exemple de tracer des diagrammes de bifurcation sur les réseaux biologiques, or une bifurcation de Hopf, je sais ce que c’est, je n’ai pas besoin que tous les papiers me l’illustrent avec XPPAUT . Par contre, aucun effort pour essayer de simplifier les équations ou juste essayer de décrire un peu plus quantitativement les modèles : pourtant intégrer une équation numériquement, ce n’est pas la comprendre.
Du coup, je pense qu’il y a trop de revues scientifiques, que les gens devraient beaucoup moins publier et essayer de plus concentrer leurs efforts. Après tout, Einstein lui-même a dit qu’il n’avait eu que quelques idées valables dans toute sa vie (certes, 4 ou 5 dans la seule année 1905, mais tout le monde n’est pas Einstein). Tout cela n’incite pas du tout à faire des trucs vraiment intéressants, voire pénalise carrément les gens qui essaient de prendre des risques et qui se retrouvent sans publier pendant quelque temps.
September 14th, 2007 at 3:20 am
Je suis assez d’accord avec tout ce qui est dit,
je voudrais préciser une chose : les éditeurs de Nature ont également une responsabilité, j’ai publié personnellement quelques lettres à Nature, et j’ai été surpris de constater au moment de l’édition par la revue, que sous prétexte de corriger mon anglais, des “claims” relativement modérés, étaient assez systématiquement réécrits de façon plus appuyée, et moins prudente, comme si le fait que le manuscrit ait été approuvé par des referees rendait le contenu plus solide, et donc qu’on pouvait “se lacher”. Ce n’était pas de mon fait. Ce n’est pas du tout anodin.
J’en profite pour dire également qu’ayant soumis un jour un article à Science, je l’ai vu refusé au niveau éditorial, avec une “lettre type”. Etant sûr de mon coup sur le plan du contenu scientifique et trouvant cela pas normal, j’ai envoyé un message de protestation en disant que ce n’était pas normal qu’un article pareil ne soit même pas adressé à des pairs. Après un ou deux allers retours assez vifs, l’éditeur m’a adressé les “rapports succints”, demandés à deux rapporteurs anonymes, qui en fait avaient été demandés pour faire un refus rapide au niveau éditorial (et je crois me souvenir que le refus était basé sur la seule lecture de l’abstract). Par conséquent, le pseudo refus éditorial était basé en fait sur un avis de “pairs” secret, auquel je n’avais pas eu accès, et auquel je n’ai pas été autorisé à répondre quand ils me les ont finalement, sous le coup de l’énervement, donnés (bien qu’ils fussent absurdement contradictoires : l’un disant comme d’habitude “c’est faux”, l’autre disant “c’est bien connu”), ce dernier message valant fin de discussion, et j’étais prié de ne pas insister.
Moralité : il ne faut pas croire que les “grandes” revues scientifiques soient des modèles de déontologie
September 18th, 2007 at 12:15 am
La revue par les pairs expliquée à mes enfants…
[...] Et pour une illustration de ce texte, lui-même déjà largement inspiré par le vécu de l’auteur, je renvoie vers une intervention récente de Vincent Fleury, nous parlant de ses expériences avec “Nature” et “Science”….
October 14th, 2007 at 9:57 am
[...] la semaine : dans le courrier des lecteurs de la semaine, un des scientifiques accusé de plagiat dont j’avais parlé il y a quelque temps donne sa version des faits. Le titre de son courrier parle de lui-même : Plagiarism? No, [...]
October 23rd, 2007 at 9:13 pm
[...] : j’ajoute que contrairement à la fois précédente, les résultats semblent assez blindés pour exclure une contamination par de l’ADN moderne, [...]