Manuel Durand-Barthez








télécharger 79.54 Kb.
titreManuel Durand-Barthez
page1/3
date de publication04.03.2017
taille79.54 Kb.
typeManuel
b.21-bal.com > loi > Manuel
  1   2   3
Les nouvelles formes d’évaluation scientifique : quelles évolutions en sciences, technique et médecine ?
Manuel Durand-Barthez,

Université Paul Sabatier (Toulouse 3)

Exiger d’un chercheur qu’il soit cité dans des revues à fort facteur d’impact est un acte institutionnel courant, supposé garantir d’une part un avancement individuel plus rapide au chercheur lui-même, et d’autre part la consolidation des arguments de demandes de subventions pour son équipe.

Les instances d’évaluation auraient tendance à privilégier la méthode bibliométrique fondée sur le recensement statistique rapide des citations. L’aisance et la célérité avec laquelle ce procédé s’exécute le font sans doute préférer à l’examen approfondi des contenus, pénalisant sur la durée et nécessitant la constitution de comités de lecture ad hoc. S’il est vrai que rapide ne signifie pas hâtif ou expéditif (le premier qualificatif recouvre objectivement la notion de durée ; les deux autres peuvent être interprétés comme des procès d’intention) il n’en reste pas moins que cette méthode revêt en apparence un caractère plutôt quantitatif que qualitatif à proprement parler.

Dès 1960, l’Institute for Scientific Information (I.S.I.) de Philadelphie, sous l’impulsion d’Eugene Garfield, a mis en œuvre le Science Citation Index (SCI) pour l’évaluation des auteurs, suivi en 1975 par le Journal Citation Reports (JCR) pour celle des revues 1.

On connaît la très forte influence exercée par l’ISI sur la communauté scientifique internationale. Le modèle statistique qu’il a mis en œuvre conditionne l’avancement des chercheurs dans un nombre croissant de pays. Les administrations qui en ont la tutelle utilisent fréquemment la combinaison Citations des articles + Facteur d’Impact des revues dans lesquelles ils paraissent (Impact Factor) pour « noter » ces chercheurs.

Si nous sommes amenés à développer ci-après la déclinaison de quelques critiques à l’encontre de ce modèle, c’est pour ensuite explorer la voie de nouvelles approches :

  • l’algorithme mis au point sur le site Citebase2

  • Scholar Google, avatar du moteur généraliste standard lancé sur le Net en novembre 2004

  • deux alternatives récentes à la définition d’un facteur d’impact basée sur l’évaluation sur les Auteurs d’une part et les Sources de l’autre:

    • le facteur h : proposé par J.E. Hirsch [Hirsch, 2005], ce facteur est lié à la production individuelle d’un chercheur

    • le Journal Status : proposé par l’équipe de J. Bollen [Bollen et al., 2006] , cet indicateur est basé sur l’évaluation des titres

  • nous mettrons enfin l’accent sur le modèle d’une évaluation effectuée par un « collectif », adopté par la Faculty of 1000 dans les domaines biomédicaux. Son originalité par rapport aux précédents réside dans le primat de la qualité du contenu sur le principe statistique de la citation.


Mais d’abord, tentons de synthétiser une approche critique du modèle « historique », le modèle de l’ISI.


  1. Le modèle de l’I.S.I.


Trois types d’observations critiques sembleraient émerger : le premier repose sur le mode de calcul, le second sur des critères purement éditoriaux liés au support de l’information, le troisième sur des problèmes de relations humaines.


  1. Le mode de calcul3 :

    1. de 1961 à 1996, le SCI ne tenait compte que du premier auteur cité dans la séquence des noms d’auteurs figurant en tête d’un article. Ce problème est résolu depuis 1997 mais laisse encore des traces particulièrement sensibles dans la communauté scientifique. En effet les commissions d’évaluation ne cherchaient pas toujours à dépasser la première lecture des tableaux du SCI., et ce vice de forme a pu inciter les équipes à débattre sur le nom qui devait figurer en tête de liste au moment de la publication d’un article. Depuis 1997, lorsqu’un auteur figure en position n+1, son nom est mentionné en caractères minuscules sur les tableaux de référence, précédé d’un point de suspension. De plus, actuellement, les équipes de recherche constituées d’un très grand nombre d’auteurs s’identifient souvent par le biais exclusif de sigles qui se substituent à l’énumération des noms et qui semblent fréquemment omis par le SCI [Dickersin et al., 2002].

    2. le calcul du Facteur d’impact (Impact Factor) d’une revue table sur les deux années de publication précédant l’année de référence du Journal Citation Reports. On totalise le nombre d’articles publiés par cette revue dans ce délai de deux ans. On considère ensuite le nombre total de fois où ces articles sont cités dans la même période par l’ensemble des quelque 6000 revues analysées par le JCR. Et l’on divise ce second chiffre par le premier pour obtenir le facteur d’impact4. Le délai de deux ans est en soi critiquable car certaines disciplines pourraient mieux supporter une période de cinq ans.




  1. Les critères éditoriaux5 :

il s’agit de considérations d’ordre purement arithmétique dans la prise en compte des types de support. Un mensuel a plus de chances d’être cité qu’un semestriel ; un titre de revue qui change remet son compteur à zéro pour l’évaluation du facteur d’impact ; un nouveau titre (notamment « libre » de type OAI) doit effectuer un parcours minimal d’environ cinq ans pour être « connu » etc… Autant de variables indépendantes du contenu mais relevant du seul « contenant ».


  1. Le facteur humain :

C’est sans doute le plus important. Quarante ans de fonctionnement policé par l’ISI ont fini par créer un espace cooptatif quasiment tautologique, et celui-ci est de plus en plus critiqué. En 2002 et 2003, d’éminents chercheurs ont initié un débat significatif sur ce thème dans la revue Nature, à travers une chronique intitulée [Errors in citation statistics, 2002] (le titre est suffisamment éloquent). Peter Lawrence6 n’hésite pas à s’exprimer sur le népotisme croissant qui ronge les comités de lecture [Lawrence, 2003], et David Colquhoun7, évoque des problèmes identiques sous un titre parlant : Challenging the tyranny of impact factors [Colquhoun, 2003].


  1. L'alternative: pourquoi ?

Il va de soi que l'analyse experte d'un papier soumis s'impose absolument. Qu'il s'agisse d'examiner la cohérence scientifique de son contenu à la lecture des formules ou du raisonnement, ou même de la réitération des expériences dans des circonstances similaires, cela peut être effectué dans des conditions à la fois courtoises et raisonnables par un groupe anonyme (vis-à-vis de l'auteur) de referees patentés, que cette fonction généralement bénévole peut honorer dans leur carrière. On peut citer l'exemple assez libéral des règles observées auprès du groupe BioMed Central8 : les auteurs proposent quatre noms de referees potentiels qu'ils jugent compétents dans le domaine, sans lien aucun avec eux, ni hiérarchique ni institutionnel. Le Comité peut toutefois se réserver le droit d'en nommer d'autres. Des témoignages convergent sur le bon fonctionnement du système.

Toutefois, ce protocole assez "fluide" n'est malheureusement pas généralisé. Ces deux dernières décennies ont vu s'accroître de façon significative le nombre des chercheurs et des applications industrielles. Peu à peu, l'examen serein et impartial devient perturbé par des considérations exorbitantes du seul domaine scientifique, même si les relations humaines ont toujours exercé un poids non négligeable. Le facteur d'impact de l'analyse quantitative, passablement expéditive et peu nuancée, a tendance à primer sur l'aspect scientifiquement qualitatif du processus et les alternatives offrent des moyens de contrer un certain nombre de dérives suceptibles de s’accroître au fil du temps9.

Tout d’abord, les referees ont un statut hybride, dans la mesure où leur fonction d'auteur et souvent de responsable d'équipe peut empiéter sur leur activité au sein d'un tel comité. Les revues à fort facteur d'impact ont aussi tendance à surcharger leurs comités de rédaction, ce qui ne facilite pas la sérénité de l'examen. Certains referees sont contraints d'émettre un avis tranché en moins de trois quarts d'heure de lecture [Lawrence, 2003], demandant à l'auteur candidat de faire des modifications notables, voire de renouveler telle ou telle expérience. Il arrive que l'éditeur demande à l'auteur de renvoyer son manuscrit corrigé après un premier examen, à l'ensemble des referees et d'obtenir leur accord global (BioMed va jusqu'à deux navettes).

L'auteur peut à bon droit s’interroger sur l'utilité réelle des modifications requises et, plus encore, des nouvelles expériences sollicitées. Est-ce du temps perdu, surtout vis-à-vis de referees qui ne sont peut-être pas totalement au fait de sa spécialité ? Investir du temps dans l'envoi à d'autres revues, c'est, pour l'impétrant, perdre l'opportunité de satisfaire éventuellement une revue à fort facteur d'impact, dont le titre dans sa bibliographie personnelle peut optimiser son CV. Dans certains cas, ce sont plusieurs mois de travaux qui sont aussi perdus et l'auteur encourt le risque de se voir dépasser entre-temps dans le même domaine scientifique par des laboratoires concurrents. D'une façon générale, présenter son papier à plusieurs revues à la fois, dont les thématiques peuvent se chevaucher sans être identiques, fait courir un certain risque aux auteurs dont la recherche originale sort des sentiers battus10. C'est souvent le fait de chercheurs peu aguerris aux politiques éditoriales qui s'exposent inutilement et dangereusement en éparpillant leur envoi. Plus la teneur des recherches est diffusée sans certitude de publication, plus elle devient vulnérable.

Autre question délicate : un referee peut-il raisonnablement soutenir le papier d'un chercheur "exogène" susceptible de nuire aux travaux en cours de son propre laboratoire ou à ceux de ses doctorants ? Une telle occurrence peut expliquer la différence entre deux avis émis sur le même papier. L'examen par trois referees permet l'approbation ou le rejet par deux sur trois. S'il est assorti d'observations pertinentes et détaillées, cela permet en outre d'éviter à l'impétrant – ce qui arrive parfois – de se retourner vers le comité de lecture, de le "démarcher" abusivement, de flatter les referees a priori favorables, de dénigrer les instigateurs de rejet, et de demander la désignation de tel ou tel autre referee. Certains auteurs vont même jusqu'à harceler des éditeurs pour identifier le nom de referees rétifs restés naturellement anonymes. Car l'anonymat reste « théoriquement » de mise. L'objectivité est aussi émoussée par la cooptation entre referees : se fréquenter régulièrement, s'inviter les uns les autres à des colloques, attribuer un prix ou "nominer" tel ou tel, peut opacifier le suivi des examens.

Des litiges peuvent aussi toucher l'appropriation indue de la teneur d'un papier par le referee, qui profitera des atermoiements dans le processus d'examen pour publier sur le sujet en s'arrogeant la primeur. C'est l'éternel problème de la confidentialité qui, dans certains cas joue un rôle majeur en termes de propriété industrielle : satisfaire l'exigence d'un avancement de carrière rapide en soumettant prématurément un projet de publication ? Courir le risque d'un dérapage en matière de dépôt de brevet ?

Enfin, outre l’évaluation liée à l'aspect strictement technique du papier, on demande de plus en plus au referee de juger si l'article pourrait être valablement appréhendé par un lecteur d'une revue du type de Science, i.e. « générale d'excellent niveau », autrement dit par un éventail de destinataires plus large. C'est là une (autre) source d'arguments de rejet plus ou moins spécieux, car ils sont exorbitants de la scientificité stricte du document.

Sortons cependant de ces configurations passablement négatives, bien réelles quoiqu’un peu caricaturales, et voyons maintenant quelles sont les alternatives à un système fortement influencé, qu'on le veuille ou non, par les retombées de l'Impact Factor.
2.1 Citebase
La première alternative à laquelle nous faisions initialement allusion est celle que proposent Stevan Harnad et Tim Brody sur le site Citebase11, à partir du miroir britannique du réservoir ArXiv.org12. C’est en 1991 que le Los Alamos National Laboratory promeut une base « libre » en Physique théorique des Hautes énergies : hep-th13. Elle constituera le noyau d’ArXiv, autour duquel se développèrent d’autres bases en mathématiques, en astrophysique et en biologie quantitative notamment. Elle représente aussi un réservoir « pionnier » dans le domaine du libre accès.

Dans le droit fil de cette philosophie du droit à l’information outrepassant les barrières commerciales, Harnad et Brody conçurent le projet d’expérimenter un algorithme de citations qui, sans s’opposer frontalement à celui de l’ISI, propose dès 1999 une voie qui se veut plus objective et se concrétise dans l’interrogation de Citebase14.

Le principe de ce modèle repose sur le rapport existant entre les déchargements et les citations.

  1. il comptabilise et met en balance le nombre d’ouvertures de fichiers correspondant au texte intégral d’un article, et celui des citations y faisant référence dans d’autres articles également répertoriés dans la base

  2. il met en lumière le temps de latence existant entre la période d’ouverture et la période de citation ; plus l’écart est faible et plus les citations sont nombreuses, et plus l’on a de chances de tabler sur un article intéressant le domaine

  3. les éléments qui précèdent sont matérialisés par des courbes. Sur le long terme, celles-ci peuvent révéler le « cycle » d’un article : ouvert, il peut être cité, puis consulté par les lecteurs de l’article de second niveau qui, à leur tour, pourront le juger suffisamment « fondamental » pour le citer à nouveau et susciter d’autres ouvertures etc.


Dans les Foires Aux Questions d’ArXiv, les concepteurs répondent clairement « Non » à deux questions15 :

  1. la possibilité pour un auteur d’obtenir des statistiques sur le nombre de téléchargements de sa production (voire l’origine des téléchargements). Sans rentrer dans les détails de la réponse, la perspective d’une individualisation à outrance des résultats est catégoriquement refusée pour des raisons qui relèvent d’une déontologie particulière (et qui va justement à l’encontre d’une certaine philosophie du type de celle que peut engendrer l’ISI). Le contre-argument faisant allusion à Big Brother est aussi invoqué.

  2. la possibilité pour un auteur de recevoir directement les demandes de documents par messagerie, permettant ainsi d’identifier les personnes avec des intérêts similaires. Là aussi, les concepteurs préfèrent le canal ascendant lecteur/auteur, via une invitation explicite à envoyer un e-mail de prise de contact, plutôt que l’inverse ; dans cette seconde hypothèse, l’auteur aurait accès aux sources d’interrogation de son texte et contacterait ses lecteurs sans demande de leur part.




    1. Scholar Google


Apparu fin 2004 sur le Net, ce satellite de la galaxie Google constitue un réservoir de liens vers des articles de périodiques scientifiques, appartenant pour une écrasante majorité d’entre eux aux domaines des sciences exactes et appliquées.

L’algorithme de recherche est protégé et les contours précis de la couverture sont inconnus. Il s’agit en gros des grand éditeurs commerciaux classiques auxquels s’ajoutent les réservoirs « libres ».

Ainsi, à l’inverse du modèle de l’ISI mais au contraire à l’image du concept Brody/Harnad, Scholar Google est « ouvert ». Toutefois, alors que les communautés d’ArXiv sont relativement bien cernées, les réponses affichées par Scholar Google, quoique satisfaisantes en apparence, semblent échoir de façon quelque peu aléatoire. Ignorer les modalités exactes de la couverture expose l’outil à être considéré comme une aide certes très utile à la définition d’un paysage documentaire, mais sans la rigueur d’autres bases de citations.

Le module d’aide est focalisé très sensiblement sur l’insertion des références et s’adresse au chercheur qui publie ; il veut essentiellement répondre à la question basique d’un utilisateur classique du SCI: « comment puis-je retrouver mes propres articles dans Scholar Google ? » (question 1) et, plus loin : « pourquoi ne suis-je pas (encore) dans Scholar Google ? » (question 6). Plus simplement et plus objectivement, cette optique positionne Scholar Google comme une alternative au SCI, outil d’évaluation des auteurs pouvant accessoirement aider à l’élaboration d’une bibliographie. Il s’ensuit deux types d’attitudes :

  1. un étudiant avancé pourra utiliser cette base comme un outil pluridisciplinaire comparable à Scirus ou Scienceresearch16 se substituant avantageusement pour lui aux bases de données bibliographiques classiques inaccessibles sans contrat payant préalable. Il ne verra pas forcément l’utilité des citations.

  2. le chercheur confirmé aura tendance à substituer l’interrogation de Scholar Google à celle de l’ISI, en raison (comme dans le cas précédent) du caractère gratuit de l’un et (particulièrement) onéreux de l’autre. Mais sans voir que le SCI répond malgré tout à une notion extrêmement rigoureuse (du moins depuis 1997) des critères d’interrogation. Scholar Google peut en effet surprendre sur l’interrogation des auteurs si les initiales de prénoms sont mal concaténées aux patronymes, et les homonymes exigent, dans ce réservoir pluridisciplinaire, d’être associés à des « mots-clefs » de domaines pris au hasard pour les départager.



  1   2   3

similaire:

Manuel Durand-Barthez iconDr Olivier durand médecine Générale c h smur 26 rue Camille Pariat...

Manuel Durand-Barthez icon«La coopération vivante» «La cooperación víva»
«Samedi à la Campagne : 6 octobre». Diffusion du programme courant septembre. Contact : Michel Durand ( )

Manuel Durand-Barthez iconManuel de prelevement

Manuel Durand-Barthez iconManuel Qualité

Manuel Durand-Barthez iconManuel de certification

Manuel Durand-Barthez iconManuel *mathematiques

Manuel Durand-Barthez iconManuel d’accréditation

Manuel Durand-Barthez iconManuel qualite

Manuel Durand-Barthez iconManuel de prelevement

Manuel Durand-Barthez iconManuel qualite








Tous droits réservés. Copyright © 2016
contacts
b.21-bal.com