Manuel Durand-Barthez








télécharger 79.54 Kb.
titreManuel Durand-Barthez
page2/3
date de publication04.03.2017
taille79.54 Kb.
typeManuel
b.21-bal.com > loi > Manuel
1   2   3

Le facteur de Hirsch


En novembre 2005, Jorge E. Hirsch17 a commis dans les PNAS un article intitulé An index to quantify an individual's scientific research output [Hirsch, 2005] dans lequel il propose le concept d’ « indice h ».

Il fait glisser deux curseurs en sens inverse : l’un sur une échelle du nombre de publications, l’autre sur une échelle du nombre de citations, et il les fait coïncider. Il prend l’exemple d’un physicien renommé, particulièrement fécond en citations : E. Witten. Les deux curseurs se rencontrent sur le nombre 110, i.e. il existe 110 publications citées chacune au moins 110 fois. C’est l’indice h. Il s’agit en fait d’une moyenne calculée sur un ensemble de données, non pas dans le cadre délimité de l’ISI, mais sur l’espace ouvert du Libre Accès : nous avons réexécuté ses calculs sur l’archive SPIRES (High-Energy Physics Literature Database, segment d’ArXiv faisant l’objet d’un site dédié18), réalisée par le Stanford Linear Accelerator Center et avons retrouvé ses chiffres. Les résultats obtenus à partir du réseau du Libre Accès sont très supérieurs à ceux du réservoir restreint de l’ISI19. Un biologiste allemand, Werner Müller20, a fait le même constat en comparant le calcul de Hirsch avec un comptage sur la plate-forme Scopus élaborée par Elsevier [Müller, W., 2006]

Hirsch associe à son indice h une valeur m calculée en fonction du nombre d’années de carrière n du chercheur au moment de l’évaluation. La valeur m est égale au facteur h divisé par le nombre d’années d’ancienneté. Cela donne une répartition en trois groupes. :

    1. m 1 (h = 20 après 20 ans d’activité) : chercheur de « bon niveau »

    2. m 2 (h = 40 après 20 ans d’activité) : chercheur responsable d’une équipe de haut niveau dans une université très cotée

    3. m 3 et + (h = 60 après 20 ans d’activité, voire 90 après 30 ans) : chercheur hors pair, Nobel etc…

À cette hiérarchie correspondent aussi des degrés moyens d’avancement : h=12 pour un « assistant », 18 pour un professeur, 15 à 20 pour un membre de l’American Physical Society, 45 pour un académicien…

Ce système suppose donc trois éléments : une ancienneté de carrière assez importante, un grand nombre de publications, générant en troisième lieu un grand nombre de citations. Cette combinaison est censée être moins partiale (et partielle) que l’association entre le nombre de citations et le facteur d’impact des revues correspondantes, au sens de l’ISI.

La méthode de Hirsch a fait l’objet de plusieurs réflexions sur des blogs de chercheurs,. Ils déplorent la relation entre la nécessité d’avoir commis un grand nombre de publications amplement citées et le nombre d’années de carrière21. La corrélation entre ces deux facteurs n’a en effet rien d’obligatoire. Un chercheur objectivement « méritant » dans telle ou telle discipline, n’aura peut-être écrit qu’un petit nombre d’articles dont la portée aura sensiblement modifié le paysage scientifique, et ce – pourquoi pas ? - dès le début de sa carrière. Les critiques regrettent également la non prise en compte des différences de pratiques entre les disciplines [Iglesias & Pecharromán, 2006]. Certains champs disciplinaires, notamment fondamentaux, peuvent ne générer qu’un nombre modéré de publications. Ce qui n'empêche pas de nombreuses manipulations en laboratoire ou de multiples communications dans le cadre de sociétés savantes, ne donnant pas forcément lieu à publication systématique, mais pouvant déboucher sur l'obtention d'un prix ou d'une médaille. Un contributeur du Wiki de l’université de British Columbia (Canada)22 souligne le côté positif de l’impact personnel du chercheur, tel que Hirsch l’envisage, par opposition à l’impact de la revue, au sens de l’ISI.

Précisons enfin que Hirsch propose, comme l’ISI, un algorithme correctif pour les auto-citations.


    1. Le Journal Status de Bollen et al.


Parallèlement, Johan Bollen, Marko A.Rodriguez et Herbert Van de Sompel proposent un Journal Status [Bollen, 2006] qui tient compte de la distinction entre les deux notions de « popularité » et de « prestige ». Elles sont inversement corrélées. Les revues « populaires » sont fréquemment citées par celles qui sont peu prestigieuses ; elles sont dotées d’un Impact Factor ISI très élevé. Les revues « prestigieuses » sont définies de façon strictement inverse par rapport aux « populaires ».

La caractéristique déterminante qui les différencie par rapport au nouveau facteur d’impact proposé par les auteurs, c’est leur « Weighted PageRank ». Cet algorithme a notamment été mis en évidence par [Xing & Ghorbani, 2004]. Il porte sur la connectivité non seulement de la page « racine » elle-même (ce que fait sur Google l’algorithme standard de Larry Page) mais au-delà sur la connectivité des pages auxquelles elle est liée, aussi bien dans le sens entrant que sortant. On sait que tous les liens d’une page ne sont ni forcément utiles ni forcément utilisés. Analyser la cohérence et la pertinence du suivi des liens aussi loin et profondément que possible dans leur cheminement d’une page à l’autre: tel est l’objectif du Weighted PageRank. Il a aussi été employé par [Liu et al., 2005] pour élaborer un Author Rank dans des corpus thématiques définis. Liu calcule par ce biais un Facteur d’impact fondé sur l’interactivité des co-auteurs dans des communautés plus ou moins éclatées. La notion de Weighted apparaît là en toute clarté : « peser » signifie alors mesurer le degré de cohérence et de pertinence de la séquence des liens (degree centrality : nombre d’articles parents et proportion de co-auteurs identiques), puis le degré de proximité absolue d’un article - et donc d’une équipe - à l’autre (closeness centrality) ou de proximité relative des mêmes éléments (betweenness centrality : deux « nœuds » de co-auteurs sont séparés par un troisième qui les relie dans la bibliographie d’un « tiers-article »). Dans le contexte du Journal Status, Bollen ne va pas utiliser ce Weighted PageRank isolément. Il est conscient des spécificités du modèle de l’ISI « Nous avons maintenant à notre disposition – explique-t-il – deux modèles statistiques, très différents mais très utilisés, de mesure du statut des revues scientifiques. Le Facteur d’impact de l’ISI repose sur la fréquence des citations et met de ce fait en valeur la “ popularité ” du statut d’une revue. Le PageRank pondéré (weighted) quant à lui, tel que défini plus haut, repose sur la transmission des valeurs de “ prestige ” d’une revue à l’autre et correspond mieux à cette notion que nous élaborons intuitivement, en vertu de laquelle le prestige ne ressort pas seulement du nombre de cautions intellectuelles (endorsements), mais aussi de l’identité de ceux qui les confèrent. » C’est précisément là qu’interviennent les réseaux d’auteurs auxquels [Liu et al., 2005] font référence. Bollen admet la coexistence des deux modèles et propose en conséquence un facteur, désigné par la lettre y, qui se définit comme le produit du facteur d’impact de l’ISI par le Weighted PageRank. Ce facteur y apparaîtrait donc comme un compromis assez équilibré dans l’évaluation des sources.

À titre d’exemple, si l’on considère la totalité du corpus analysé par le JCR, le plus fort facteur d’impact est celui de l’Annual Review of Immunology alors que Nature emporte la première place à la fois pour le PageRank et pour le facteur y. Nature est classé en 9ème position pour le facteur d’impact.

Les exemples sont plus significatifs dans le cadre disciplinaire. En Physique, dans la liste de référence des dix premiers facteurs d’impact du JCR, 6 revues sont absentes des dix premières de la liste « facteur y ».


    1. Faculty of 1000 : le F1000 Factor


Il s’agit ici d’un modèle qui tranche totalement avec ceux qui précèdent. Il ne repose plus sur le nombre de citations mais sur une lecture coopérative effectuée simultanément par les membres d’un groupe de spécialistes constitué par cooptation dans un domaine biomédical précis. Ils se donnent pour tâche d’analyser des articles susceptibles d’engendrer une évolution scientifique significative, sur des questions jugées essentielles par la communauté concernée. Le service, créé par BioMed Central, se subdivise en F-1000 Biology et F-1000 Medicine. La section Biology a été mise en place en janvier 2002, Medicine en janvier 2006.

Prenons l’exemple de Faculty of 1000 Biology. Le domaine est subdivisé en 16 « facultés », i.e. Sujets, dont la supervision est confiée à 2, 3 ou 4 experts qualifiés Heads of Faculty. Chacune des Facultés se décline en Sections, dont le nombre oscille entre 3 et 12, dont la responsabilité est assumée par 2 ou 3 experts qui, à leur tour, contrôlent des équipes variant de 10 à 50 membres.

On observe donc une hiérarchie assez pointue entre Facultés et Sections. L’effectif des Facultés est proportionnel au nombre d’articles publiés en moyenne dans la discipline correspondante. 1400 membres se répartissent sur 73 sections, certaines d’entre elles se chevauchant sur le plan conceptuel : d’où la nécessité d’une indexation fine et transversale suivant le principe de l’arborescence.

Aux domaines classiques de la Biologie vont bientôt s’ajouter ceux de l’Ecologie, de la Pharmacologie et de la Physiologie.

Chaque membre, à la base, est invité à commenter les 2, 3 ou 4 articles qu’ils ont jugés les plus intéressants sur une période d’un mois. Chaque commentaire est assorti de liens vers les séminaires ou conférences qui peuvent graviter autour de la rédaction de cet article, de même que vers d’autres articles plus ou moins directement liés à celui-ci. Le cas échéant, le lien vers le texte intégral est bien sûr proposé.

Puis, et c’est là que l’on touche la spécificité de ce système, chaque membre attribue le F1000 Factor en se conformant à une grille limitée à trois indices : 3 points = « Recommended » / 6 = « Must read » / 9 = « Exceptional »23.

On fait ensuite la moyenne des deux indices les plus élevés attribués à cet article, à laquelle on ajoute un trentième de la somme de tous les indices attribués. Cela implique évidemment que l’article ait fait l’objet d’un minimum de trois commentaires, mais s’il est censé avoir un impact significatif, on peut naturellement supposer qu’il a été « détecté » et lu par un nombre appréciable d’examinateurs.

Un commentaire est mis en ligne par le panel, qui qualifie l’article (découverte, avancée, hypothèse, confirmation, controverse) et le catégorise dans l’une des Sections.
Faculty of 1000 dresse par ailleurs périodiquement une liste de « perles » (Hidden Jewels), i.e. des articles dont l’intérêt semble déterminant dans un cadre thématique précis, parus dans des revues dont l’impact au sens classique du terme est jugé relativement faible. Il peut s’agir par exemple de revues publiées par des Sociétés savantes, dont le haut niveau qualitatif est incontournable dans la discipline, mais dont la diffusion peut rester plus ou moins confidentielle pour des raisons éditoriales matérielles. Si l’on se réfère aux systèmes évoqués plus haut, ces revues bénéficieraient d’un classement peu attractif selon l’ISI, mais très fort selon Bollen. Quotidiennement, le système génère le Top 10 des Hidden Jewels, leur ordre séquentiel étant fonction du nombre de fois où l’évaluation de chaque article listé a été visualisé sur le site au long de la dernière période de 14 jours francs. On pourrait, à certains égards, comparer cette modélisation aux critères de calcul de Citebase.

Ceci posé, on retrouve là un système ouvert, i.e. non fondé sur une liste close de titres de revues.

En second lieu, il est conçu pour une utilisation « au fil de l’eau », beaucoup plus que comme un état synthétique reposant sur des données à la fois cumulées et stables, du type ISI. Peut-être est-ce là une philosophie nouvelle de l’évaluation scientifique qui, en dépit de son manque apparent de cadrage, comporte des facteurs humains d’appréciation tout à fait positifs ?
3. Approche de comportements typiques par disciplines

Lorsque le réservoir international ArXiv fut créé au début des années 90, la communauté qui le promut était essentiellement constituée par des physiciens des hautes énergies. La philosophie dominante était la mise sur le Web d’un compte rendu d’expérience dès que possible, afin qu’il soit universellement visible et puisse faire l’objet, de la part de la communauté, d’une contre-expérience ou d’une contre-expertise en vue d’une validation. On divulgue immédiatement pour être confirmé dans sa démarche.

La communauté biomédicale a depuis longtemps échangé assez librement sur des supports libres. BioMed Central et PLOS (Public Library of Science)24 en sont des exemples. Sans doute une telle attitude est-elle appuyée par une visée plus ou moins humanitaire liée à la santé. Mais il faut parallèlement bien voir également que des intérêts associés à l’industrie pharmaceutique [Sotelo, 2006] peuvent sous-tendre le soutien à telle ou telle revue. Enfin, la gratuité de PubMed doit beaucoup à l’influence de l’ex vice-président américain Al Gore qui a favorisé le financement public de cette plate-forme documentaire remarquable dès 1997.

La chimie demeure majoritairement à l'écart du mouvement de l'accès libre. Ce domaine reste lié aux circuits de l’édition commerciale, particulièrement onéreuse. Peut-être cela s’explique-t-il par les nombreuses applications industrielles générées par cette discipline.

Les mathématiques ont tendance à représenter une famille relativement fermée. Elle comporte un très grand nombre de sociétés savantes. Elle est massivement représentée dans ArXiv. Sa communauté se réfère beaucoup au réseau américain MathSciNet25 de l'American Mathematical Society, dont le noyau est la Mathematical Review créée en 1940. Son comité dispose d'une équipe de referees qui écrivent des recensions sur la littérature du domaine : plus de 60.000 reviews sont ainsi ajoutées chaque année à la base de données MathSciNet. En 2006, elle compte plus de 2 millions de références et 700.000 liens directs vers les textes intégraux. Beaucoup ont été scannés en remontant jusqu'à 1864. La base possède également un référencement par citations.
Conclusion
Compte tenu de ce qui précède, il apparaît hautement souhaitable d’explorer rapidement la voie d’un nouvel outil d’évaluation libre d’accès, dont les règles seraient clairement définies, tant au niveau de la couverture qu’à celui des critères d’analyse statistique.

La neutralité apparente de l’analyse statistique brute (a priori quantitative) effectuée sur des masses relativement importantes à partir du critère de la citation, risque, on l’a vu, de générer des dérives difficilement contrôlables, des « effets délétères », pour reprendre les termes de Jean-Marc Monteil, Directeur de l’Enseignement supérieur26 qui juge indispensable une réflexion approfondie sur la bibliométrie. Celle-ci ne doit pas, avance-t-il, altérer l’analyse qualitative en tant que telle. Une recherche de type cooptatif, i.e. sur des thèmes déjà porteurs, n’impliquant aucun risque réel, en circuit plus ou moins fermé sur des valeurs peut-être trop sûres, s’éloigne des principes authentiquement novateurs de la recherche. Dans la conjoncture présente, une bibliométrie gérée sans nuance peut contribuer à freiner la recherche «Blue Sky » au sens où l’entend Donald Braben, chercheur au University College de Londres [Braben, 2004], à savoir : sortir des sentiers battus pour déboucher sans contraintes (mais aussi sans garantie) sur une réelle innovation, susceptible d’engendrer des répercussions durables sur la science et la technologie.

Jean-Marc Monteil estime27 que les méthodes d’évaluation pourraient faire utilement l’objet d’un exposé auprès des doctorants. Il suggère enfin que les indicateurs de production scientifique des établissements devraient, dans l’état actuel de leurs méthodes d’élaboration, être considérées comme des « aides à la décision » plutôt que comme des « normes décisionnelles ».

Par ailleurs, s’il est exact que l’analyse qualitative des articles effectuée par les « collectifs » de Faculty of 1000 semble plus « humaine », elle reste soumise aux aléas de la constitution des équipes lectrices et marquée par une incertitude relative quant à la couverture des revues analysées.

Un nouveau modèle pourrait combiner des éléments d’investigation envisagés dans les expériences relatées ci-dessus, associant avec une impartialité optimale les objectifs d’évaluation des sources et des auteurs. Sa mise au point paraît, dans la conjoncture actuelle, assez urgente.
1   2   3

similaire:

Manuel Durand-Barthez iconDr Olivier durand médecine Générale c h smur 26 rue Camille Pariat...

Manuel Durand-Barthez icon«La coopération vivante» «La cooperación víva»
«Samedi à la Campagne : 6 octobre». Diffusion du programme courant septembre. Contact : Michel Durand ( )

Manuel Durand-Barthez iconManuel de prelevement

Manuel Durand-Barthez iconManuel Qualité

Manuel Durand-Barthez iconManuel de certification

Manuel Durand-Barthez iconManuel *mathematiques

Manuel Durand-Barthez iconManuel d’accréditation

Manuel Durand-Barthez iconManuel qualite

Manuel Durand-Barthez iconManuel de prelevement

Manuel Durand-Barthez iconManuel qualite








Tous droits réservés. Copyright © 2016
contacts
b.21-bal.com