Aller au contenu principal

La bibliométrie: Les autres indicateurs

Qu'est-ce que la bibliométrie? quels sont les indicateurs? où les trouver? quelle importance pour un doctorant ?

Le nombre de publications

Les rapports d'évaluation des unités de recherche exigent souvent le classement et le comptage des publications. Selon les disciplines et les types d'évaluation, ces classements peuvent différer.

Par exemple, l'AERES définissait pour 2010-2013, un classement et un comptage selon les rubriques suivantes :
ACL : Articles dans des revues internationales ou nationales avec comité de lecture répertoriées dans les bases de données internationales (ISI Web of Knowledge, Google Scholar, Harzing Publish or Perish, Pub Med…) Le facteur d’impact de la revue pourra être indiqué, en précisant la source de données utilisée.
ACLN : Articles dans des revues avec comité de lecture non répertoriées dans des bases de données internationales.
ASCL : Articles dans des revues sans comité de lecture,
INV : Conférences données à l’invitation du Comité d’organisation dans un congrès national ou international.
ACT : Communications avec actes dans un congrès international ou national
COM : Communications orales sans actes dans un congrès international ou national
AFF : Communications par affiche dans un congrès international ou national
OS : Ouvrages scientifiques (ou chapitres de ces ouvrages)
OV : Ouvrages de vulgarisation (ou chapitres de ces ouvrages)
DO : Directions d’ouvrages
AP : Autres publications
TH : Thèses soutenues
Valorisation et brevets : Préciser les contrats de recherche, les partenariats industriels, et remplir le tableau « Valorisation » du formulaire.

D'autres modes de présentation peuvent être demandés :

  • Nombre de publications dans des revues à facteur d'impact supérieur à X
  • Nombre de publications dans des revues appartenant aux listes reconnues (ex: Liste des revues de SHS de l'AERES)
  • Nombre de publications en tant que premier auteur...

Le nombre de citations

Le nombre de citations est un indicateur commun dans les "sciences dures". Une publication, une fois qu'elle est publiée, va recevoir x citations, c.a.d qu'elle sera intégrée à la bibliographie finale de x autres publications. Le comptage de ces citations peut mener à divers indicateurs :

  • le nombre total de citations des articles : on aditionne les citations reçues par toutes ses publications.
  • le nombre moyen de citations par article (taux de citation) : on divise le nombre total de citations reçues par ses publications par le nombre total de ses publications.

Comment sait-on qu'une publication a été citée x fois ?
Généralement, les évaluations institutionnelles partent des données issues du Web of Science ou de Scopus car la base est restreinte à un ensemble de publications contrôlées et il n'y a pas de doublons.
Les données pourraient aussi être collectées à partir d'une recherche avancée via Google Scholar mais il faudrait dans ce cas s'assurer qu'il n'y a pas de doublons ou de triplons parmi les références citantes, que ces références sont bien des publications scientifiques. Dans tous les cas il faut préciser la source utilisée pour calculer ses citations.

Des indices particuliers pour des institutions ou des pays

L'évaluation des établissements de recherche ou de la recherche dans un pays fait appel à des indicateurs particuliers, dont :

  • La part des publications de cette entité par rapport à un ensemble plus large : par exemple la part des publications de la France dans les pays de l'UE mesure le nombre de publications de la France sur le nombre de publications de l'Europe, fois 100.
  • L'indice de spécialisation scientifique, qui mesure la part des publications de l'entité dans un domaine par rapport à sa contribution globale : par exemple la part des publications françaises en mathématiques dans l'UE par rapport à la part des publications de la France en UE.
  • La part de citations à deux ans, par exemple d'un établissement en France, mesure pour une année N donnée, le nombre de citations reçues les années N et N+1, sur le le nombre total des citations des établissements français à l'année N et N+1, fois 100.
  • L'indice d’impact relatif à deux ans, par exemple d'un établissement en France, mesure sur 2 années la part des citations reçues par cet établissement sur la part des publications de cet établissement au niveau français.

Source : http://urfist.enc.sorbonne.fr/sites/default/files/mdb/OSTsynthIndices.pdf

L'indice h

L'indice h (ou indice de Hirsch ou index h, h index en anglais) vise à quantifier la productivité scientifique et l'impact d'un scientifique, d'une unité, en fonction du niveau de citation de ses publications.

L'indice a été proposé en 2005 par Jorge Hirsch comme un outil pour déterminer une qualité relative des physiciens théoriciens, mesure pouvant être étendue à tous les chercheurs publiant dans des revues à comité de lecture.

Pour le déterminer on classe les publications par ordre décroissant de citations. Un indice h de n signifie qu’un auteur a au moins n publications citées n fois.
 

Rang des publications

Chercheur 1

Chercheur 2

Chercheur 3

1

12

30

59

2

11

14

1

3

9

5

0

4

8

4

0

5

8

3

0

6

7

2

0

7

5

2

0

h index

6

4

1

Par exemple, le chercheur 1 présente au moins 6 publications citées 6 fois ; par contre la 7ième n'est pas citée 7 fois. L'indice h est donc de 6. Il sera de 7 quand la septième publication sera citée au moins 7 fois.
Un chercheur 3 qui publie un seul article très cité (qui révolutionne peut-être sa discipline...) aura un indice faible .

L'indice h est calculé par le Web of Science, Scopus, Google Scholar...

L'indice g

L'indice g est une variante de l'indice h ; il lui est toujours supérieur. C'est le rang le plus élevé au niveau duquel les g premières publications cumulent un nombre de citations d'au moins g².

Exemple :
Avec ses 18 publications les plus citées, un chercheur a cumulé 369 citations. Le nombre de citations est donc d'au moins 18² (= 324 ) pour ce rang
Avec ses 19 publications les plus citées, un chercheur a cumulé 381 citations. Le nombre de citations est donc d'au moins19²  (= 381) pour ce rang
Avec ses 20 publications les plus citées, un chercheur a cumulé 392 citations. Le nombre de citations n'est plus d'au moins 20² (=400) pour ce rang
L'indice g pour ce chercheur est donc de 19.

Le facteur g a été élaboré en 2006 par le Prof. Leo Egghe, bibliothécaire en chef à l'université de Hasselt en Belgique et rédacteur en chef du Journal of Informetrics.

L'indice n

L'indice h d'un auteur est forcément plus faible pour un jeune chercheur qui a peu publié. C'est pour tenir compte des années d'exercice, que l'indice n (ou index n )a été créé. Il se calcule en divisant l'indice h par le nombre d'années depuis la première publication.

Un chercheur qui a un indice h de 12 et a publié son premier article il y a 10 ans, aura un indice n de 1,2.
Un jeune chercheur qui a un indice h de 4 et a publié son premier article il y a 2 ans, aura un indice n de 2

L'analyse de réseaux

Au-delà des indicateurs ponctuels et chiffrés, l'analyse des réseaux et l'exploration de données constituent une part croissante des études bibliométriques actuelles. Il s'agit de cartographier les occurences et les relations existant entre les différents éléments des publications (mots, mots du titre, mots-clés, auteurs, unités de recherche, citations, ...). 

Quelques exemples d'études :

  • Une cartographie du positionnement d'unités de recherche par l'analyse des mots extraits des métadonnées des publications, y compris celles des brevets
  • Une cartographie des co-publications dans un domaine pour mieux connaître les collaborations entre unités de recherche
  • Une analyse des acteurs innovants ou des thématiques émergentes dans un secteur par l'étude de l'apparition de mots-clés
  • Un repérage d'experts (auteurs, inventeurs) par domaines, croisé avec des informations géographiques...

Les outils : Intellixir, Orbit, Thomson Innovation, Minolta

L'essor des Altmetrics

Les 4 façons de mesurer l'impact d'un article d'après le manifeste d'Altlmetrics :

son usage, l'évaluation des pairs, le taux de citation dans les outils bibliométriques... et les altmetrics.

 

Les indices bibliométriques traditionnels ne mesurent que le nombre de citations d'un article ou d'une revue dans la presse scientifique. Cette limitation ne permet pas de se rendre compte de l'impact que cet article a dans la blogosphère, la twittosphère ou encore les logiciels de gestion bibliographique. Une nouvelle vague d'indicateurs (Altmetrics) essaie de mesurer l'influence de chaque article sur le web social.

Les altmetrics comptent

  1. le nombre de vues ou téléchargements dans l'entrepôt où l'article est déposé (PLoS One par exemple)
  2. Le nombre de captures par des utilisateurs dans les outils de bookmarking (Diigo) ou de reference management (Mendeley)
  3. Le nombre de mentions/citations sur le web social :
  • Twitter
  • Les réseaux sociaux spécialisés comme ResearchGate ou Vivo
  • La blogosphère (par exemple les blogs hébergés par Google)

...et bien sûr le nombre de citations dans Google Scholar et Wikipedia.

L'image ci-dessous présente les chiffres concernant l'usage d'un article paru dans Plos One mais mentionne aussi que deux utilisateurs de Mendeley l'ont référencé dans leur collection.

ci-dessous : mesure de l'impact sur le web social d'un article par Altmetrics.org

Altmetrics schema