La recherche scientifique est une réalité complexe, multidimensionnelle et multifactorielle qui ne peut se réduire à une entité numérique, à un indicateur bibliométrique.

L'analyse bibliométrique repose sur la citation. Deux camps antagonistes s'affrontent à ce sujet dans le monde de la recherche :

• Ceux qui pensent que le nombre de citations est représentatif de la qualité d'un article, partisans de l’évaluation bibliométrique

Bibliométrie = facilité, rapidité et faible coût de consultation des indicateurs contrastant avec la lourdeur de l’évaluation qualitative par les pairs.

Bibliométrie = éléments factuels alors que l’évaluation qualitative est soumise à une plus grande subjectivité.

• Ceux qui pensent qu’un indicateur bibliométrique ne peut être qualitatif, partisans de l’évaluation par les pairs.

La bibliométrie ne mesure pas la production scientifique d’un chercheur ni son impact mais ne donne qu’une évaluation chiffrée des citations de chacun d’eux.

Elle peut conduire à une course à la performance et créer de nombreux biais (auto-citations, citations de collègues en vue, articles fortement cités pour souligner les erreurs de résultats, etc.)

Une bonne évaluation associe l'évaluation bibliométrique et l'évaluation par les pairs.

Yves Gingras, historien et sociologue des sciences, expose les trois qualités essentielles d'un bon indicateur :

• être en adéquation avec son objet : mesurer le niveau d'investissement en R&D d'un pays (l'indicateur) est approprié pour évaluer l'intensité de sa recherche (l'objet)

• être homogène dans sa composition : le nombre d'articles publiés dans les principales revues scientifiques peut être rapporté à la valeur des investissements consentis pour former un indice composite de productivité. Cet indicateur homogène permet de comparer l'efficience d'un pays par rapport aux autres.
   
• respecter l'inertie propre à son objet : la recherche est un domaine d'activité d'une certaine inertie. Pour commencer à observer de véritables changements, il faut effectuer ces mesures sur une période de 6 à 8 ans.
  
  (Yves Gingras, "La fièvre de l’évaluation de la recherche. Du mauvais usage de faux indicateurs". 2008, Note de recherche, 22 p.  )