Mesure d'audience: les panels d'internautes en question

Le Centre d'étude des supports de publicité (CESP) a donné un avis plutôt mitigé sur les méthodologies employées par les trois principaux "baromètres" du marché de l'audience du web en France (Jupiter MMXI, Nielsen/Netratings et Netvalue) pour constituer leurs panels d'internautes.

Le CESP, un organisme interprofessionnel (supports, annonceurs, agences, média-planning) qui surveille les méthodes d'audience de l'internet depuis 1999, vient de boucler un rapport d'audit sur ces trois panels qu'il a rendu public le 3 juillet.

D'emblée, le CESP insiste sur le fait «qu'il ne s'agit pas d'un audit comparatif, mais bien de trois audits distincts, respectant la même logique et la même structure». Sans doute pour éviter que cette étude soit perçue comme une étude comparative... Par ailleurs, le CESP précise qu'il s'intéresse aux panels d'internautes et non aux sondages ponctuels, divers et variés, qui portent sur l'usage de l'internet en France. De même, le CESP ne s'est pas penché sur les outils de mesure qui enregistrent les volumes de fréquentation des sites, comme par exemple Cybermétrie (un outil développé par le gourou du secteur, Médiamétrie).

Les recettes d'un bon panel

Un panel est constitué d'un ensemble de personnes "recrutées" selon leurs profils après un entretien téléphonique préalable. Les foyers sélectionnés doivent alors accepter que l'institut installe un logiciel "mouchard" sur leur ordinateur. Ensuite, tous les mois, le panel change (il est corrigé) pour tenir compte de l'évolution du marché.

D'un point de vue méthodologique, le CESP a d'abord contrôlé les études de "calage" qui servent aux instituts pour déterminer le profil des panélistes à recruter et la population concernée par l'enquête. Il s'est ensuite intéressé aux panels eux-mêmes, c'est-à-dire aux foyers chez qui les mesures seront faites. En revanche, les logiciels de recueil des données n'ont pas été examinés, à la demande des trois instituts qui ont mis en avant le fait que les trois outils présentaient un fonctionnement identique.

Des problèmes de représentativité

Le CESP est d'une manière générale satisfait des "calages" mis en oeuvre, mais il alerte les instituts sur un élément essentiel: la représentativité. Elle se mesure par le nombre de personnes qui sont contactées avant que soient sélectionnés les plus représentatives, celles-ci constituant le panel. Jupiter MMXI et Nielsen/Netratings déclarent respectivement qu'ils interrogent au préalable 22000 et 24000 personnes par an (en moyenne 1833 et 2000 par mois), ce qui est considéré comme insuffisant par le CESP. Avec environ 48000 personnes consultées par an, soit le double de ses confrères, la démarche de Netvalue est en revanche saluée par les audits, qui notent néanmoins que la société devrait harmoniser «le traitement [statistique] des enfants avec celui des adultes», Netvalue n'intégrant pas la population des moins de 15ans dans ses enquêtes.

Quant aux panels proprement dits, le CESP recommande à chaque institut «d'augmenter leur taille et leur représentativité». Elle attribue quand même un satisfecit à Nielsen/Netratings dont les mesures d'audience, en mars 2001, ont été calculées sur 3732 panélistes contre seulement 1534 chez Netvalue et 1742 chez Jupiter MMXI.

Un réel effort mais peut mieux faire

Par ailleurs, les trois instituts se voient tous reprocher de ne pas publier avec leurs résultats «l'effectif brut des cibles» (nombre exact de panélistes) et de se contenter de simples pourcentages.

La conclusion de ces audits est donnée par Hélène Haering, directrice d'études au CESP: «L'internet est encore un média jeune, en pleine évolution. Il ne faut donc pas s'étonner de ce que la mesure de son audience soit encore perfectible, mais au contraire se féliciter de la rapidité de réaction des opérateurs, qui ont su mettre en place des systèmes de qualité en un temps très court.»