Questions à propos de l’enquête « Mobilité durable » menée par l’IPSOS à la demande de Partena-Professionnal – février 2022 – Interrogations méthodologiques.
Questionnements à propos du Rapport Mobilité durable IPSOS commandé par Partena Professional – février 2022
La presse relate abondamment les résultats d’une enquête IPSOS sur la Mobilité durable en Belgique commandée par Partena Professional.
Le rapport complet de cette enquête n’est pas disponible, que ce soit sur le site d’IPSOS ou de Partena Professional. Seuls quelques résultats sont mentionnés dans ce qui semble être un communiqué de presse.
« 4 Belges sur 10 auraient recours à des moyens de transport durable (y compris voiture électriques). 69% des bruxellois utiliseraient des moyens durables dont 52% en utilisant les transports en commun ».
Présentée de la sorte, ce que l’on peut découvrir de cette enquête soulève de nombreuses questions.
1. Quelle est la population de référence ?
Il semblerait que ce soient 1100 belges qui auraient été interrogés par IPSOS. Mais quelle est la base de sondage à partir de laquelle ces 1100 belges ont été sélectionnés ?
Est-ce le panel de répondants tout venant de l’IPSOS ? Si oui, il faut savoir que ce panel est constitué de volontaires (donc ce n’est pas un panel aléatoire) qui se portent candidats pour répondre à n’importe quelle enquête moyennant une rémunération ou une compensation en nature, pour chaque enquête complétée (voir notamment https://sondagebelgique.be/ipsos ainsi que le point 9 des conditions générales de participation au panel IPSOS (https://www.ipsosisay.com/fr-fr/terms-and-conditions#9) , décrivant les modalités des récompenses pour la participation aux enquêtes en ligne. Il en résulte que ce panel n’est pas représentatif au sens statistique des belges puisqu’il est composé de personnes volontaires, attirées par des rémunérations complémentaires, motivées à répondre, donc d’un niveau socio-économique restreint. Il est peu probable d’y trouver des cadres moyens et supérieurs, des fonctionnaires, des managers, des commerçants, des entrepreneurs, etc.
Où alors, une base de données communiquée par Partena Professionnal (PP) à l’IPSOS – puisque comme secrétariat social cet organisme détient les coordonnées de milliers de travailleurs de leurs entreprises affiliées. Ici, en dehors des questions de représentativité (les entreprises affiliées à PP sont-elles représentatives de toutes les entreprises belges ?) une question de déontologie se pose en rapport avec la protection des données individuelles, si elles ont été communiquées à l’IPSOS.
Dans l’un ou l’autre cas, la base de sondage (population ou base de tirage) n’est pas représentative de la population des travailleurs belges. Et les répondants ont surtout été motivés à répondre à l’enquête pour gagner des points permettant d’obtenir des cadeaux. Donc surtout des répondants "modestes".
2. Quelle est la technique de sondage utilisée ?
Il est très probable que pour des questions économiques, un questionnaire ait été envoyé par mail à un échantillon de 1100 unités du panel d’IPSOS. Comment s’est-on assuré que la personne qui a répondu était bien celle visée? Surtout si des récompenses sont liées aux réponses. (Faut pas rater une occasion de gagner des points même en trichant un peu. C’est bien connu dans le monde des sondeurs)
Dans ce cas les biais sont nombreux: Biais de conformisme : on se conforme à ce que l’on pense être les attentes de l’IPSOS pour ne pas perdre de points. Biais de conformité sociale : si l’enquête est annoncée comme une enquête sur la mobilité durable, ce dont on en parle souvent dans la presse, le répondant va répondre dans ce sens pour montrer qu’il joue le jeu, qu’il est un bon citoyen même si ses comportements en matière de mobilité sont très différents.
3. Comment se fait-il que seules 568 enquêtes ont été considérées comme valables par l’IPSOS.
L’explication résiderait dans le fait que seuls les questionnaires des répondants occupant un emploi temps-plein ou mi-temps auraient été retenus. Etrange pour un Institut de sondage qui détient de l’information détaillée de ses panelistes. Mais il est vrai que la facturation de ce type d’enquête se fait principalement au nombre de personnes interrogées.
568 BELGES… ce n’est pas beaucoup (marge d’erreur à 0.9555 : 4,11% sur des réponses 50/50). Comment peut-on alors raisonnablement annoncer des résultats parlants sur les Bruxellois si ce sont 568 belges qui ont répondu. Tout au plus il devrait y avoir environ 56 bruxellois pris en compte dans cette enquête. Et parmi ces 56 bruxellois, 52% (?) déclarent utiliser des transports en commun….sur 1.210.000 bruxellois. Résultat parfaitement représentatif …….qu’on généralise à tous les travailleurs bruxellois.
Donc un peu moins de 60 travailleurs (?) bruxellois interrogés à partir desquels on va clamer que 52% (de 60 = une trentaine) utilisent les transports en commun et 69% des moyens de mobilité durable. Si ces 60 bruxellois avaient été choisis au hasard parmi les centaines de milliers de travailleurs bruxellois, on aurait pu calculer une marge d’erreur statistique. Elle aurait été de +/- 12,6% soit dans le cas des transports en commun, des valeurs comprises entre 39,4% et 64,4%... Mais la marge d’erreur ne peut être calculée sur un échantillon non aléatoire.
4. Pourquoi avoir pondéré les résultats comme annoncé dans le communiqué de presse.
Techniquement une opération de pondération est aussi dénommée « redressement ». On redresse un échantillon lorsqu’il n’est pas représentatif. Ainsi si par exemple dans l’échantillon retenu (N=568), si on constate qu’il n’y a que 30% de femmes ont répondu, alors que par ailleurs on sait que les femmes représentent 45% des travailleurs, alors on « redresse ». C’est-à-dire les réponses données par les femmes sont multipliées par 1,5 (au lieu de 1). Si la disparité est observée sur plusieurs critères alors le coefficient de pondération de chaque réponse individuelle est une combinaison de plusieurs redressements. Ces redressements sont empiriques pour faire coller quelques critères socio-démographiques à ce qu’ils devraient être, mais ne sont pas reconnus sur le plan statistique, considérés comme des « bricolages » résultant du tirage d’un échantillon biaisé.
Si redressement il y a eu, c’est par rapport à quels critères ? Des critères professionnels ont-ils été retenus : type d’emploi ? Catégorie professionnelle ? Distance domicile-lieu de travail ? Niveau de rémunération ? etc. Ou alors banalement l’âge et le genre ? Si ce sont des critères professionnels, quelle est la base de données fiable qui a servi de référence pour ces pondérations ?
5. Quel type de déplacement domicile-travail a été pris en compte ?
Le communiqué de presse de PP parle de trajets domicile-travail. Mais qu’est ce qu’un trajet? On sait par ailleurs (comme le souligne VIAS) que de nombreux trajets sont "multimodaux", c’est-à-dire que pour un trajet, plusieurs moyens de transport différents sont utilisés. Qu’en est-il d’un travailleur habitant près de Namur et empruntant la E411 avec sa voiture (soit +/- 50km) jusqu’à DELTA, à l’entrée de Bruxelles? Puis le métro jusqu’à ARTS-LOI (6km), ensuite il descend à pied jusqu’à la cité administrative (1,5km). Comment ce travailleur est-il comptabilisé dans l’enquête ? Et quel chiffre renforce-t-il ? Celui de l’usage de la voiture thermique ou celui de l’usage des transports en commun ou encore celui des piétons ?
On peut en conclure que cette enquête est représentative …..des enquêtes « quick and dirty ».
6. Comment ont été pris en compte les critères socio-économiques et distance travail-domicile des répondants ?
En effet, ces deux critères déterminent les modes de transport utilisés.
Les personnes aux revenus du travail modestes vont bien entendu préférer utiliser les transports en commun ou autre système de mobilité durable(vélo) et compte tenu du mode de constitution du panel IPSOS (pour rappel rémunération des répondants) il est très probable que ces personnes soient sur-représentées dans l’enquête.
De même s’il y a surreprésentation des catégories d’âge « jeunes ».
La distance domicile-travail, et en corollaire la disponibilité de moyens de transports publics à proximité du domicile, va aussi jouer énormément. Si les travailleurs avec une distance domicile-travail faible (par exemple <5km) et/ ou avec des moyens de transport publics proches sont sur-représentés, les biais seront considérables.
Conclusions :
Une enquête bricolée dont le but n’est pas de connaître les modes de mobilité des citoyens, mais uniquement visant à un effet d’annonce allant dans l’air du temps.
Une enquête qui mène les journalistes en bateau, et ils naviguent.
Éditeur responsable: Lucien Beckers. ASBL Mauto Défense, Avenue du Lycée Français 5B, 1180 Uccle