Retrouver le pouvoir des mots dans la génération de connaissance : méthodes qualitatives, robustesse et redevabilité - pour un changement de paradigme dans le MEAL

17 July 2023

Ce post de blog fait suite à la publication de la "Boîte à outils Analyse de données qualitatives" en avril 2023. Cette boîte à outils a été rédigée conjointement par CartONG et Terre des hommes (Tdh), pour outiller les ONG dans leur utilisation des données qualitatives.

Un jour, je discutais avec un collègue de notre projet de promouvoir les méthodes qualitatives et il me dit - un brin moqueur mais tout de même un peu sérieux, « les mots, ça s’analyse vraiment » ? Depuis, j’ai réalisé que cette question n’est ni anodine ni isolée ; que dans notre domaine - surtout dans l’urgence - on rencontre quelque scepticisme vis-à-vis des approches participatives et qualitatives : elles sont peut-être considérées comme importantes et sympathiques mais aussi difficiles à mettre en œuvre. Le qualitatif, c’est souvent vu comme subjectif, anecdotique, biaisé, et c’est souvent pratiqué de manière peu rigoureuse, utilisé au final seulement pour fournir quelques citations illustratives dans un rapport. Il est vrai, comme le relève ALNAP, "bien que l’on ait parfois tendance à considérer les approches quantitatives comme générant des données probantes « dures » vs les approches qualitative « soft », l’utilisation des approches qualitatives ne devrait pas être une excuse pour le manque de rigueur.  Or, les travaux d’évaluation de l’action humanitaire recourant aux méthodes qualitatives ont souvent montré un niveau de rigueur déficient en termes d’exactitude, représentativité et pertinence." 1

La tentation du « tout-quantitatif » et les défis pour la qualité

Le secteur du MEAL se professionnalise dans un contexte qui change très vite, avec de grandes opportunités, progrès et enjeux au niveau de la culture des données, plus d’importance donnée à la ‘production de preuves' (évidences) ; digitalisation de la collecte, analyse des données - qui, avec un bon degré de maîtrise, représentent des avantages inestimables pour les équipes ; globalisation, standardisation des méthodes et outils, spécialisation sectorielle.

Un des enjeux est que ces évolutions se déroulent dans un contexte de demandes contradictoires où redevabilité est parfois confondue avec « conformité » et les équipes MEAL et programmes se sont vues exiger de travailler beaucoup plus vite, produire plus de données, nourrir des indicateurs standardisés avec des outils et modèles développés souvent au niveau HQ. Les équipes doivent naviguer au milieu d’injonctions paradoxales : faire plus et mieux, adresser la complexité mais de manière aussi plus simple et accessible, appliquer un modèle de gestion adaptatif, participatif, éthique, redevable tout en répondant à des règles et procédures plus exigeantes et bureaucratiques, avec souvent moins de ressources, dans des cycles de financement toujours très courts et un contexte où les engagements du Grand Bargain tardent à se matérialiser. Cela a notamment impliqué une tendance à la « quantification » de plus en plus importante dans le travail du MEAL, réduit la marge de manœuvre pour utiliser les méthodes qualitatives et posé de grandes contraintes au niveau de la qualité des données. L’utilisation plus généralisée des outils de collecte de données mobiles, couplée avec le développement de questionnaires standards (souvent « structurés » - ou basés presque exclusivement sur des questions fermées avec options de réponses pré-déterminées) a accentué la tendance de collecter en priorité et de manière majoritaire des données quantitatives. Cela a été associé également avec une tendance à prioriser certaines compétences dans le recrutement des staffs MEAL (mathématiques, statistiques, informatique, gestion de système d’information) au détriment d’autres (sciences sociales, communication, travail social, psychologie).

Cette tendance implique que dans certaines équipes trop peu diverses en termes de formation de base, il peut y avoir une compréhension et utilisation inadéquate des méthodes de collecte qualitatives, par exemple formulation de guides de focus groups qui sont menés comme des « enquêtes structurées groupées » (où on compte les oui / non, et on les reporte en termes quantitatifs). De plus, souvent, les équipes font face à des contraintes opérationnelles qui empêchent de procéder à l’analyse des données qualitatives de manière systématique, tel que préconisé dans les guides - qui correspondent davantage au monde académique ou de la recherche et sont difficilement applicables dans le domaine humanitaire et développement. D’excellents guides existent pour le monde du développement, qui mériteraient d’être adaptés pour l’humanitaire et davantage promus.

En amont, la pression du temps, la compétition pour les ressources impliquent souvent un manque de préparation pour identifier son besoin d’information, préparer un plan d’analyse, penser une stratégie de triangulation sur base de méthodes mixtes. À cela s’ajoute la spécialisation des secteurs qui peut impliquer une tendance au travail en silo des équipes, avec une collecte de données laissée à la responsabilité principale des équipes MEAL et sans réflexion conjointe sur les approches méthodologiques les plus appropriées pour les études. 

Les conséquences néfastes pour les personnes

La demande importante de données pour fournir des analyses de besoins rapides à des fins de rédaction de propositions de projets, ou nourrir des indicateurs peut mener à un rythme de déploiement d’enquêtes trop fréquent ou sur la base de méthodologies non adaptées, générer une sur-sollicitation et une « assesment fatigue » auprès des personnes enquêtées (et au sein des équipes MEAL, programmes et enquêteurs également), ainsi que des attentes qui seront déçues et davantage de biais de désirabilité sociale.

Le recours aux outils de collecte structurés et standardisés sans les avoir contextualisés peut mener à des questionnaires inadéquats :

  • Les questionnaires sont trop longs, trop orientés, avec des questions trop techniques et difficiles à comprendre.
  • Leur utilisation pour interroger des personnes sur des vécus difficiles, complexes, émotionnels lors des évaluations des besoins, parfois multisectorielles, via des questions intrusives peut générer de l’inconfort ou du désenchantement chez les personnes, voire une vraie revictimisation.
  • Les questionnaires structurés laissent peu de place pour les personnes affectées par des crises pour exprimer leur opinion et leur vécu à leur manière, avec leurs propres mots, dire ce qu’elles ont envie de dire et taire ce qu’elles ne veulent pas partager.

Dans les enquêtes, se sont souvent les chefs de ménage qui sont ciblés, et souvent les mêmes qui sont exclus (enfants, personnes en situation de handicap, femmes). Il est donc difficile de vraiment comprendre la situation de toutes et tous, avec le risque de ne pas pouvoir identifier les inégalités pour les minimiser. Dans certains contextes, il est si difficile d’approcher et concerter certains groupes de population qu’il faut les approcher de manière très précautionneuse en adéquation avec les normes socio-culturelles ; dans ce cas, définitivement, les enquêtes ménage et les méthodes probabilistes d’échantillonnage peuvent produire des biais importants.

Finalement, le recours exclusif au structuré peut nous limiter dans notre capacité à comprendre les tendances, à explorer le « pourquoi » et le « comment » une situation émerge ou se transforme, à comprendre les dynamiques de genre et diversité. Cela peut impliquer une plus faible capacité d’analyse et d’utilisation des données pour une prise de décision informée et efficace, réajuster l’action, et nous pousser à nous concentrer sur ce qui nous semble plus important (ou ce qui est plus important pour nous) au lieu de comprendre ce qui est plus important pour les communautés.

Tout cela n’est pas seulement dû exclusivement au focus sur le quantitatif, mais provient d’une conjonction de causes multiples qui viennent se juxtaposer (dont la manière avec laquelle nous faisons du quantitatif). Promouvoir une utilisation plus rigoureuse, transparente des méthodes qualitatives et donner des moyens à nos équipes pour les appliquer de manière efficace et équilibrée est un des ingrédients qui participe à notre travail d’amélioration de la culture de données à Terre des hommes, sachant que nous travaillons sur plusieurs fronts en même temps pour y arriver.

Améliorer la qualité et la redevabilité - notamment grâce aux méthodes qualitatives (bien utilisées)

Les méthodes qualitatives sont importantes dans le travail humanitaire, pour leur pertinence à l’heure d’explorer une situation nouvelle, mesurer un changement de comportement, de perception, de statut psychosocial, et surtout car elles permettent d’être plus redevable.  En effet, si bien menées, elles nous permettent de :

  • Adopter une posture d’écoute, d’ouverture et de respect de la voix et opinion d’autrui, en ce sens – si le travail est bien mené – engager des conversations de manière moins dominante en considérant la dynamique de pouvoir humanitaire – population affectée.
  • Comprendre les points de vue, les opinions et les expériences des enfants, car elles sont plus adaptées à leur capacités cognitives et émotionnelles évolutives, et plus pertinentes pour aborder des sujets potentiellement complexes.   
  • Améliorer la dynamique et l'impact de processus participatifs, parce que les méthodes de collecte de données qualitatives sont plus engageantes, et souvent plus naturelles pour les communautés.
  • Générer des données nuancées et riches, nécessaires à la triangulation et à la robustesse de l'analyse (analyse explicative et interprétative), de comprendre les expériences et les opinions des personnes et de mieux éclairer la prise de décision.
  • De plus, et par expérience personnelle, un vrai travail rigoureux et transparent d’analyse qualitative entre pairs implique une démarche d’écoute de ce que l’autre dit, comment il le dit… et par extension de questionnement sur nos propres biais en tant qu’humanitaires (biais de confirmation, biais institutionnel, culturels… cela nous remet un peu à notre place).

Si les méthodes qualitatives contribuent à améliorer la redevabilité, elles constituent seulement une partie de la solution. Il s’agit d’aller au-delà de la posture de l’humanitaire chercheur·se et technicien·ne qui se focalise sur les besoins des populations davantage que sur les stratégies d’adaptation en place, pose des questions et analyse les réponses. Il s’agit de générer des espaces de discussions potentiellement difficiles, permettre l’engagement proactif de la communauté avec une attitude humble de tous les jours qui encourage la confiance.

Tout le monde semble s’accorder sur le fait qu’il faille faire des changements significatifs, ce qui est répété dans tous les grands fora de l’humanitaire (ex Humanitarian Network and Partnership Week), mais ceux-ci tardent à se matérialiser globalement. À notre niveau, professionnels du MEAL, nous pouvons apporter notre pierre à l’édifice ; en modifiant nos pratiques méthodologiques, en visant la qualité tout en nous délestant d’attitudes techniciennes et en refusant de nous engager dans des pratiques qui ne seraient pas éthiques ou méthodologiquement fondées.

1Citation originale, voir ALNAP, Strenghtening the quality of evidence in humanitarian evaluation : "While there is sometimes a tendency to see quantitative approaches to evidence generation as ‘hard’ and qualitative approaches as somehow ‘soft’, the use of qualitative approaches should not be an excuse for lack of rigour. Unfortunately, many humanitarian evaluations do not use academically recognized qualitative methods, and fail to meet basic quality standards related to accuracy, representativeness, and relevance."

Un remerciement tout spécial à Catherine Dixon, Elise Shea et Maeve de France pour leurs conseils avisés.