Qui custodiet ipsos custodiae ? demandait ma grand-mère en levant les yeux au ciel… dans un domaine proche, qui évaluera les évaluateurs ? C’est la question traitée par Agnès Labrousse, universitaire, dans la toute dernière « Revue de la régulation », N°7, 1er trim 2010, et c’est passionnant. On y est presque, avec la fin de ce papier, premier papier costaud et en français (à ma connaissance) sur Duflo et sa fameuse méthode ; même si Duflo nierait « contrôler » quoi que ce soit : j’y reviens à la fin.
(j’ai déjà parlé de Duflo à de nombreuses reprises sur ce blog : voir ici, sa Leçon, à voir et revoir ici et ici)
Labrousse récapitule les enjeux de son papier vers la fin :
Al 53 – « Des essais cliniques à l’économie du développement, l’expérimentation par assignation aléatoire constitue un « transfert technologique » opportun qui permet de renouveler, par un retour bienvenu de l’empirie et de l’observation, l’économie mainstream du développement mise à mal par l’effondrement du « consensus de Washington ». Ce transfert technologique tel qu’il est « mis en pratiques » par le J-PAL constitue également un transfert de scientificité et de légitimité académique qui ne doit pas occulter que cette technique, comme toutes les autres, relève d’une construction sociale et non de la pure objectivité scientifique ».
C’est vrai qu’il y a un retour, une sorte de recherche du « Terrain » avant tout, maintenant que le fameux consensus a volé en éclats (il était temps). Moins de grandes idées et de grandes théories, plus de trucs pragma, ras des paquerettes et terrain. Très bien, mais ça n'interdit pas de valider avec de la théorie !
Pour ce qui me concerne, il y avait 4 trucs qui me chiffonnaient dans la « méthode Duflo » depuis le début, du moins depuis que je la lis :
1 – nous prendre pour des cachets d’aspirine, ça craint. Ca chiffonne l’égo, bien sur ; et même si Labrousse dit que c’est « bienvenu », il y a un côté mécanique, chosifiant qui me gène. Mais c’est une critique « grand public » qui n’intéresse que peu les scientifiques.
2 – directement lié à ci-dessus, je garde l’idée que l’observation des changements dans un groupe, comparé à un groupe témoin, peut donner des résultats ; mais très limités car on ne sait pas grand-chose des motivations. En gros, l’observation à la Duflo permet de dire : oui, il ya corrélation entre le fait d’avoir introduit de l’argent dans ce groupe et les changements de comportements dans ce groupe : j’observe des faits, des résultats. Mais même si une seule variable a changé (c’est la qualité de la méthode), cela ne dit rien des raisons pour lesquelles il y a eu changement. Notamment, ces changements pouvant être très irrationnels (du pt de vue de l’observateur), on doit s’interdire de les sur-interpréter !
3 – De plus, les changements quand il s’agit de fric, d’argent, de braise peuvent renvoyer à des trucs profonds au sein de la famille : valeurs, cupidité, devoirs, hiérarchie des normes, etc. Et ça, ça change sans doute sur une ou deux générations, mais lentement. Donc une étude comme celle de Hyderabad, citée 1000 fois par Duflo elle même et considérée comme l’exemple même de ce qu’il faut faire, ne devrait pas permettre d’interpréter trop profond : elle observe des changements sur 18 mois, c’est très court !
4 – et enfin, il ya de l’ « effet Hawthorne » dans une telle étude. L’observateur, du seul fait qu’il observe, modifie l’observation. Même s’il est très restreint et sans doute peu analysable, il existe. D’où une difficulté supplémentaire pour interpréter.
D’où mon réel plaisir à lire Labrousse (même s’il faut que je m’y reprenne à 3 fois pour être sur de comprendre ! !) pour lire de l’argumentation scientifique sur le sujet.
Labrousse dit que Duflo n’avance aucune références théorique, alors que par exemple :
« la théorie de la rationalité limitée, subjective, interprétative, procédurale et située, développée bien avant Kahneman par Herbert Simon (1997) est foncièrement absente de la réflexion. Or la contextualisation simonienne de la rationalité permettrait de résoudre une série de problèmes apparents mis en avant dans l’article « Poor but rational » (Duflo, 2003). De plus, Duflo insiste de manière croissante sur l’incertitude qui pèse sur les pauvres, dépassés par la multitude de décisions qu’ils doivent prendre chaque jour, sans déboucher sur une théorisation des processus cognitifs. L’approche de Simon, de même que les théories évolutionnistes de type Nelson et Winter, pourraient éclairer de manière cohérente et systématique nombre de résultats expérimentaux, de mécanismes décisionnels en situation d’incertitude, le rôle des routines et autres processus d’apprentissage etc. En retour, les expérimentations pourraient renouveler ces théories.
« La notion d’incertitude développée par Knight et Keynes n’est pas plus mobilisée… (etc.) »
J’ai lu un peu de Simon et il me semble assez passionnant. Mais je retiens surtout des observations de Labrousse que Duflo ne semble pas intéressée du tout par l’idée de fonder en théorie ses observations. Pourquoi ? pas de temps à perdre ? ou bien une indifférence pour des trucs dont elle ne voit pas l’intérêt ? je n’en sais rien, évidemment, mais c’est dommage…
Je rejoins Labrousse sur la durée et l’effet de durée des expérimentations. Elle renforce l’argument en se servant de l’origine méthodo des études de Duflo, c'est-à-dire le médicament : voir ci-dessous. Le parallélisme est cruel, mais de fait, les effets positifs tels qu’ils sont mesurés peuvent être très provisoires… donc déception sur les impacts de l’étude.
Al 33 – « La question de l’effet de la durée de l’expérimentation sur les résultats des évaluations est importante. En avril 2002, une étude sur les effets post-cliniques des médicaments sur la période 1975-1999, conduite par Karen Lasser (2002) du Cambridge Hospital et de la Harvard Medical School, a été publiée dans le Journal of the American Medical Association (JAMA). Cette étude concluait que pour un médicament sur quatre des effets indésirables non détectés par les essais cliniques apparaissaient après l’autorisation de mise sur le marché (AMM). Certaines maladies comme le cancer ne se développant que longtemps après l’intervention des facteurs qui les favorisent et les études post-cliniques étant rares, il est possible que des effets secondaires sévères à long terme soient sous-évalués. Or le développement, comme nous le rappelait déjà François Perroux (1961), s’inscrit également dans la durée. Une expérimentation récente sur le microcrédit illustre la sensibilité des résultats à la durée de l’observation : « dans un premier temps, le taux de non-remboursement n’était pas plus élevé dans les groupes à réunion mensuelle que dans les groupes à réunion hebdomadaire, ce qui nous avait conduit à conclure que le rythme hebdomadaire n’était pas indispensable à la discipline du remboursement. Mais un an plus tard, lors du deuxième cycle, on a vu apparaître une différence : les groupes hebdomadaires ont un meilleur taux de remboursement. L’explication la plus plausible réside dans le capital social » (Duflo, 2010b, p. 43). Cette sensibilité à la durée de l’expérimentation est d’autant plus cruciale que l’on est face à des acteurs qui apprennent, interagissent et évoluent, de même que le cadre institutionnel des activités économiques. Autre exemple, dans le cadre d’une expérimentation par assignation aléatoire, il est fourni à des fermiers kenyans des informations, des prêts et des services de commercialisation afin qu’ils développent des cultures rentables destinées à l’exportation (Ashraf, Giné & Karlan, 2008). D’abord couronnée de succès, cette initiative finit par péricliter. Un an après l’arrêt de l’étude, l’exportateur cesse d’acheter les récoltes car elles ne satisfont pas aux normes européennes. Les fermiers n’ont pas pu alors rembourser leurs prêts. Cette expérimentation éclaire de manière très intéressante les contraintes à l’export des fermiers africains et montre également l’érosion dans le temps de certains résultats expérimentaux. Or, en raison des coûts des expérimentations, celles-ci sont souvent conduites sur une durée limitée »
Ce ne serait pas grave s’il ne s’agissait que de science : après tout le scientifique n’est pas responsable de la façon dont on utilise ses résultats. Sauf si ses résultats sont utilisés par, par exemple, des politiques pour en tirer des règles nouvelles conformes à ces résultats, alors qu’ils ne se maintiennent pas dans la durée.
Après avoir montré de « petits arrangements » avec la rigueur des méthodes (Labrousse cite des études cliniques en exemple, mais ne critique pas pour autant Duflo, sauf bricolages d’échantillons à la marge), l’autre risque est que l’expérimentation scientifique acquière des enjeux de politique : en gros, si l’aval à la Duflo devient un prérequis pour la mise en place de politiques, il est évident que les études vont subir des pressions pour obtenir des résultats. Et l’influence de lobbies locaux sera plus que probable. Labrousse renvoie, analogie, aux critiques sévères des expérimentations sur le RSA (dont j’avais parlé, avec la dure engueulade entre Gadrey, le vrai scientifique, et les autres…)
Al 37 – « Le cas de l’expérimentation aléatoire sur le Revenu de Solidarité active (RSA) en France, étudié par Gomel et Serverin (2009), le montre bien. Bien qu’aboutissant à des résultats finaux bien moins significatifs que les résultats intermédiaires mis en avant par les promoteurs du projet, l’évaluation a restreint et focalisé les débats politiques sur un « syllogisme tronqué » et a paré le projet de loi « des habits de la science ». Du fait « de sa position à l’intersection du monde politique et de la recherche » (Duflo, 2010b, p. 18), cet outil de preuve est également, nous allons le voir, un outil de gouvernement des populations… »
La, c’est une critique cruelle si elle est fondée. Si Duflo à partir de résultats fragiles acquiert une autorité telle que des gouvernements locaux en concluent « c’est comme ça qu’il faut faire » (et vous n’aurez pas de fric si vous ne faites pas comme ça), sa position de scientifique devient discutable… Trop d’influence peut nuire à la rigueur. Comme j’ai entendu dire que son organisation fait des formations pour les élus à Mumbay actuellement, j’espère qu’elle ne se laisse pas piéger dans un truc pareil !
(PS : "Qui custodiet ipsos custodiae ?" : ce n'est évidemment pas de ma grand mère, c'est de Juvenal : who watch the watchdogs ? qui contrôlera les contrôleurs ? qui surveillera les surveillants ? etc.... j'adore cette formule, qui est le tout début de la bureaucratie !)
La référence complète de l’article de Labrousse est ici : Agnès Labrousse, « Nouvelle économie du développement et essais cliniques randomisés : une mise en perspective d’un outil de preuve et de gouvernement », al 26 - Revue de la régulation En ligne, n°7 | 1er semestre 2010, mis en ligne le 03 juin 2010, Consulté le 27 juin 2010. URL : http://regulation.revues.org/index7818.html