Qui custodiet ipsos custodiae ? demandait ma grand-mère en levant les
yeux au ciel… dans un domaine proche, qui évaluera les évaluateurs ? C’est
la question traitée par Agnès Labrousse, universitaire, dans la toute dernière
« Revue de la régulation », N°7, 1er trim 2010, et
c’est passionnant. On y est presque, avec la fin de ce papier, premier papier
costaud et en français (à ma connaissance) sur Duflo et sa fameuse
méthode ; même si Duflo nierait « contrôler » quoi que ce
soit : j’y reviens à la fin.
(j’ai déjà parlé de Duflo à de nombreuses reprises sur ce blog : voir
ici, sa
Leçon, à voir et revoir ici et
ici)
Labrousse récapitule les enjeux de son papier vers la fin :
Al 53 – « Des essais cliniques à l’économie du développement,
l’expérimentation par assignation aléatoire constitue un « transfert
technologique » opportun qui permet de renouveler, par un retour bienvenu
de l’empirie et de l’observation, l’économie mainstream du développement mise à
mal par l’effondrement du « consensus de Washington ». Ce transfert
technologique tel qu’il est « mis en pratiques » par le J-PAL
constitue également un transfert de scientificité et de légitimité académique
qui ne doit pas occulter que cette technique, comme toutes les autres, relève
d’une construction sociale et non de la pure objectivité scientifique ».
C’est vrai qu’il y a un retour, une sorte de recherche du
« Terrain » avant tout, maintenant que le fameux
consensus a volé en éclats (il était temps). Moins de grandes idées et de
grandes théories, plus de trucs pragma, ras des paquerettes et terrain. Très
bien, mais ça n'interdit pas de valider avec de la théorie !
Pour ce qui me concerne, il y avait 4 trucs qui me chiffonnaient dans la
« méthode Duflo » depuis le début, du moins depuis que je la
lis :
1 – nous prendre pour des cachets d’aspirine, ça craint. Ca chiffonne l’égo,
bien sur ; et même si Labrousse dit que c’est « bienvenu », il y a un
côté mécanique, chosifiant qui me gène. Mais c’est une critique « grand
public » qui n’intéresse que peu les scientifiques.
2 – directement lié à ci-dessus, je garde l’idée que l’observation des
changements dans un groupe, comparé à un groupe témoin, peut donner des
résultats ; mais très limités car on ne sait pas grand-chose des
motivations. En gros, l’observation à la Duflo permet de dire : oui, il ya
corrélation entre le fait d’avoir introduit de l’argent dans ce groupe et les
changements de comportements dans ce groupe : j’observe des faits, des
résultats. Mais même si une seule variable a changé (c’est la qualité de la
méthode), cela ne dit rien des raisons pour lesquelles il y a eu changement.
Notamment, ces changements pouvant être très irrationnels (du pt de vue de
l’observateur), on doit s’interdire de les sur-interpréter !
3 – De plus, les changements quand il s’agit de fric, d’argent, de braise
peuvent renvoyer à des trucs profonds au sein de la famille : valeurs,
cupidité, devoirs, hiérarchie des normes, etc. Et ça, ça change sans doute sur
une ou deux générations, mais lentement. Donc une étude comme celle de
Hyderabad, citée 1000 fois par Duflo elle même et considérée comme l’exemple
même de ce qu’il faut faire, ne devrait pas permettre d’interpréter trop
profond : elle observe des changements sur 18 mois, c’est très
court !
4 – et enfin, il ya de l’ « effet Hawthorne » dans une telle
étude. L’observateur, du seul fait qu’il observe, modifie l’observation. Même
s’il est très restreint et sans doute peu analysable, il existe. D’où une
difficulté supplémentaire pour interpréter.
D’où mon réel plaisir à lire Labrousse (même s’il faut que je m’y reprenne à
3 fois pour être sur de comprendre ! !) pour lire de l’argumentation
scientifique sur le sujet.
Labrousse dit que Duflo n’avance aucune références théorique, alors que par
exemple :
« la théorie de la rationalité limitée, subjective, interprétative,
procédurale et située, développée bien avant Kahneman par Herbert Simon (1997)
est foncièrement absente de la réflexion. Or la contextualisation simonienne de
la rationalité permettrait de résoudre une série de problèmes apparents mis en
avant dans l’article « Poor but rational » (Duflo, 2003). De plus,
Duflo insiste de manière croissante sur l’incertitude qui pèse sur les pauvres,
dépassés par la multitude de décisions qu’ils doivent prendre chaque jour, sans
déboucher sur une théorisation des processus cognitifs. L’approche de Simon, de
même que les théories évolutionnistes de type Nelson et Winter, pourraient
éclairer de manière cohérente et systématique nombre de résultats
expérimentaux, de mécanismes décisionnels en situation d’incertitude, le rôle
des routines et autres processus d’apprentissage etc. En retour, les
expérimentations pourraient renouveler ces théories.
« La notion d’incertitude développée par Knight et Keynes n’est pas
plus mobilisée… (etc.) »
J’ai lu un peu de Simon et il me semble assez passionnant. Mais je retiens
surtout des observations de Labrousse que Duflo ne semble pas intéressée du
tout par l’idée de fonder en théorie ses observations. Pourquoi ? pas de
temps à perdre ? ou bien une indifférence pour des trucs dont elle ne voit
pas l’intérêt ? je n’en sais rien, évidemment, mais c’est dommage…
Je rejoins Labrousse sur la durée et l’effet de durée des expérimentations.
Elle renforce l’argument en se servant de l’origine méthodo des études de
Duflo, c'est-à-dire le médicament : voir ci-dessous. Le parallélisme est
cruel, mais de fait, les effets positifs tels qu’ils sont mesurés peuvent être
très provisoires… donc déception sur les impacts de l’étude.
Al 33 – « La question de l’effet de la durée de l’expérimentation sur
les résultats des évaluations est importante. En avril 2002, une étude sur les
effets post-cliniques des médicaments sur la période 1975-1999, conduite par
Karen Lasser (2002) du Cambridge Hospital et de la Harvard Medical School, a
été publiée dans le Journal of the American Medical Association (JAMA). Cette
étude concluait que pour un médicament sur quatre des effets indésirables non
détectés par les essais cliniques apparaissaient après l’autorisation de mise
sur le marché (AMM). Certaines maladies comme le cancer ne se développant que
longtemps après l’intervention des facteurs qui les favorisent et les études
post-cliniques étant rares, il est possible que des effets secondaires sévères
à long terme soient sous-évalués. Or le développement, comme nous le rappelait
déjà François Perroux (1961), s’inscrit également dans la durée. Une
expérimentation récente sur le microcrédit illustre la sensibilité des
résultats à la durée de l’observation : « dans un premier temps, le
taux de non-remboursement n’était pas plus élevé dans les groupes à réunion
mensuelle que dans les groupes à réunion hebdomadaire, ce qui nous avait
conduit à conclure que le rythme hebdomadaire n’était pas indispensable à la
discipline du remboursement. Mais un an plus tard, lors du deuxième cycle, on a
vu apparaître une différence : les groupes hebdomadaires ont un meilleur
taux de remboursement. L’explication la plus plausible réside dans le capital
social » (Duflo, 2010b, p. 43). Cette sensibilité à la durée de
l’expérimentation est d’autant plus cruciale que l’on est face à des acteurs
qui apprennent, interagissent et évoluent, de même que le cadre institutionnel
des activités économiques. Autre exemple, dans le cadre d’une expérimentation
par assignation aléatoire, il est fourni à des fermiers kenyans des
informations, des prêts et des services de commercialisation afin qu’ils
développent des cultures rentables destinées à l’exportation (Ashraf, Giné
& Karlan, 2008). D’abord couronnée de succès, cette initiative finit par
péricliter. Un an après l’arrêt de l’étude, l’exportateur cesse d’acheter les
récoltes car elles ne satisfont pas aux normes européennes. Les fermiers n’ont
pas pu alors rembourser leurs prêts. Cette expérimentation éclaire de manière
très intéressante les contraintes à l’export des fermiers africains et montre
également l’érosion dans le temps de certains résultats expérimentaux. Or, en
raison des coûts des expérimentations, celles-ci sont souvent conduites sur une
durée limitée »
Ce ne serait pas grave s’il ne s’agissait que de science : après tout
le scientifique n’est pas responsable de la façon dont on utilise ses
résultats. Sauf si ses résultats sont utilisés par, par exemple, des politiques
pour en tirer des règles nouvelles conformes à ces résultats, alors qu’ils ne
se maintiennent pas dans la durée.
Après avoir montré de « petits arrangements » avec la rigueur des
méthodes (Labrousse cite des études cliniques en exemple, mais ne critique pas
pour autant Duflo, sauf bricolages d’échantillons à la marge), l’autre risque
est que l’expérimentation scientifique acquière des enjeux de politique :
en gros, si l’aval à la Duflo devient un prérequis pour la mise en place de
politiques, il est évident que les études vont subir des pressions pour obtenir
des résultats. Et l’influence de lobbies locaux sera plus que probable.
Labrousse renvoie, analogie, aux critiques sévères des expérimentations sur le
RSA (dont
j’avais parlé, avec la dure engueulade entre Gadrey, le vrai scientifique,
et les autres…)
Al 37 – « Le cas de l’expérimentation aléatoire sur le Revenu de
Solidarité active (RSA) en France, étudié par Gomel et Serverin (2009), le
montre bien. Bien qu’aboutissant à des résultats finaux bien moins
significatifs que les résultats intermédiaires mis en avant par les promoteurs
du projet, l’évaluation a restreint et focalisé les débats politiques sur un
« syllogisme tronqué » et a paré le projet de loi « des habits
de la science ». Du fait « de sa position à l’intersection du monde
politique et de la recherche » (Duflo, 2010b, p. 18), cet outil de preuve
est également, nous allons le voir, un outil de gouvernement des
populations… »
La, c’est une critique cruelle si elle est fondée. Si Duflo à partir de
résultats fragiles acquiert une autorité telle que des gouvernements locaux en
concluent « c’est comme ça qu’il faut faire » (et vous n’aurez pas de
fric si vous ne faites pas comme ça), sa position de scientifique devient
discutable… Trop d’influence peut nuire à la rigueur. Comme j’ai entendu dire
que son organisation fait des formations pour les élus à Mumbay actuellement,
j’espère qu’elle ne se laisse pas piéger dans un truc pareil !
(PS : "Qui custodiet ipsos custodiae ?" : ce n'est évidemment pas
de ma grand mère, c'est de Juvenal : who watch the watchdogs ? qui
contrôlera les contrôleurs ? qui surveillera les surveillants ?
etc.... j'adore cette formule, qui est le tout début de la bureaucratie !)
La référence complète de l’article de Labrousse est ici : Agnès
Labrousse, « Nouvelle économie du développement et essais cliniques
randomisés : une mise en perspective d’un outil de preuve et de
gouvernement », al 26 - Revue de la régulation En ligne, n°7 | 1er semestre 2010, mis en ligne le 03 juin 2010,
Consulté le 27 juin 2010. URL :
http://regulation.revues.org/index7818.html