Randomization and social policy evaluation revisited
Saved in:
Heckman, J.J., Randomization and social policy evaluation revisited. Serie: HCEO Working Paper n. 01/2020, Chicago, The University of Chicago, 2020, 47 p.
Ref.
547053
Sted:
SIIS Archivo
Palabras clave:
Política social, Programas, Participación, Medición, Métodos de evaluación, EE.UU.
Política social, Programas, Participación, Medición, Métodos de evaluación, EE.UU.
Abstract:
En este estudio, James H. Heckman rescata y actualiza un trabajo publicado en 1992 sobre las implicaciones y controversias de utilizar metodologías de aleatorización en la evaluación de políticas sociales. Se trata de una interpelación directa a la esfera del pensamiento económico, que recientemente ha galardonado con el Nobel de Economía a Banerjee, Duflo y Kremer por sus trabajos sobre la aproximación experimental en el alivio de la pobreza, en los cuales recurren asiduamente a la aleatorización. Pese a que la literatura especializada haya evidenciado, desde hace ya tiempo, los inconvenientes asociados a esta metodología, estaríamos asistiendo a una nueva ‘oleada’ de entusiasmo en su uso y el autor, por tanto, pretende advertir de sus limitaciones, apelando al uso responsable. En palabras del autor, la propagación de la metodología de aleatorización en la evaluación de políticas sociales buscaría evitar la larga lista de asunciones poco ajustadas a la realidad que subyacen a los modelos estructurales, estadísticos y econométricos. De forma sucinta, la metodología consiste en asignar personas aleatoriamente a un programa y comparar su evolución en torno a una variable de interés con las del grupo de control. Así, la diferencia media entre ambos se define como el efecto del programa. Pese a que el lenguaje matemático que utiliza en sus razonamientos puede resultar de difícil comprensión para el lector no especializado, las conclusiones que extrae son claras. En primer lugar, evidencia la debilidad de la principal asunción subyacente en esta metodología, a saber, que la aleatorización no altera el programa en evaluación. Más aun, sugiere que la aleatorización introduce un sesgo en la experimentación. En segundo lugar, señala una cuestión que se suele pasar por alto: los programas sociales suelen planificarse en diferentes etapas, razón por la que resultaría necesaria la aleatorización en cada etapa ―rara vez practicada―. Además, subraya la incapacidad de ver más allá de las diferencias medias entre participantes y grupo de control, esto es, no permite conocer el grado en el que distintos subgrupos de participantes se benefician del programa. En suma, en palabras del autor, “aquellos que ignoran la historia intelectual están condenados a repetir errores del pasado”, y así, la actualización de este trabajo pretendería evitar el resurgir de un entusiasmo cuasi cuasirreligioso por esta metodología.
En este estudio, James H. Heckman rescata y actualiza un trabajo publicado en 1992 sobre las implicaciones y controversias de utilizar metodologías de aleatorización en la evaluación de políticas sociales. Se trata de una interpelación directa a la esfera del pensamiento económico, que recientemente ha galardonado con el Nobel de Economía a Banerjee, Duflo y Kremer por sus trabajos sobre la aproximación experimental en el alivio de la pobreza, en los cuales recurren asiduamente a la aleatorización. Pese a que la literatura especializada haya evidenciado, desde hace ya tiempo, los inconvenientes asociados a esta metodología, estaríamos asistiendo a una nueva ‘oleada’ de entusiasmo en su uso y el autor, por tanto, pretende advertir de sus limitaciones, apelando al uso responsable. En palabras del autor, la propagación de la metodología de aleatorización en la evaluación de políticas sociales buscaría evitar la larga lista de asunciones poco ajustadas a la realidad que subyacen a los modelos estructurales, estadísticos y econométricos. De forma sucinta, la metodología consiste en asignar personas aleatoriamente a un programa y comparar su evolución en torno a una variable de interés con las del grupo de control. Así, la diferencia media entre ambos se define como el efecto del programa. Pese a que el lenguaje matemático que utiliza en sus razonamientos puede resultar de difícil comprensión para el lector no especializado, las conclusiones que extrae son claras. En primer lugar, evidencia la debilidad de la principal asunción subyacente en esta metodología, a saber, que la aleatorización no altera el programa en evaluación. Más aun, sugiere que la aleatorización introduce un sesgo en la experimentación. En segundo lugar, señala una cuestión que se suele pasar por alto: los programas sociales suelen planificarse en diferentes etapas, razón por la que resultaría necesaria la aleatorización en cada etapa ―rara vez practicada―. Además, subraya la incapacidad de ver más allá de las diferencias medias entre participantes y grupo de control, esto es, no permite conocer el grado en el que distintos subgrupos de participantes se benefician del programa. En suma, en palabras del autor, “aquellos que ignoran la historia intelectual están condenados a repetir errores del pasado”, y así, la actualización de este trabajo pretendería evitar el resurgir de un entusiasmo cuasi cuasirreligioso por esta metodología.