Читать книгу Guía práctica para la evaluación de impacto - Raquel Bernal - Страница 16

SESGO DE SELECCIÓN

Como se detalló en el capítulo anterior, la evaluación de impacto consiste en la estimación de:

donde E[Y_i(1)|D_i = 1] es el valor esperado de la variable de resultado entre los participantes en el programa en presencia del programa y E[Y_i(0)|D_i = 1], o resultado contrafactual, es el valor esperado de la variable de resultado entre los participantes en ausencia del programa. En otras palabras, evaluar la diferencia entre la variable de resultado entre el grupo de tratados si existe el programa y la variable de resultado entre el grupo de tratados si no se hubiera implementado el programa. Claramente no es posible observar ambos resultados al mismo tiempo. Sin embargo, sí se puede observar la variable de resultado entre un grupo de individuos elegibles que no participan en el programa (o grupo de control), E[Y_i(0)|D_i = 0].

El principal reto de la evaluación de impacto es determinar las condiciones bajo las cuales E[Y_i(0)|D_i = 0] se puede utilizar como una aproximación válida de E[Y_i(0)|D_i = 1] y, por tanto, utilizarse en la ecuación (3.1) para obtener el efecto del programa ATT.

Evidentemente E[Y_i(0)|D_i = 0] se podría utilizar como una aproximación adecuada del contrafactual si

Es decir, si la variable de resultado en ausencia del programa es idéntica para el grupo de individuos tratados (D = 1) que para el grupo de individuos de control (D = 0).

El supuesto (3.2) se viola toda vez que la participación en el programa es una elección del individuo elegible. La razón es que los participantes y los no participantes generalmente son diferentes, aun en ausencia del programa, y por tal motivo es precisamente que se observa que unos escogen participar y otros no, aun si todos son elegibles para recibir el tratamiento. Es decir, existen características (observadas y/o no observadas) que causan que unos individuos participen y otros no. Probablemente, las diferencias en estas características entre individuos participantes e individuos no participantes también originen diferencias en la variable de resultado entre un grupo y el otro. Por ende, es muy probable que la variable de resultado del grupo de tratamiento y la variable de resultado del grupo de control sean diferentes, aun si el programa no existiera. Este hecho se conoce como sesgo de selección.

Recuerde que el ATT se puede escribir como:

En la ecuación (3.3) es claro que si los individuos del grupo de tratamiento y el grupo de control son diferentes, aun en ausencia del tratamiento (la segunda parte al lado derecho de la ecuación), entonces la diferencia entre la media del grupo de tratamiento y la media del grupo de control (el lado izquierdo de la ecuación) será igual al ATT más la diferencia preexistente entre los dos grupos, término que se denomina sesgo de selección. Es decir, la comparación de medias entre el grupo de tratamiento y el grupo de control será una combinación del efecto directo del tratamiento, ATT , y las diferencias preexistentes entre los dos grupos, E[Yi(0)|Di = 1] = E[Yi(0)|Di = 0], y sin información adicional el investigador no puede descifrar qué parte se debe a qué.

En suma, los individuos que se autoseleccionan en el grupo de tratamiento son sistemáticamente diferentes (en formas que observamos y formas que no observamos) de los individuos que se autoseleccionan en el grupo de control, y precisamente por eso participan en el programa. Esas diferencias sistemáticas pueden estar relacionadas, a su vez, con la variable de resultado, objeto de la evaluación de impacto.

En el capítulo anterior se explicó que si se cumple el supuesto (3.2), entonces el efecto del programa sobre la variable de resultado, Yi, es la pendiente estimada por mínimos cuadrados ordinarios de la siguiente regresión lineal:

donde Di es el indicador del estatus de tratamiento.

En este caso, por MCO es un estimador consistente e insesgado del efecto del programa porque E(ui|Di) = 0. Es decir, no hay correlación entre la decisión de participar o no en el programa, Di, y las características observadas y no observadas de los individuos contenidas en el término de error, ui . Sin embargo, si la participación en el programa es una decisión de los individuos,¹⁸ es improbable que se cumpla el supuesto E(ui|Di) = 0. Esto se presenta porque es posible que los individuos que deciden participar en el programa lo hagan debido a que son sistemáticamente diferentes de los individuos que deciden no participar. Algunas de estas diferencias pueden, a su vez, explicar la variable de resultado, Yi , y, por tanto, estar contenidas en el término de error, ui . Dicho de otra manera, saber si un individuo participa o no participa en el programa informa sobre las variables no observadas del individuo contenidas en ui, por lo cual se invalida el supuesto de independencia condicional.

Ejemplo 3.1:

Suponga que el programa Canasta se ofrece y los individuos elegibles deben decidir si quieren participar o no. Además, participar tiene un costo en tiempo y trámites, debido a que la mamá del niño elegible debe acercarse a una oficina de la institución encargada de administrar el programa, diligenciar un formulario de inscripción y llevar al niño potencialmente participante a un control médico en el que se registran sus medidas antropométricas (estatura y peso). Aunque todas las mamás de niños entre los 0 y 6 años de edad que pertenecen a Sisbén 1 y 2 son elegibles para el programa, es muy probable que un conjunto de madres considere que el costo de inscribirse para participar en el programa es muy alto porque las filas son muy largas, el examen médico es muy demorado o el hospital en el que se lleva a cabo es muy lejos, por lo cual preferirán no recibir el mercado. Es decir, se podría pensar que las mamás que sí deciden participar son aquellas más proactivas y motivadas y que, a pesar del costo de participación, se preocupan por sus hijos y su bienestar lo suficiente (o tienen el tiempo disponible) como para ir hasta la oficina, hacer la fila, sacar la cita en el hospital, ir al hospital para asistir a la cita médica, volver a la oficina administradora a reclamar el mercado, etcétera.

Note entonces que las madres participantes y las madres no participantes son diferentes en cuanto a su perfil de madre, la disponibilidad de tiempo, su disposición a ocuparse de los hijos, etc. Estas características, algunas de las cuales no son observadas por el evaluador porque no existen mediciones o porque no fueron registradas en los datos (como qué tan dedicada es la mamá a sus hijos), pueden también afectar el estado nutricional de los niños participantes y no participantes. Por ejemplo, las mamás más proactivas y motivadas pueden ser también aquellas que se preocupan más por la nutrición de los niños y, por tanto, les ofrecen una dieta más balanceada, llevan a los niños a controles médicos, etc. Es decir, sería una variable contenida en ui porque explica la medida antropométrica (o variable de resultado), Yi .

Dado que existen características observadas y no observadas de los individuos, contenidas en ui, que explican tanto la decisión de participar en el programa como la variable de resultado, entonces

Es decir, la participación en el programa, Di, sí está correlacionada con el término de error en la regresión (3.4). Esto constituye la violación de uno de los supuestos fundamentales del modelo de regresión lineal (independencia condicional) y, por ende, los estimadores de mínimos cuadrados ordinarios no serán insesgados.¹⁹ Esto implica que el valor esperado del estimador del efecto del programa estimado por MCO no corresponde al efecto verdadero del programa sino que está subestimado o sobrestimado, según sean las características no observadas de los individuos. En otras palabras, el efecto del programa no se puede obtener por la simple comparación de medias de la variable de resultado entre el grupo de tratamiento y el grupo de control.

Intuitivamente, si hay variables que explican tanto la participación en el programa como la variable de resultado, la comparación de medias puede estar atribuyendo al programa un efecto que en realidad se debe a las diferencias preexistentes entre el grupo de tratamiento y el grupo de control. En nuestro ejemplo del programa Canasta, si las madres participantes son más dedicadas y están más motivadas que las madres no participantes, entonces podemos estar atribuyendo al programa un efecto positivo sobre el estado nutricional de los niños, cuando en realidad la diferencia en las medidas antropométricas a favor de los niños tratados se debe a que tienen madres más pendientes de su dieta que los niños de control, y no al programa en sí. Si la característica del individuo, Xi, que explica tanto la participación en el programa como la variable de resultado, es observable y está contenida en la base de datos disponible, entonces este problema se soluciona simplemente incluyéndola en la regresión (3.4) como una variable explicativa adicional:

donde Xi es una característica observable del individuo, que explica tanto la participación en el programa como la variable de resultado Yi.

Por ejemplo, si los individuos más pobres son aquellos que deciden participar en el programa Canasta, mientras que los individuos más ricos eligen no hacerlo, entonces Xi sería el índice de riqueza del hogar. Si esta es la única diferencia entre los participantes y los no participantes, entonces el estimador de β₁ en la ecuación (3.5) por MCO es un estimador consistente e insesgado del efecto del programa.

Si las diferencias entre los participantes y no participantes son todas observables (y la base de datos contiene información acerca de todas ellas), entonces la regresión (3.5) se puede extender para incluir todas esas características. Si todas las diferencias entre el grupo de tratamiento y el grupo de control se incluyen en la regresión, entonces los factores restantes contenidos en ui son efectivamente independientes de la decisión de participar, Di , y, por ende, el estimador de β₁ por MCO es un estimador insesgado y consistente del efecto del programa.

Sin embargo, en la mayoría de los casos, algunas de las diferencias entre los participantes y los no participantes no se observan o son características (en principio observables) que no están contenidas en la base de datos.²⁰ Por ejemplo, las madres más dedicadas a sus hijos pueden ser más propensas a participar en el programa Canasta que las madres menos dedicadas. Pero qué tan dedicada es una madre no es una variable incluida en las encuestas. Por ende, aunque sabemos que ésta es una diferencia entre los beneficiarios y los no beneficiarios por la que debemos controlar en la ecuación (3.5), no tenemos los datos a disposición. En este caso, el estimador de MCO de β₁ está sesgado, es decir:

La dirección precisa del sesgo (llamado sesgo de selección, por las razones que se han expuesto anteriormente) depende de la relación existente entre la participación en el programa y la variable que diferencia a los participantes de los no participantes (llamémosla W), y de la dirección del efecto de la variable excluida W sobre la variable de resultado Y.

Teniendo en mente el siguiente modelo:

donde W es una característica no observable (o no contenida en la encuesta), la dirección del sesgo de por MCO sobre la regresión (3.5) se puede resumir de la siguiente manera:

donde Corr (Di, Wi) es la correlación entre Di y Wi.

Por ejemplo, tomemos el caso de la primera celda (superior-izquierda). Si a mayor dedicación de la madre (variable W no observada), mayor es la probabilidad de participar en el programa Canasta, entonces Corr (Di, Wi) > 0. Si, además, la dedicación de la madre aumenta la estatura según la edad del niño (variable de resultado Yi) porque la dieta que ofrece la madre más dedicada es más balanceada, entonces β₂ > 0. En este caso, el estimador de MCO de en la regresión (3.4) estaría sesgado hacia arriba E() > β₁, es decir, el efecto estimado del programa sobre el peso según la estatura es mayor que el efecto verdadero del programa. Esto se presenta porque, al no poder incluir W en la regresión, le estamos atribuyendo al programa (a Di) parte del efecto positivo que tiene W sobre Y. Es decir, se le atribuye al programa parte del efecto positivo de la mayor motivación de las madres participantes sobre el estado nutricional de sus hijos. En otras palabras, Di absorbe tanto su efecto propio (sobre Y) como el efecto que tiene W directamente sobre Y, dando lugar a un efecto más grande de lo que en realidad es.

La gran mayoría de programas que se evalúan en la actualidad están caracterizados por el hecho de que los individuos deben elegir si participan o no. Esto implica que las diferencias que surgen entre los participantes y no participantes son, en buena parte, no observables. Así, el gran reto de la evaluación de impacto es encontrar metodologías que permitan obtener un estimador consistente e insesgado de β₁ aun en presencia del sesgo de selección. Estas diversas metodologías se discuten en los capítulos a continuación.