Читать книгу Reforma rural integral: ¿Oportunidad que se desvanece? - Amanda Alvarado Cortés - Страница 15

Actualmente, puede recurrirse a diferentes perspectivas para hacer evaluaciones orientadas al conocimiento del desempeño institucional y a los efectos de las políticas y programas, en el ámbito de la acción pública. Diferentes autores han reconocido estas perspectivas, por ejemplo, Guba y Lincoln (1989), primero, reconocen cuatro “generaciones” y, segundo, han abordado las principales características de cada una. En la tabla 1.1 se presenta un resumen de algunas de estas generaciones de evaluación, donde se incluye una nueva propuesta: la quinta generación.

Tabla 1.1 Generaciones de las formas de evaluación

Fuente: elaboración propia a partir de Guba y Lincoln, 1989, 2001; Muñoz, 2007; Scriven, 2011a; 2011b.

La primera generación de evaluación se orientó, en sus inicios, a la medición del rendimiento escolar de los niños, mediante exámenes y pruebas psicométricas, que fueron bien recibidas, después, también en la industria militar. La evaluación fue llevada luego al escenario de la productividad en los negocios y la industria, a principios del siglo XX, donde se tenía la pretensión de encontrar a los trabajadores mejor calificados y los métodos más productivos de trabajo. Pero, más allá del objetivo inicial del ejercicio evaluativo, puede afirmarse que el fundamento de este tipo de evaluación es la medición matemática de datos considerados verídicos y cuantificables, aplicables en cualquier lugar, independientemente del contexto. En esta metodología, prima el criterio de eficiencia productiva, es decir, la relación de eficiencia entre recursos y resultados (Subirats et al., 2008).

De esta manera, siguiendo con la propuesta de Scriven (2011a), en la primera generación de evaluación aparecieron dos tipos de rol: la población objetivo y el evaluador. Cabe aclarar que el evaluador debe cumplir con el perfil de ser técnico y tener amplio conocimiento en instrumentos de medición, para ser usados en cualquier contexto. Para garantizar la objetividad de la evaluación, el experto debe aplicar el método científico y, dentro de este marco, emplear los instrumentos técnicos adecuados para la recolección, medición y comprobación objetiva de la información, a partir de la cual es posible emitir un diagnóstico igualmente objetivo.

De acuerdo con el enfoque positivista, tales elementos aportan legitimidad a los estudios sociales, ya que este enfoque científico permite a las ciencias sociales extrapolar los métodos utilizados en las “ciencias duras”, los cuales garantizarían precisión en la medición de los fenómenos sociales y, en últimas, el descubrimiento de “la verdad” (Guba y Lincoln, 1989; Muñoz, 2007). Asimismo, los datos cuantitativos procesados a través de la estadística y la matemática proveen soporte al diagnóstico causal-lineal de la evaluación.

La segunda generación surgió de reconocer las graves falencias de la primera, especialmente, porque se tenía a los estudiantes como los objetos de la evaluación y no a las estructuras educativas ni los elementos que las componen (Guba y Lincoln, 1989, p. 27). A partir de esto, se planteó la necesidad de evaluar los planes de estudio en práctica, para determinar si, en efecto, funcionaban para los fines que se pensaba lograr cuando fueron implementados. En otras palabras, la segunda generación de la evaluación introdujo un elemento adicional al proceso: la descripción de un contexto más amplio que el solo objeto focalizado, es decir, esta vez se incluyó un marco referencial. Así pues, en esta generación de la evaluación, se identificaron tres tipos de rol (Scriven 2011a): el evaluador (técnico experto), la organización (objeto de evaluación) y la población objetivo (objeto de evaluación).

El rol del evaluador responde a un doble papel: realizar una caracterización o descripción del marco referencial, para aplicar luego los instrumentos válidos para la medición (Muñoz, 2007). Dentro de este marco referencial, se cuenta la organización de la política o programa, los patrones, estrategias y materiales que los hacen posibles; también el personal encargado. De esta manera, los componentes de la evaluación pasan por 1) la descripción de los objetivos, donde el experto contextualiza la evaluación; 2) la construcción de instrumentos de medición, adecuados según el contexto; y 3) la recolección de la información, la medición y su comprobación.

Con los elementos anteriores, el técnico evaluador puede emitir una evaluación formativa, en la que, gracias a la estadística y la matemática, es posible comparar una situación de fortalezas y debilidades en relación con el logro de los objetivos de la política o programa. En otras palabras, el propósito de la segunda generación de evaluación es medir y valorar, objetivamente, el cumplimiento de los objetivos, identificando fortalezas y debilidades de acuerdo con el mismo criterio principal de la primera generación: la eficiencia productiva.

A pesar de que la segunda generación amplió el panorama de la evaluación, al incluir el contexto interno de la política o programa, es decir, los objetivos, estrategias, materiales y organización que se plantean, no logró garantizar la identificación de la pertinencia. Para superar esta limitación, apareció una tercera generación de evaluación, basada en las críticas que había hecho Michael Scriven en 1967, quien señaló que el proceso evaluativo debe problematizar el valor extrínseco de los objetivos (Guba y Lincoln, 1989).

Para problematizar el valor de tales objetivos es inevitable que el evaluador también tenga un papel como juez, toda vez que, siendo el descriptor y técnico experto, la persona más objetiva posible. De esta manera, los componentes de la evaluación conservan las características de las generaciones anteriores: describir objetivos, construir instrumentos, recolectar información, medir y comprobar y, a partir de esto, evaluar internamente la política. No obstante, a este proceso se suma que la evaluación debe comparar, además, los objetivos con estándares externos a la política. A partir de ello, se debe, primero, emitir juicios de valor internos y externos (contextuales) y, segundo, determinar si la política y sus objetivos son pertinentes o no.

Debido a que el contexto en que surgió esta generación de evaluación fue la Guerra Fría y la competencia entre Estados Unidos y la Unión Soviética, apareció un nuevo actor en la evaluación: el gobierno. Este nuevo actor se refiere a lo que Scriven (2011a) denomina “cliente”, puesto que el Gobierno de Estados Unidos necesitaba evaluar el sistema de educación estadounidense y superar las deficiencias que habían permitido a los soviéticos ir “un paso adelante” en la carrera espacial (Guba y Lincoln, 1989).

En este escenario, la tercera generación de evaluación determinó la existencia de tres roles: el cliente (gobierno), el evaluador (juez, descriptor, técnico experto) y el objeto de la evaluación (la población objetivo y la política misma). Cabe agregar que, en el marco de la carrera por dar respuesta a las supuestas deficiencias en la educación, apareció un nuevo criterio en el proceso evaluativo, pues, además de la objetividad y la eficiencia, resultó necesario tener en cuenta también la oportunidad de la información. Este criterio permitió al evaluador y su cliente disponer de la manera más rápida posible de la información y valoración necesaria para tomar decisiones frente a los ajustes que la política en cuestión requiriera.

De esta manera, la tercera generación de la evaluación planteó que los objetivos de una política en sí mismos pueden ser problematizados por el evaluador y deben serlo. Por tanto, son susceptibles de ser valorados en relación con estándares externos a la política. Así, esta generación permitió ampliar, nuevamente, el panorama de la evaluación, para incluir elementos externos a la política y emitir juicios de valor intrínsecos y extrínsecos a ella. En ese sentido, se reconoció, por primera vez, que el experto evaluador emite juicios de valor, aunque se insista en la pretensión objetivista, incluso sin tener claridad con respecto a cómo establecer los estándares objetivos de juicio en el contexto de sociedades con multiplicidad de valores. Adicionalmente, se reconoció que este tipo de evaluaciones está orientado a la toma de decisiones, por lo que las evaluaciones que brinden información oportuna resultan más valiosas.

Al analizar las tres primeras generaciones, Guba y Lincoln (1989) proponen una cuarta generación que intenta superar los límites de las metodologías positivistas y meramente cuantitativas, a la hora de hacer investigación en ciencias sociales. Así pues, la evaluación constructivista o de cuarta generación se basa en los supuestos básicos del paradigma constructivista, es decir, una ontología del relativismo, donde el conocimiento se concibe como una construcción social y cobra sentido a través del proceso de comprender del ser humano. En otras palabras, no podríamos hablar de la existencia de una verdad “objetiva”, porque la verdad es relativa a la experiencia y la comprensión humanas.

Ello implica que, en términos epistemológicos, la evaluación constructivista puede hacer afirmaciones sobre “realidad” y “verdad”, pero estas “depend solely on the meaning sets (information) and degree of sophistication available to the individuals and audiences engaged in forming those assertions”1 (Guba y Lincoln, 2001, p. 1). En ese sentido, las aseveraciones hechas en la evaluación no pueden ser consideradas absolutamente verdaderas, sino relativas, resultado de un proceso dialéctico y hermenéutico de descubrimiento y asimilación.

Así pues, la evaluación constructivista tiene dos momentos: el momento dialéctico y el de asimilación. El primero tiene lugar cuando el evaluador descubre al evaluado en su contexto. En este momento, es fundamental identificar los significados (información) y el nivel de sofisticación en el proceso de inter-pretación del evaluado. Guba y Lincoln (2001) abren la posibilidad de recurrir a construcciones preexistentes relacionadas con el evaluado, incluso de fuentes externas como las de la literatura profesional, pero advierten que, si estas construcciones tienen bases paradigmáticas disímiles frente a la constructivista, deben revisarse las disyunciones que pueden socavar la esencia de la evaluación. Una manera para resolver este problema consiste en que el evaluador deje clara su posición frente a las construcciones preexistentes, a la luz de su intención evaluativa constructivista.

El segundo momento es el de la asimilación (hermenéutica). En este, el evaluador incorpora nuevos descubrimientos en las construcciones existentes, las pone en conflicto o las reemplaza. Así, el evaluador propone una construcción nueva, más informada y sofisticada, que se ajusta a los significados y permite la explicación de lo que sucede, de manera que se posibilite la resolución de problemas o, por lo menos, mejorar una situación problemática. Cabe aclarar que estos dos momentos de la evaluación constructivista no son necesariamente secuenciales, sino que pueden suceder de manera paralela e incluso superponerse.

Esta cuarta generación identifica los mismos roles de las dos primeras (evaluador, objeto de estudio). Sin embargo, los roles se encuentran en una relación de interacción en la que se reconoce la influencia del uno sobre el otro. A estos roles clásicos, se agrega un tercer rol, denominado “población impactada” por Scriven (2011a). Dentro de este nuevo rol, se cuentan otros expertos, poblaciones beneficiarias y los ejecutores de la política, los cuales se encuentran inmersos en la política de distintas maneras. Reconocer estos actores implica llevar a cabo una evaluación de carácter respondente (Muñoz, 2007), donde el criterio primordial de la evaluación es la participación y la deliberación pública de diferentes audiencias e intereses. Con este nuevo elemento, ya no solo se maneja información cuantitativa, sino también cualitativa, lo que permite evaluar la política a partir de criterios como gobernanza, calidad, relevancia y significación.

Teniendo en cuenta lo anterior, el evaluador pasa a ser un mediador en el proceso de negociación entre las diferentes versiones o visiones de la realidad y, a partir de esta negociación, construir un consenso entre visiones. Así, la evaluación de la cuarta generación no se enfoca en describir la política y su funcionamiento interno, sino que pretende medir y valorar la política como un metadiscurso (consenso sobre la realidad), producto tanto de la interacción y negociación de diferentes visiones de la realidad, como de diferentes intereses puestos en juego.

A partir de este enfoque, la evaluación está orientada a definir el curso de la acción pública, por lo que los resultados no son conclusiones, recomendaciones ni juicios de valor, sino una agenda para la negociación de demandas o temas no resueltos en la política. Cabe agregar que la lógica de la causalidad en este tipo de evaluación es circular, es decir, rompe con la causalidad lineal, donde cada causa tiene un efecto. En otras palabras, en la cuarta generación, prima una lógica circular, donde el efecto de una causa puede explicar el origen de otra causa.

A pesar de reconocer la existencia de las cuatro primeras generaciones de la evaluación de las políticas, existe otra propuesta, explorada por Muñoz (2007) y Lund (2011), basada en un cambio de paradigma. Tanto Muñoz como Lund proponen una quinta generación, esta vez, fundamentada en una epistemología construccionista social, que se acerca a los planteamientos de la teoría de sistemas y la complejidad. En esta nueva generación de la evaluación, la realidad es considerada una totalidad orgánica que trabaja bajo causalidades en forma espiral. Esto equivale a decir, por un lado, que el evaluador no es totalmente ajeno al objeto de estudio, ni al contexto de la evaluación; por otro, que tampoco el objeto de estudio queda intacto después de la aplicación de los instrumentos de medición. En otras palabras, todos los elementos influyen sobre los demás y son influidos con respecto a estos, en ciclos históricos que pueden y tienden a repetirse.

Por otro lado, Scriven (2011a) sugiere que, desde una perspectiva que admita la diversidad, es posible reconocer una gran diversidad de actores o roles durante la evaluación. No solo está el evaluador, el cliente (gobierno), el personal de la política y la población objeto, sino que también se reconocen roles adicionales como 1) la población impactada de manera recurrente, futura y potencial; 2) otros actores interesados (donantes, familiares y amigos de la población impactada, simpatizantes, enemigos, reporteros, políticos e historiadores, entre otros); 3) audiencias reales, futuras y potenciales (como agencias de supervisión); y 4) asesores de evaluación (apoyo para la evaluación).

En este escenario, la evaluación de quinta generación requiere reconocer que el conocimiento puede provenir de diferentes escenarios y esferas. Ello equivale a afirmar que todo conocimiento es válido. En ese sentido, el objetivo del conocimiento (construido) es comprender los comportamientos sistémicos y complejos de la totalidad orgánica del mundo vivo. Para ello, este tipo de evaluación pretende rescatar e integrar algunos elementos del enfoque empíricoanalítico (tercera generación) y del enfoque comprensivo (cuarta generación). Lo anterior, a partir de lo que Muñoz (2007, pp. 163-164) considera “las tres etapas del proceder metódico”:

→ Brindar al ejercicio evaluativo de un piso teórico, por ejemplo, a partir de un análisis documental juicioso y sistemático.

→ Contrastar el piso teórico con las subjetividades de las realidades que van a ser evaluadas, por ejemplo, a través del instrumento de la etnografía.

→ Analizar integralmente la información recopilada a través de la triangulación, con base en saberes de expertos de uso, expertos usuarios y el investigador. Esto con el propósito de resolver acercamientos y diferencias entre paradigmas, posiciones y opiniones.

Así pues, en la quinta generación de la evaluación, lo importante no es la acumulación de saberes segmentados, sino las relaciones y conjuntos que emergen de ellas, lo que permite la interrelación y comunicación entre especialistas y especialidades. Como puede observarse, la interrelación y la intercomunicación de los diversos actores es fundamental para obtener la mayor diversidad posible de información, tanto cualitativa como cuantitativa. Esta información debe servir para ayudar a mejorar las condiciones de vida, puesto que está orientada a mostrar las cualidades y calidades de la política, en función de la satisfacción de las necesidades. En todo caso, la evaluación debe considerarse una investigación social, formulada de manera que permita plantear alternativas sistémicas a problemas sistémicos.