Читать книгу La evaluación de los académicos - Gonzalo Varela - Страница 5

I. La evaluación en la perspectiva internacional y desde las políticas de educación superior y de ciencia y tecnología de 1990 a 2016

Antecedentes y contexto

El objetivo de la revisión de antecedentes que se incluye en este capítulo es ofrecer al lector el panorama más amplio en el que se inscribe la emergencia del Sistema Nacional de Investigadores (SNI) en México. Para ello, a continuación se presentan las características que distinguen a los procesos de evaluación de los académicos, desde una perspectiva internacional. El siguiente aspecto a tratar es el sistema de evaluación de la educación superior en México con el que, a pesar de su autonomía, el SNI guarda una estrecha relación, si bien se extiende a otros ámbitos como el de la investigación científica y la innovación.

Perspectiva internacional

Los propósitos que impulsan la implantación de la evaluación de la educación superior y la investigación científica a nivel internacional han sido variados: transparencia en el uso de los fondos públicos asignados al sector; mejorar la calidad de la educación; estimular la competitividad entre instituciones; verificar las diferencias de calidad en instituciones de reciente creación (públicas o privadas); asignar rangos de prestigio a algunas de ellas de acuerdo a su desempeño; regular las relaciones entre los gobiernos y las instituciones de educación superior (IES); proveer información para estudiantes y empleadores, o para la aplicación de financiamientos; promover comparaciones entre países, y facilitar la movilidad de estudiantes entre instituciones (Brennan, 1998).[1] Una evaluación así responde a un enfoque conductista que induce a la adaptación o readaptación de las instituciones en función de cambios en el contexto social local o internacional. La publicidad debida a resultados comprobados y rankings atrae la atención del público sobre los conceptos de rendición de cuentas y mejora educativa. Las ventajas que se prometen pueden ser financieras, de prestigio o incluso políticas; mientras que para las instituciones de educación superior (IES) y de investigación científica y tecnológica en general son una señal de la necesidad de cambiar y de acceder a prácticas de las cuales depende la obtención de dichas ventajas.

Para que la evaluación funcione y sea creíble es necesario tener sistemas efectivos. Los poderes ejecutivo y legislativo de los que depende el financiamiento de las instituciones son actualmente más inquisitivos en cuanto al uso de los recursos públicos. Las instituciones evaluadas entienden que la autonomía jurídica o técnica no está exenta de la obligación de rendir cuentas. La evaluación de la calidad del desempeño, por otra parte, busca medir lo peculiar de cada institución. El proceso debería de ser sencillo y transparente, de modo que se pueda establecer un tipo específico de comunicación con el público y no solo con el gobierno. Para ello las IES se han visto obligadas a transformar una visión tradicional según la cual la calidad y el buen funcionamiento eran un asunto puramente interno. Si bien antes había razones para sostener esta tesitura, la situación ha cambiado radicalmente. Los condicionamientos sobrevenidos con el financiamiento (en sentido de eficiencia y transparencia en el uso de los recursos públicos), el entorno político (referido a conflictos dentro o fuera de los recintos de la educación superior) y los debates más o menos generalizados respecto de la calidad de la educación superior a raíz de su crecimiento junto a los problemas de gestión, han derivado en nuevas formas de presentar cuentas y difundir datos (Massaro, 1998; Dobele, 2015: 411-413).

Desde el punto de vista de los gobiernos, el interés consiste en mantener el control del gasto, y para esto se ha buscado concretar un sistema aceptable de explicación de resultados por parte de las IES y otras instituciones mediante la inducción negociada de mecanismos de evaluación. El objetivo ha sido dar una base consensual a la política oficial de desarrollo científico. Se trata de una medida de control y orientación con la convicción de que es necesario tener un sistema organizado de instituciones y ya no un conjunto de instituciones o de subsistemas dispersos y descoordinados.[2] Es igualmente una respuesta a las presiones que al respecto reciben los gobiernos por parte de la iniciativa privada, de la oposición partidaria, de la opinión pública en general o de organizaciones multinacionales que inciden en las políticas públicas nacionales. En defensa de esto nada mejor que un sistema de información periódica fundamentado en evaluaciones, con relativa abundancia de datos y posibilidad de fundar juicios acerca de la calidad y desempeño de las instituciones observadas. Por este motivo las autoridades apelan a la opinión pública y propician una visión crítica de los problemas de la educación superior[3] buscando así la aprobación de la asignación de los recursos a las instituciones.

Sin perjuicio de que haya cierto grado de cooperación ineludible entre las instituciones así observadas y el gobierno —este porque requiere consenso de las primeras y aquellas porque necesitan los financiamientos condicionados por una evaluación—, la posición de los actores es disímbola: mientras para el gobierno se trata de obtener una información suficiente que justifique la asignación de fondos y su uso, para las ins­tituciones académicas y de investigación el objetivo es sustentar procedimientos que den acceso a fondos, buena relación con las autoridades y justificación ante la sociedad en general (Brennan, 1996). Para los académicos —en especial cuando son evaluados individualmente por sus productos de investigación, tal como sucede en los países latinoamericanos— ha significado un cambio radical en la dinámica del trabajo, pues es viable con base en una evaluación conformar una jerarquía de ingresos y de prestigio distinta de la tradicional (Aboites, 2012).

La evaluación puede justificarse como necesaria en un marco de planeación, pero la inquietud de los evaluados es acerca de sus métodos, definiciones y alcance. ¿Quién controla? ¿Con qué fines? ¿Para qué? Se pueden cuestionar desde los enfoques técnicos y teóricos subyacentes, hasta los mecanismos de inspección que generan tensiones institucionales e individuales. Si la evaluación es impuesta por la autoridad nacional, aun con sanción legislativa y la aplicación queda en manos de agencias oficiales —o agencias no gubernamentales autorizadas—, el temor a la arbitrariedad sigue latente porque ser evaluado significa depender del juicio de otro. No obstante, en la confrontación entre autonomía y rendición de cuentas, sin perjuicio de cuestionamientos más o menos fundados al sistema de evaluación de que se trate, a la postre prima el interés por parte de académicos y directivos por lograr que su institución obtenga un buen resultado publicitable. Así, las autoevaluaciones, pero sobre todo las evaluaciones externas, operan con resultado variable, pero en el sentido de cambio al que aspira la política.

Las IES son ahora más sensibles a la publicidad y dependiendo de cada país es posible llegar a parámetros de comparación entre ellas (Leite et al., 2012). La atención a la evaluación de la calidad ha cobrado peso porque enlaza el mundo de la educación y la investigación con el entorno social del que depende, lo expone a la crítica externa y a sistemas de valores que contradicen los del intelectual tradicional, afectando así ideas y procedimientos. A causa de esta tensión y de las críticas que suscitan, los mecanismos, métodos y ponderación de resultados conectados han ido variando, según los contextos nacionales, internacionales o propios de cada institución. De esta forma se ha dado la expansión de la matrícula, la diversificación de materias y disciplinas, la internacionalización de estudios y, a veces, los recortes financieros. Hay también más reconocimiento de la autonomía de las instituciones, pero en un marco de competencia entre estas por el prestigio y los fondos, ya que los gobiernos apuestan menos al control político directo que al que se da por medio de las finanzas. Todo ello configura el rechazo —en ocasiones masivo— de la evaluación entre académicos, estudiantes y eventualmente las mismas IES (Aboites, 2012).

Por sus modalidades, la evaluación puede ser interna o externa, dirigida a individuos, programas o proyectos, abarcar el conjunto o ámbitos específicos de una institución dada e incluso involucrar comparaciones entre IES. Todo esto acarrea modificaciones y estructura la dirección y el control de la organización con base en variables de política y parámetros de calidad. Los cambios inducidos son de tipo social, económico o político. En lo social lo principal es el crecimiento de la matrícula debido a la demanda de educación superior por parte de grupos que no accedían a ella. Las transformaciones socioeconómicas, por su lado, exigen una inversión mayor en educación, lo que va en sentido opuesto de la tendencia hacia el declive de los financiamientos. Muchas instituciones son presionadas a hacer más con menos y se les insta a buscar soporte financiero en fuentes alternativas. Contradictoriamente, por su participación en la generación y trasmisión de conocimientos avanzados, aparte de otros rasgos, la educación superior tiene un peso creciente en la consideración de los que toman las decisiones nacionales. Debido a esto el poder Ejecutivo y el Legislativo, así como las oficinas de planeación, coinciden en su interés por moldear el futuro de la educación superior y la investigación científica. Sin embargo, el peso específico de las tradiciones intelectuales y disciplinarias de las instituciones académicas inciden también con sus propios criterios en la discusión sobre las políticas de mejora, organización, perfiles de egreso y otros rubros. A su vez los colegios profesionales se han abierto y participan en los foros de definición y aplicación de la política educativa. En México, la nueva política los ha convocado a participar de una forma u otra.

Dependiendo de los actores involucrados, la evaluación por programa, individuo, institución o proyecto puede realizarla una agencia nacional, la institución involucrada mediante la autoevaluación o pares externos (Glassick et al., 2003). En la mayoría de los países hay elementos comunes de observación y según el enfoque que se dé en los procesos —más que en insumos y productos— se enfatiza en lo cualitativo y la autorregulación académica, sin perjuicio de que intervengan los pares externos, aunque los enfoques pueden ser predominantemente cuantitativos. Cuando la evaluación es puramente interna con reales miras a mejorar, constituye una medida preventiva en defensa de la autonomía, plegándose a las exigencias de obtención de fondos mediante la exhibición de reportes de autoestudio. Por tanto, el móvil de la evaluación puede ser autoinducido, pero se da por exigencia gubernamental según el país.

Las instituciones con procedimientos de evaluación autorregulados se diferencian por el grado de control que ellos les otorgan, aunque los deben adoptar por la presión de políticas diseñadas y gestionadas por agencias de alcance nacional. En las comunidades académicas se puede encontrar complacencia, indiferencia (difícilmente total), conflicto o escepticismo cuando se introduce la evaluación como actividad institucional que afecta la cotidianeidad laboral. Si a estos factores psicológicos no siempre estudiados[4] se les asocia con los métodos de observación objetiva y los resultados que arrojan, aparecen cambiantes escalas de valor acerca del desempeño de las funciones sustantivas de la educación superior. Prueba de ello son las diversas definiciones de la calidad. A la vez que persiste la discusión en la comunidad académica acerca de la definición de calidad en los resultados de investigación (Foss, 2010: 56). Esta misma fuente refiere que “el concepto de desempeño en investigación es no solo multidimensional y ambiguo. Está también cargado de visiones encontradas” (Foss, 2010: 56).

Los parámetros empleados atienden distintos niveles de estudio: individual, por programa, por unidad académica, abarcando al total de las IES de que se trate, o a todo el sistema de educación superior. Por su frecuencia, las evaluaciones son sistemáticas, regulares o esporádicas. Además se las puede clasificar por sus fines: solo diagnósticas o críticas, y dirigidas a cambios precisos que se espera llevar a la práctica en un plazo definido y no muy lejano. Es probable que sea en el sistema mexicano donde se sigue más a los individuos —y por esto se les recompensa económicamente.[5]

En general la evaluación institucional se concentra en insumos y algunos procesos y resultados que atañen al sector de la educación e investigación, porque la observación estricta de la calidad es complicada y susceptible de debate. En particular la diferencia publicitada entre una institución y otra con base en rankings es algo que las agencias gubernamentales o no gubernamentales manejan con cuidado por sus implicaciones conflictivas. En México no es una práctica desarrollada, excepto por encuestas periodísticas de dudosa confección.

Las diferencias son significativas en métodos y según la institución o personal al que se apliquen, pero a escala de cada país se buscan elementos de homogeneización. Es difícil, dada esta combinación de heterogeneidad y homogeneidad, llegar a conclusiones precisas acerca de los resultados de calidad en el conjunto, pero no quita que las instancias de evaluación sean instrumentos de administración y política incisivos, por su influencia en la asignación de fondos, en la regulación de conductas y mucho más por los trámites que exigen. De esta forma, otorgan un poder adicional a las administraciones internas o externas frente a los académicos. Si bien han ayudado a paliar la escasez de recursos, conllevan una tendencia creciente al gerencialismo, a veces más alta en la investigación que en la docencia. Una medida en específico controversial es contar con agencias de evaluación externas a las instituciones —lo que recomienda la OCDE—, en particular si son privadas.[6]

Las principales orientaciones de los sistemas de evaluación practicados a nivel internacional se agrupan en cuatro tipos: 1) evaluación centrada en los sujetos y valores intelectuales o profesionales preexistentes —lo más aceptable para las comunidades académicas—; 2) evaluación gerencial, que da el mayor peso a informes que asignan responsabili­dades a los individuos, con objetivos de cambio estructural provenientes del centro político, lo que produce resistencias académicas; 3) evaluación pedagógica, que se basa en el desarrollo de habilidades de enseñanza, provisión de equipo, formación y profesionalización de académicos, que aunque al parecer cercana al espíritu de las IES, acarrea conflicto de valores puesto que la pedagogía es en teoría y práctica un campo en constante debate, más aún si su orientación es por inducción externa; 4) evaluación profesionalizante, dirigida a las fuentes de trabajo y por esto enfocada a perfiles de egreso y eventualmente a exigencias de los empleadores. En las profesiones tradicionales y en ciertos programas de posgrado esta última puede estar ya antes de implantar la evaluación, pero no es siempre compatible con los modelos educativos vigentes a escala institucional de un país (Brennan, 1998: 28-29).

Por su parte, las demandas por la ampliación del acceso a la educación superior determinaron el contexto en el que surgió la preocupación de los gobiernos por la pertinencia y calidad de este nivel educativo y su financiamiento, lo que impulsó la evaluación como medio de información para asegurar la calidad. Más tarde, el interés gubernamental fue mayor por el crecimiento del nivel terciario de la educación debido a las exigencias de la sociedad del conocimiento a escala global, asunto que preocupa a los empresarios y es motivo de recomendaciones por parte de organismos internacionales públicos y privados (Bleiklie, 2005). Así se han abierto las puertas de las IES a poblaciones que antes no podían aspirar a ingresar en ellas, aunque la ampliación de la matrícula en sistemas educativos y países en condiciones muy heterogéneas y con austeridad de recursos no puede evitar que se generen o regeneren conglomerados educativos de “varias velocidades” —en lo interno o por comparación con otras naciones—, lo que repercute en fenómenos de inclusión y exclusión.

El sistema de evaluación de la educación superior en México

Algunos rasgos similares a los expuestos, combinados con otros propios, se verifican en el origen del sistema de evaluación de la educación superior e investigación científica y tecnológica de México. Influyeron en este proceso factores nacionales e internacionales, incluida la preocupación del gobierno por el monto creciente del financiamiento de la educación superior. Cabe puntualizar al menos dos factores. En primer lugar, la reestructuración de la educación superior en las últimas cuatro o cinco décadas, donde se genera la mayor parte de la investigación científica y docencia del país, con repercusiones en cada institución. En segundo lugar, la intención de orientar el cambio hacia metas estratégicas comunes. Esto último es una dificultad porque el desarrollo del sistema, ya sea en sus etapas de más espontaneidad o de planeación conjunta, no permite la homogeneización, dadas las diferencias de tradición, especialización, contexto regional, relaciones políticas, financiamiento, y competencia entre instituciones públicas o privadas por captar estudiantes, entre otras variables.

En México, al igual que en otros países, lo decisivo en cincuenta años ha sido el crecimiento de la demanda de educación superior de grupos sociales que antes no tenían acceso a ese nivel. La política educativa durante el “desarrollo estabilizador” se orientó al aumento de la matrícula, lo que significaba una promesa de movilidad social, reconocimiento de estatus y mejora de nivel de vida mediante la inclusión de egresados en el mercado de trabajo de las profesiones. En épocas más recientes han influido las transformaciones supranacionales, con las consecuentes presiones para que el nivel superior de enseñanza e investigación dé respuesta a los desafíos de la globalización en un mundo interconectado, y participe produciendo y no solo consumiendo los avances en ciencia y tecnología: la economía en la sociedad del conocimiento demanda nuevos tipos de educación y más investigación científica.

Al mismo tiempo y no obstante los periodos en los que el sector se ha beneficiado con aumentos de presupuesto, la perspectiva de incremento constante parece, no menos que en otros países, poco probable, por lo que se impone la lógica del ajuste presupuestal con mayor exigencia y vigilancia en el uso de los fondos. Así se explica en lo tocante a los ingresos individuales de los académicos, la relación entre salario base y estímulos monetarios debidos a evaluación de desempeño, y en la demanda de que las IES e institutos de investigación informen acerca de sus ejercicios presupuestales y obtengan ingresos por otros canales que complementen a los oficiales. La exigencia de rendición de cuentas a las IES autónomas por parte del Legislativo federal, o la insistencia en el enfoque interdisciplinario que significa ponerse al día con el conocimiento de avanzada y potenciarlo localmente, se han unido a la evaluación en un proceso complejo de diversos vectores de control por medio del cual se busca determinar el futuro de la educación superior y la investigación. La evaluación pretende enlazar más estrechamente la esfera interna de estas instituciones con el entorno nacional e internacional, hasta cierto punto, del que dependen.

Lo típico ha sido, al menos al inicio, la cuantificación de resultados fáciles de verificar, más que la observación de procesos y el énfasis en lo individual asociado polémicamente a la recompensa monetaria. Para entender esto es necesario referirse al desarrollo del sistema de educación superior. La matrícula de este había sido reducida y variable según las regiones del país y todavía es insuficiente en relación al grupo de edad respectivo, si bien es clara la tendencia al alza políticamente inducida en los últimos años. La baja captación histórica se debía en buena parte al carácter elitista del sistema —sin perjuicio de su democratización progresiva durante el siglo XX— y a que la población de México tuvo un mayor crecimiento recién en la segunda posguerra. Como reflejo de la ampliación de la educación en general, las instituciones enfrentaron el doble desafío de la apertura de la matrícula y de su consecuente crecimiento acelerado, capaz de desbordar toda expectativa de planeación. Estos y otros acontecimientos llevaron al gobierno a tomar cartas en la educación superior; mas su acción se veía acotada por barreras políticas y jurídicas dado que, de las distintas instituciones constituyentes del sistema superior (universidades, institutos tecnológicos y escuelas normales), las más importantes por número de alumnos, presupuesto y representatividad eran las universidades públicas, en su mayoría jurídicamente autónomas e insertas en contextos regionales y tradiciones intelectuales diversas. De esta manera se evidenciaba la dificultad del Poder Ejecutivo para poner en marcha una política unificada.

Sin embargo, en los hechos la autonomía tuvo como contrapeso la necesidad del financiamiento que en esa época, e incluso ahora, depende en gran medida del gobierno federal —y solo subsidiariamente de los gobiernos locales cuyos aportes varían dependiendo de la entidad federativa de que se trate—. Desde el punto de vista de las instituciones ello comporta como mínimo tres restricciones: los flujos financieros son manejados por el gobierno, más allá de que deriven de decisiones del Legislativo acerca de las leyes de egresos e ingresos; las asignaciones a las IES por parte del Ejecutivo dependen de la matrícula que atienden y de criterios difusos determinados con frecuencia por negociaciones directas entre autoridades e instituciones educativas; y la contingencia se acentúa en las coyunturas frecuentes de crisis económica y restricción del gasto público (Varela, 2011; Mendoza, 2007).

A lo anterior hay que sumar la política más o menos tácita de facilitar el crecimiento de las instituciones privadas, lo que indirectamente resolvía o compensaba cuestiones irresueltas en las instituciones públicas como la absorción de la matrícula, la calidad de la enseñanza o conflictividad política; lo que no quiere decir que las IES privadas, en crecimiento indiscriminado, estén exentas de problemas de calidad. Introducir una competencia entre las instituciones públicas y privadas en el sistema de educación superior —así fuera deliberado o no— sirvió de aviso a las instituciones públicas reticentes al cambio, lo que las llevó a adoptar reformas que el gobierno, la empresa privada o grupos de opinión descontentos con su desempeño querían ver plasmadas. No obstante, esto no podía ser por sí mismo un elemento de orientación de la educación pública, ni sustituir la responsabilidad oficial en la materia. Las relaciones de mercado o la competencia interinstitucional abierta no pueden fungir como sustituto de la política educativa, la cual se basa en el lazo entre planeación, evaluación y financiamiento.

El impulso de la planeación en la educación superior fue un hecho a partir de los años setenta. La idea de racionalizar su financiamiento estaba ya presente, no solo porque equivocadamente se preveía en aquel entonces un prolongado periodo de elevado crecimiento económico, sino porque ello era base de la oferta de fondos para las instituciones a cambio de implementar la planeación a escala nacional. No obstante, aparte de la crítica coyuntura económica de los años ochenta que deterioró los supuestos financieros del modelo, el proyecto estaba limitado por el voluntarismo y las inercias de las instituciones y muy en particular por la ausencia de una evaluación consistente que estudiara la factibilidad, permitiera rectificaciones y observara el logro efectivo de las metas planeadas. El resultado fue la disociación entre planeación y evaluación. De este modo, al interior de las instituciones seguía reinando una acentuada heterogeneidad, la falta de metas comunes y el desconocimiento del funcionamiento preciso de la rutina diaria de estas. En consecuencia, se imponía un nuevo giro de la política educativa y en la relación IES-gobierno que, aunque en germen desde inicios de la década, debió esperar una nueva coyuntura financiera a fines de los años ochenta para cristalizar. Se buscó entonces otro modo de asignación de recursos monetarios, que ofreciera la posibilidad de aumentar las remuneraciones a las instituciones y a los académicos premiando su desempeño medido por indicadores; esto implicó buscar nuevos consensos y anudar polémicamente la evaluación de resultados al pago de estímulos, en una dimensión individualizada y cuantitativa. La concreción inicial de la autoevaluación tuvo un posible doble fundamento relacionado con la dinámica interna de las IES, sobre todo con la de las universidades públicas autónomas. En primer lugar, se supone que para que el sistema goce de legitimidad debe ser propio y no impuesto; en segundo, para las universidades públicas autónomas así se preservaba el principio de no intromisión del gobierno.

Sin perjuicio de la iniciativa de cada institucion, la política de evaluación fue impulsada por la Secretaría de Educación Pública (SEP) en coordinación con la Asociación Nacional de Universidades e Instituciones de Educación Superior (ANUIES) (Varela y Valenti, 2015). El objetivo de calidad estaba propuesto desde fines de los años setenta y en noviembre de 1989 se aprobaron los criterios generales para formar la Comisión Nacional de Evaluación (Conaeva), que quedó integrada por el titular de la SEP y otros representantes del gobierno federal y de las universidades públicas. La función de la Conaeva era atender el programa de modernización educativa del sexenio en curso, además de que brindaba lineamientos generales que definía el secretariado técnico de la comisión. El papel de la Conaeva fue importante desde el punto de vista político y de difusión y concientización respecto de la necesidad de la evaluación, pero su peso se fue atenuando con el paso del tiempo, en parte porque se promovió la autoevaluación de las universidades autónomas y la evaluación externa a cargo de organismos no gubernamentales como los Comités Interinstitucionales de Evaluación de la Educación Superior (CIEES) y porque la misma SEP directamente se lo fue quitando.

Subyacía en esto una diferente relación entre autoridad política y sistema de educación superior e investigación científica, la cual se afectaba en lo presupuestal por el bajo nivel de fiscalidad del Estado mexicano, lo que se refleja en especial para la educación superior. Esta, por sus características, requiere un ingente caudal de fondos, lo que se contrapone a la restricción presupuestal que no se determina por las necesidades, sino por cuánto hay en caja según la autoridad hacendaria.

El financiamiento es una variable compleja, que se relaciona con dimensiones que van desde la definición de la política económica a nivel nacional hasta fricciones políticas —dada la función crítica de la universidad— y cuestiones específicas de asignación de fondos a IES determinadas. Ser sujeto de evaluación puede impulsar el mejoramiento y la transparencia de los resultados, pero también las tensiones y la pseudocultura de la simulación. No se cierra todavía la discusión acerca del mejor procedimiento a tomar en cuenta y sobre si acaso no se habrían adoptado en México métodos y perspectivas implementadas antes en otras naciones cuyos resultados han sido poco satisfactorios (Aboites, 2012).

En este modelo se mantiene la tradicional autonomía jurídica o técnica de las IES e institutos de investigación por lo que las instituciones académicas, así como diversifican sus interlocutores acudiendo al Poder Legislativo o a los medios de comunicación, deben de buscar informar directamente a sus estudiantes o a los de otras instituciones acerca de la calidad de sus servicios. La relación con el Poder Ejecutivo se potencia cuando deja de ser pasiva (rendición de cuentas a cambio de fondos) o de oposición (criticando la política oficial en la materia), para ser de interacción por medio de propuestas propias de evaluación.

Diversas instancias de evaluación se han establecido paulatinamente en el sistema mexicano hasta desembocar en una trama extensa y compleja (Gago, 2012). Se pretende que acreditación, evaluación y regulación de la calidad estén interrelacionadas. Se acredita a través de un proceso de evaluación, lo que quiere decir que esta apoya proveyendo juicios sobre individuos e instituciones. (Aunque no siempre la evaluación da lugar a acreditación.) En la definición oficial ello responde a una visión integral guiada por el propósito de mejorar la calidad consolidando instituciones; verificando cumplimiento de metas y objetivos por parte de los evaluados (instituciones, programas o personas); asegurando al público que los evaluados cumplen con la exigencia de calidad y comprometiendo al gobierno, sociedad civil y colegios académicos en el objetivo de alcanzar una educación superior con sentido social (Mercado y Sánchez, 1998). La evaluación ligada a la acreditación en educación superior se aplica principalmente a los programas de docencia. En cambio, la modalidad de evaluación de propuestas de las instituciones se relaciona con otorgarles recursos extra para proyectos específicos (que incluyen infraestructura material, tecnológica y recursos para un desarrollo académico en particular).

En lo administrativo se aspira a la simplicidad de los procesos, la economía de costos y la autosustentación a largo plazo, lo que no siempre condice con el trabajo administrativo que verdaderamente se exige, en función de la provisión de datos que no se circunscriben a requerimientos y formatos homogéneos.[7] Tal red de instancias provee varias perspectivas de observación y permite distintos niveles de trato a instituciones con especialidades y desempeños diversos, pero al mismo tiempo complica bastante la tarea de rendir cuentas a los evaluadores.

En suma, se implantaron métodos de coordinación e integración a nivel nacional sin prescindir de ciertos rasgos de descentralización. El diseño es a escala nacional, lo que acarrea el riesgo de un sistema muy unificado que puede fragmentarse en los hechos e incluso en la normatividad. Esto probablemente responde a la tendencia centralizadora de la administración pública mexicana y a la desconfianza del gobierno federal —gestor del proceso— en relación con los desafíos políticos y administrativos focalizados en las instituciones. De este modo se quiso dar continuidad y seguimiento a las políticas federales para el nivel superior y proporcionar un foro de discusión y establecimiento de compromisos con las instituciones en torno a la concreción de metas.

En la relación gobierno-instituciones, la política de planeación de los años setenta tuvo un sesgo a favor de la autoevaluación. Y aunque no se encontró información acerca de la aplicación de este procedimiento, era lo que se llamaba “autoestudio” de las instituciones, lo cual no funcionó, pero la idea fue rescatada por el sistema de estímulos que se puso en práctica a fines de la década de 1980.

La visión de largo alcance para la mejora de la educación superior se contrapesó con las necesidades inmediatas de las IES con creciente demanda docente —lo que a su vez determinaba una tensión problemática con el sector de investigación—, que aun dentro de una misma institución requiere de tiempos y dedicación específicos.

Con la función de instancias de evaluación externa se pusieron en marcha los Comités Interinstitucionales de Evaluación de Educación Superior (CIEES) que además de dedicarse a la observación de programas académicos, previa solicitud, asesoran a las instituciones sobre un proyecto o plan, aunque sus tareas más importantes son las de diagnóstico, acreditación y reconocimiento. En su concepción diagnóstica, los CIEES trataron de distanciar la evaluación de la alternativa premio-castigo, debido a que esto requiere un equipo de especialistas y más tiempo de trabajo. La acreditación en cambio es más ágil y lo fundamental es la confianza depositada en los que la realizan. En ambos casos la actitud del que es evaluado es diferente. La filosofía de los CIEES consiste en considerar que la cooperación entre instituciones y académicos, y no la amenaza de la sanción, será la que eleve la calidad. En este esquema se observan cuatro grandes etapas: a) prediagnóstico, b) análisis de documentación institucional, c) plan de visita acordado con la institución examinada para aclarar dudas surgidas durante el prediagnóstico, d) visita y elaboración del reporte. El informe resultante se realiza por consenso de los miembros de la comisión de que se trate, se entrega a las autoridades institucionales y si estas así lo deciden, lo difunden (Pérez, 1998). Sin embargo, para algunas instancias de evaluación de la SEP —como el Programa de Fortalecimiento de la Calidad en Instituciones Educativas (Profocie)— es un requisito que las IES informen acerca de los reportes recibidos de los CIEES a fin de darles el financiamiento. La evolución e integración del sistema nacional de evaluación de la educación superior ha llevado a hacer menos tajante la diferencia entre evaluación diagnóstica y la de acreditación.

Mucho de lo que se hace al interior de las IES consiste en evaluación individual de personal académico, de acuerdo con el principio de que el elemento fundamental de la buena educación es el recurso humano. Este enfoque se ha generalizado, pero como sus formas son variadas, la Conaeva había planteado la necesidad de establecer criterios y estándares mínimos de calidad. Por esto, en 1994 y siguiendo una recomendación de organismos internacionales, se creó con el formato de asociación civil en el que participan instituciones públicas el Ceneval, organismo externo que diseña exámenes de ingreso a bachillerato y licenciatura y de egreso para algunas carreras. En este caso la evaluación individual se aplica a los que aspiran a ingresar o a egresar de los programas de estudio.

Con la misma lógica, en 1989 se inició el programa de fomento al desempeño académico con compensación económica mediante becas y estímulos que recibirían los que se presentaran por su voluntad para ser evaluados con base en la calidad. Si el impulso lo daba el gobierno, el diseño concreto e inclusive los tiempos de aplicación fueron determinados por las IES. La Conaeva y la SEP regulaban aspectos comunes, pero el consenso interinstitucional SEP-IES jugaba un papel importante. Aunque es evidente que las IES están presionadas para adoptar la política gubernamental, la autonomía preserva un margen de maniobra que determina filtros en la ejecución de la política educativa, con periodos de mayor o menor acercamiento en esta compleja relación.[8]

El sistema nacional de educación superior buscó establecer una relación entre autoevaluación, planeación estratégica y financiamiento de proyectos especiales, y evaluar regularmente a todos los profesores de tiempo completo; en esto incidió el Programa de Mejoramiento del Profesorado (Promep) (Del Río, 1998) que la SEP, la ANUIES y el Consejo Nacional de Ciencia y Tecnología (Conacyt) habían diseñado en 1996 para fortalecer la calidad de la enseñanza, pero atendiendo a los atributos del profesorado y a la relación de este con el medio institucional. Entonces se tomó en cuenta la formación académica y el número y composición de profesores que tenían a su cargo los programas educativos, en tanto docentes de tiempo completo, pero que debían alcanzar una capacitación específica, entre otros, con la obtención de doctorados, lo que no era un requisito no obstante su trascendencia en la estructuración de una carrera académica. En el origen del programa se trataba de acrecentar el número de profesores de carrera de tiempo completo y calidad probada, que era pequeño en relación con el número de estudiantes que se debía atender. Junto con ello se procuraba idealmente una equilibrada distribución de las horas de trabajo entre las tres tareas sustantivas de la educación superior —docencia, investigación y difusión de la cultura—, evitando al mismo tiempo que la suma de encomiendas impidiera al profesor mantenerse actualizado y sin vínculos con redes académicas o actores de la sociedad civil —esto último puede catalogarse como una cuarta función sustantiva—. Tal programación, aún vigente, dibuja un cuadro ambicioso que, de acuerdo con la vida interna de las instituciones, solo con una muy adecuada planeación y dedicación es posible cumplir.

Como el Promep nació cuando no existían ejercicios de calidad probada del sistema de educación superior, tomó como referente planes de desarrollo probados en las IES que habían tenido buenos resultados en cuanto a perfiles docentes específicos y requisitos de profesores. En tal sentido se preocupó por la habilitación de profesores en programas de posgrado nacionales o extranjeros reconocidos y previó desarrollar los cuerpos académicos, con base en compromisos institucionales, apoyo de los CIEES y mediciones de la calidad del proceso enseñanza-aprendi­zaje. Los compromisos se concretarían con métodos de seguimiento guiados por un enfoque de fomento de la calidad. Se fijaron mecanismos de asesoría y apoyos especiales a las instituciones para que cumplieran los compromisos derivados de la nueva política y superaran deficiencias extendidas cualitativamente importantes como, por ejemplo, la falta de formación en posgrado de los profesores, uno de los aspectos en que se han logrado mejores resultados con el tiempo. Otro ítem fue la evaluación y estímulo de los profesores por hora, los cuales representan una cantidad ingente que atiende a muchos estudiantes en las instituciones, con la intención de que en el futuro solo una minoría no tuviera esta habilitación. El programa se trabajó en cada institución siguiendo una planeación debidamente diseñada e interiorizada y complementando rasgos generales homogéneos con características propias de la tradición intelectual y organizacional.

La visión presentada muestra que el sistema de evaluación habría de requerir tres elementos para consolidarse: una relativa homogeneización de procedimientos (nunca puede ser completa); mecanismos de vinculación entre autoridades federales y entidades estatales y entre estas y las IES públicas y privadas en función de la calidad del servicio; y que la evaluación adoptara un carácter prioritariamente incremental y de sustento no punitivo. Por otra parte, la evaluación interna dependerá del liderazgo y del involucramiento de los actores para dar resultados provechosos.

En breve, el sistema de educación superior e investigación científica en México exhibe un considerable rango de variación en las calidades institucionales, en lo que han influido los distintos tiempos de adopción de una evaluación sistemática. Aunque no escasean los debates acerca de los procedimientos y resultados y ya existe una práctica institucionalizada desde hace años, se han hecho experimentos en evaluación interna y externa, en la formación de recursos humanos, en la formación y evaluación de investigadores en ciencia y tecnología, y en la gestión de las funciones sustantivas y administrativas de las IES. Se contemplan asimismo e idealmente aspectos cualitativos y cuantitativos, con el fin de medir la eficacia combinada con la eficiencia, además de la pertinencia social de los proyectos de acuerdo con las definiciones de los sucesivos programas de educación nacional y los consensos de la ANUIES. La práctica de exámenes se ha cuestionado,[9] pero sigue aplicándose en especial para ingresar a las IES y en pruebas para estándares mínimos indispensables de egresados.

En cuanto a las IES privadas, estas se agrupan en la Federación de Instituciones Mexicanas Particulares de Educación Superior (FIMPES) que se fundó en 1982 y han creado un sistema propio de acreditación para mejoramiento institucional.[10] Si bien muchas de estas IES no están afiliadas y algunas se han retirado luego de estarlo.

El Sistema Nacional de Investigadores

Fuera del control de las IES y existente desde 1984, el Sistema Nacional de Investigadores (SNI) lleva a cabo una evaluación mediante pares independientes, cuya operación administrativa se la reserva el gobierno federal (Vega, 2012).[11] La expansión de la educación superior mexicana evidenció el principio de que los cambios significativos en cantidad también lo son en calidad. La preocupación por la calidad comenzó a ser punto importante en la definición de políticas para el sector educativo y de investigación sobre todo en la década de los ochenta, aunque desde antes ya estaba presente. Tal como se dijo, la problemática de la educación superior se relacionaba con transformaciones más amplias. Por exigencia social y decisión política debía aumentar el número de inscritos, sobre todo en las universidades públicas. Como se haría además conciencia a partir de 1970 con la fundación del Conacyt, la integración de flujos económicos y comunicativos por encima de fronteras planteaba la necesidad de participar en la sociedad del conocimiento, la cual involucra la educación superior. Se enfrentaban características no fáciles de remover, por ejemplo, el insuficiente combate del analfabetismo y otros problemas del sistema educativo. La investigación científica que se realizaba sobre todo en IES públicas era con frecuencia más vocacional que institucional. Aun con la poca información con que se contaba se podía saber que era escasa y vulnerada por la ausencia de recursos.

En la década de 1980, coincidiendo con una profunda crisis y recorte del financiamiento oficial, se difundió una opinión tremendista y sin rigor acerca de la mala calidad de la enseñanza en las IES públicas. A diferencia de años previos, cuando, incluso incompletos, los estudios universitarios aseguraban empleos con buena posición e ingresos, el mercado de trabajo del que se retiraba el Estado como gran empleador se había vuelto restringido y con mayor competencia. En distintos ámbitos laborales, incluido el académico universitario, se hacían sentir la reducción salarial y la necesidad del poliempleo, con una evidente pérdida en la investigación, de donde desertaba personal con rumbo a otros países u otros segmentos del mercado de trabajo nacional. En paralelo, y como fruto de la dependencia tecnológica y la escasa vinculación entre los sectores educativo y productivo, aparte de reclutar egresados para sus necesidades, la iniciativa privada no estaba interesada en tomar el lugar del Estado como financiadora de la investigación.

En ese contexto se dio la creación del Sistema Nacional de Investigadores. Entre 1981 y 1982, en negociación con el gobierno y a fin de incrementar los ingresos de sus académicos, el CINVESTAV del IPN propuso una evaluación académica individual que fue aceptada y que era similar a la que luego tendría el SNI. Influyeron también otros esquemas de evaluación ensayados en la Universidad Nacional Autónoma de México (UNAM). La propuesta surgió entre octubre y diciembre de 1983 de la interacción entre funcionarios del gobierno con la Academia Mexicana de Ciencias (AMC), en ese entonces Academia Mexicana de la Investigación Científica. Algunos de estos funcionarios tenían experiencia académica. A causa de la crisis económica, el presupuesto para actividades de investigación había caído alrededor de 40% y no solo era difícil retener o repatriar investigadores, sino incluso financiar rubros no personales de infraestructura, mantenimiento, materiales o trabajo de campo. Ante la imposibilidad de reajustar al alza los ingresos de las IES en general, se trató de salvar el capital humano de investigación. De este modo el SNI nació: a) para ser un complemento salarial estipulado como beca y no como salario, para exentar impuestos y las demandas sindicales en pro de la homogeneización de los ingresos académicos en general; y b) ser transitorio, para afrontar un periodo de crisis.

La concepción inicial que guió al SNI fue contingente. Su permanencia y definitiva institucionalización se debió, entre otras razones, a que en la política oficial acabó respondiendo a una idea más comprensiva y no sujeta al ciclo económico, según la cual el desarrollo general del país en lo interno y por su inserción internacional, debía integrar como elemento estratégico el avance en ciencia y tecnología asociado a la educación de calidad. Con ello se fortalecía la idea de que la investigación debía financiarse con criterios de selectividad y rendición de cuentas.

Aunque el SNI es independiente en términos operativos y referido a individuos que se postulan libremente, no se puede separar de la estructura general de evaluación de la SEP, el Conacyt y las IES, lo cual alcanza a instituciones, programas, sistemas de estímulos de cada institución, infraestructura y becas de estudio e investigación.

Desde antes de la creación del SNI, el desarrollo de posgrados basados en la investigación se veía como clave en una perspectiva de mejora del sistema educativo y de su incidencia en el ámbito nacional (ANUIES, 1982). El supuesto era que, ante los problemas derivados de la expansión de la educación superior, generar esos núcleos de excelencia aseguraba la calidad. En años posteriores, la conceptualización de los grupos académicos reconocería que con frecuencia estos existían espontáneamente organizados por personal motivado y que la tarea de la autoridad era identificarlos, reconocerlos y apoyarlos (Rubio, 2006: 142, 143). Sin embargo, un hecho a encarar, propio de una época en que junto a las buenas intenciones predominaba el criterio cuantitativo sobre el cualitativo en la evaluación, fue que en el posgrado también se habían generado diversos programas que, sin planeación adecuada ni recursos suficientes y respondiendo a intereses académicos localizados, habían fracasado o continuado sin garantías de calidad. Frente a ello, la sistematización de la evaluación llevaría al cierre o restructuración de un buen número de ellos. Todo esto demostraba que, sin una evaluación que alcanzara en forma pareja a todo el sistema educativo, no se evitaría que defectos de calidad como los de niveles educativos anteriores se repitieran en el posgrado.

En esta evolución, el SNI ha pasado por varias fases: desde su fundación como mecanismo extrasalarial de emergencia a su papel en la institucionalización de la investigación científica y tecnológica para fungir como instrumento auxiliar en la evaluación y acreditación de programas de educación superior. Lo que parecía un dispositivo transitorio se convirtió en un programa permanente que se explica por muy diversos factores. Entre estos se encuentra el interés de los investigadores que aspiran a la distinción de la membresía, asociada a prestigio e ingresos adicionales, aparte de los que les confiere la universidad o instituto de adscripción. Para el gobierno federal se trata de una modalidad de financiamiento al margen de la asignación presupuestal ordinaria a las IES y al mismo tiempo, para estas últimas y los programas de posgrado, es un modo de prestigiarse y solicitar más recursos argumentando que cuentan con un número representativo de investigadores nacionales en sus filas. Esto permite que la autoridad educativa maneje parte del financiamiento prescindiendo de las IES, aunque proporcionándoles, para la negociación de su presupuesto, una justificación que se basa en el número y nivel de sus investigadores, reconocidos por la evaluación de una agencia del gobierno.

En tanto régimen permanente de evaluación, el SNI contribuyó en su segunda fase a la profesionalización de la ciencia mediante el reforzamiento de elementos estipulados por la política educativa tales como la contratación y estabilidad de tiempos completos académicos de calidad, contrarrestando la fuga de investigadores de las aulas y normando la obligatoriedad de sus miembros de impartir docencia. No existía nada parecido en otras naciones y por eso después se imitó en varios países latinoamericanos. La información acumulada en este sistema ha generado una imagen más precisa del mapa de la investigación nacional y de sus limitaciones y ha dado opciones para mejorarla. Son datos que se suman a los de otras fuentes relativas al conglomerado de instituciones y programas dedicados a investigación.

El SNI reposa en un modelo de evaluación por pares, con la exigencia de que sus miembros tengan publicaciones, asignación de ingresos individuales adicionales al salario y fortalecimiento del investigador en el desempeño de su función. Sin descartar las dificultades en el logro de sus objetivos, aspira programáticamente al desarrollo de marcos de referencia de nivel internacional y a favorecer la formación de grupos de investigadores dentro y fuera de la capital del país. Es un sistema que se complementa con los programas institucionales de estímulos y que ha transformado la preexistente lógica de investigación. La participación de distintas comunidades disciplinarias en la implementación o en la crítica del sistema ha buscado que este no discrimine entre ciencias sociales y humanidades por un lado, y ciencias básicas y exactas por otro, como podría ser la tentación en una perspectiva tecnocrática del desarrollo nacional.

Los académicos participan en el SNI como miembros de las instituciones y grupos profesionales en sus instancias colegiadas de toma de decisiones, aparte de la tarea propiamente dicha de evaluación que realizan otros tantos en las comisiones dictaminadoras y revisoras (Reglamento, 2017: 105-118).

Se evalúan productos terminados y no actividades o promesas de cumplimiento: el reglamento del SNI enumera los productos que se aceptan y privilegian “fundamentalmente” en la evaluación (Reglamento, 2017: art. 31). Antes de su existencia no era obligatorio para los investigadores publicar y, según se dice, había quienes no lo hacían.

Este sistema ha provocado que aumente el número de investigadores pero, al igual que en la educación superior pública, tiene ante sí el desafío del envejecimiento de sus miembros. Sin embargo, siendo meritocrático antes que gerontocrático, la permanencia no está asegurada, ni tampoco el rango, dado que en sucesivas evaluaciones se puede ascender, descender o ser excluido; el propósito es que los integrantes sigan investigando, aunque para los críticos esto acarrea efectos negativos de “cuantitativismo”.[12] En efecto, el afán de establecer comparabilidad de criterios entre instituciones para juzgar la productividad ha traído polémica debida a ese cuantitativismo. Tal cuestionamiento apunta a que la buena calidad se debería lograr más por el impulso a la cooperación que por el reconocimiento y los premios a los individuos, que solo indirectamente benefician a las IES e institutos de investigación. Por su parte, la negativa sindical a que se rompa la paridad de ingresos en un mismo puesto ha dificultado que el sistema de evaluación institucional personalizada se extienda con criterios propios al personal del área administrativa de las mismas instituciones.

Más allá de sus beneficios, el SNI ha enfrentado diversas críticas por aspectos vinculados a su diseño y a su implementación en distintos momentos. Por ejemplo, se argumenta que la descentralización de la ciencia por regiones tiene un alcance relativo y la orientación conductista estímulo-respuesta fomenta una investigación estandarizada más que impulsar la innovación. Se sostiene que, al pretender incorporar a un número creciente de investigadores, se fomenta la cultura de cumplir requisitos, en cantidad estimada y tipo de productos para cada nivel, por encima de otras valoraciones. Es decir, que de esta forma se estaría inhibiendo la generación de proyectos estratégicos más arriesgados y trascendentes: el aspirante elige la opción que promete dinero y ascenso en un plazo razonable, antes que el riesgo intelectual de años de esfuerzo con poca producción intermedia que lo avale.

Una demanda pendiente es utilizar los criterios de evaluación del SNI para establecer la figura del profesor-investigador nacional con un tabulador homogéneo, lo que permitiría una rotación deseable de académicos de buen nivel entre instituciones y regiones (Valenti, 2013: 46-64) y aceleraría la descentralización de la investigación científica y tecnológica. Pero, entre otros factores, el contumaz pluralismo institucional en materia de información no facilita una reforma de este calibre que supera los límites del SNI.

La implementación del SNI

Al rechazar el gobierno la idea original de que la Academia Mexicana de Ciencias operara el SNI, este quedó inserto en la esfera de la SEP (en la entonces Subsecretaría de Educación Superior e Investigación Científica, SESIC) y después en la del Conacyt. Esto último ha traído consecuencias como la de separar la investigación de la educación superior y, desde el punto de vista financiero, generó una sobrecarga en el presupuesto del Conacyt. De haber permanecido en la órbita de la SEP, la incidencia presupuestal del SNI sería porcentualmente muy reducida. En principio solo se crearon los niveles I, II y III, pero por sugerencia del gobierno se incluyó el nivel de Candidato con el fin de facilitar el ingreso de los jóvenes investigadores. Idealmente debía coordinarse con el PRONAES (Programa Nacional de Educación Superior) que se concibió, entre otros objetivos, para financiar la investigación de las IES en un periodo de crisis; sin embargo, este vínculo no se concretó,[13] por lo que el apoyo a la investigación quedó concentrado en el SNI. Esto llevó a una nueva exclusión, puesto que este sistema quedó funcionando como una agencia externa al sistema de educación superior, sin participación directa de las IES, aunque sí de grupos de académicos seleccionados de estas instituciones. Se supone que tal separación evitaría a los directores de las IES los conflictos derivados de una distribución desigual de fondos dentro de una misma categoría laboral. No obstante, la medida se ha criticado porque da la pauta para que las IES retengan a sus mejores investigadores y les resta motivos para mejorar internamente las condiciones en que se desarrolla la investigación por medios más integrales de desarrollo institucional.

Cabe señalar que las IES han generado sus propios sistemas de evaluación, los cuales están dotados de fondos financieros específicos que, aunque no están relacionados con el SNI, funcionan con cierta complementariedad. En lo concerniente al desarrollo institucional, los sistemas de las IES son evaluados por el Programa de Fortalecimiento de la Calidad educativa (PFCE) y otros instrumentos.[14] Además, tanto el Profocie como las evaluaciones y acreditaciones de programas institucionales a cargo de los CIEES, el Programa Nacional de Posgrado de Calidad (PNPC) y agencias autorizadas por el Consejo para la Acreditación de la Educación Superior (COPAES) toman en cuenta la participación de investigadores nacionales. Por tanto, siendo un mecanismo de evaluación individual, el SNI se ha convertido indirectamente en una fuente de evaluación institucional. Ha provisto asimismo de ideas para el diseño de la evaluación individual de algunas IES, como el Programa de Primas al Desempeño del Personal Académico de Tiempo Completo (PRIDE) de la UNAM, que luego fue replicado por otras instituciones e imitado con variantes por casi todos los países latinoamericanos que han generado organismos similares a nivel nacional (Rama, 2009: 130-131). En México se le puede considerar como un referente del posterior Sistema Nacional de Creadores de Arte (SNCA), así como de los estímulos a la docencia que ofrecen las instituciones en tanto actividad evaluable con independencia de la investigación.

Debido a que el SNI es un instrumento en manos del gobierno federal sin mayor coordinación con las IES, la participación de estas en ese sistema se da sobre todo por medio de la integración de académicos del nivel III en las comisiones dictaminadoras. Se trata de la evaluación por pares que, aunque consagrada internacionalmente, no fue de inmediata aceptación cuando se discutía el funcionamiento del SNI en sus inicios. Para que los primeros comités se sobrepusieran a los cuestionamientos, se integraron con miembros prestigiosos de El Colegio Nacional y premios nacionales de ciencias.

Otra discusión giró en torno a la cantidad de integrantes que tendría el sistema. En una época de crisis en la que preocupaba la escasez de fondos, algunos funcionarios de gobierno propusieron un número cerrado de miembros, pero triunfó la posición de darle forma abierta sin límite de crecimiento, el cual, aunque lento, ha sido sostenido: los 1 396 integrantes de 1984 han pasado a 25 072, en 2016 (Rodríguez, 2016: 8).

Respecto a la composición por nivel, el incremento durante el mismo periodo ha sido escaso, sobre todo el nivel III ya que se ha mantenido en alrededor del 10%, pero no hubo decrecimiento, excepto en el nivel de candidatos cuando la exigencia de obtener el doctorado se volvió más rígida: en 1984 representaban aproximadamente el 15%, tres años después sobrepasaron el 40%, para después volver a valores de entre 18 y 20%. Posteriormente, dicho nivel recuperó la tendencia a aumentar cuando se flexibilizó el límite de edad, que finalmente se eliminó en el reglamento de 2017, al igual que el límite establecido en cuanto al periodo de quince años transcurrido desde la licenciatura (Rodríguez, 2016: 14).

La participación de mujeres, que actualmente es poco más de un tercio del total de investigadores nacionales, no representa su peso mayor en el conjunto de los académicos del país (50% o más); sin embargo, su presencia ha crecido de modo consistente pasando del 18.1, en 1984, al 36.2% en 2016 (Rodríguez, 2016: 11).

Los criterios de dictaminación del reglamento del SNI son homogéneos en términos generales, tanto entre áreas de conocimiento como entre regiones del país, aun cuando los criterios específicos por área marcan diferencias y sufrieron cambios importantes. Una preocupación de 1984 era que, dada la gran concentración de recursos humanos e institucionales en grandes centros urbanos y en particular en la capital del país, el SNI podía generar un efecto Mateo[15] beneficiando a los ya favorecidos. Aun así, se descartó fijar patrones de exigencia más blandos para académicos de entidades o regiones de menor desarrollo académico, porque se hubiera generado un SNI “de primera” al lado de otro “de segunda”. Se pretendía un sistema con parámetros internacionales de calidad y exigencia homogénea. El apoyo a la descentralización —y como parte de esta a las entidades o regiones menos aventajadas— se daría por el incentivo económico, que es mayor para los investigadores nacionales que trabajan fuera de la Ciudad de México.

La discusión sigue latente en lo que concierne a la aplicación de criterios similares de evaluación en las distintas áreas de conocimiento que actualmente son siete, en particular por la disparidad entre culturas académicas, universalidad temática y grado de desarrollo de la investigación en las áreas humanística y de ciencias sociales, por un lado, y las de ciencias básicas y experimentales,[16] por el otro, lo que en parte se corrige con la definición de criterios específicos en cada comisión dictaminadora, como más adelante se examina.

En los primeros días del SNI, se distinguía entre productos primarios y secundarios para evaluar. Los primarios se refieren a publicaciones de calidad; los secundarios, fundamentalmente son docencia y difusión. Los secundarios presentan dificultades específicas porque, si bien es importante su vinculación con la investigación, que ello se cumpla no es fácil de comprobar. En todo caso no se acepta que estos últimos sustituyan a las publicaciones, que son elemento central de juicio. Tampoco ha sido sencillo —aunque ha habido avances— valorar la investigación aplicada, cuando no se verifica en publicaciones sino en resultados distintos como las patentes. Como al iniciar este sistema de investigación había pocos participantes y escasa producción, se valoraba sobre todo la cantidad de productos sometidos a evaluación. El énfasis en la calidad, sopesando el prestigio de los sellos editoriales o, tratándose de revistas, su factor de impacto, fue posterior.

Desde su creación en 1984, el sistema ha ido delineando el perfil de lo que sería un buen investigador basándose en estimar la cantidad y calidad de la producción, el liderazgo de grupos de investigación, la independencia de juicio, las citas obtenidas (en especial en revistas de impacto), la dirección de tesis (en especial de doctorado, para los niveles II y III), la publicación en conjunto con estudiantes, la participación en comités editoriales y eventualmente la proyección internacional de la obra y de su autor. Sin embargo, han transcurrido más de treinta años desde entonces y a pesar del consenso de los beneficios que el SNI ha traído a las trayectorias individuales de los académicos, se ha observado la necesidad de mejorar aspectos de su diseño e implementación, como lo confirman los resultados de la investigación que se recoge en este libro.

El SNI en revisión

La revisión de la literatura que analiza los efectos positivos y algunos de los problemas del diseño e implementación de los mecanismos de evaluación, principalmente del SNI, así como la opinión de investigadores, funcionarios y otros participantes en diversos foros, dio fundamento a la construcción del cuestionario y la guía de los grupos de discusión y entrevistas individuales que se han empleado en esta investigación. El interés central de las distintas contribuciones recogidas en este apartado fue mejorar el desempeño de los mecanismos de evaluación por lo que, sin ignorar los avances logrados, se concentran más bien en identificar los problemas más relevantes. Puede adelantarse que, aunque las respuestas obtenidas en esta investigación no siempre avalaron los cuestionamientos más extremos, sí hay una gran coincidencia respecto a cuáles son las principales tensiones que se deben atender para lograr el fortalecimiento del SNI, tal como se observa en los siguientes apartados y en las conclusiones de este estudio.

Se ha destacado en la literatura especializada que la evaluación del desempeño de la investigación individual idealmente examina la productividad, el impacto científico y la calidad de la investigación (Sahel, 2011); y que simultáneamente genera impactos en la dirección y conformación de agendas de la investigación (Elzinga, 1988; Whitley, 2007; Van der Most, 2010). Sin embargo, en el ámbito nacional, se registran tanto opiniones positivas como otras que destacan los problemas que se fueron originando a través de los sistemas de evaluación. Por ejemplo, entre los resultados positivos, se destaca que la evaluación asociada a estímulos y recompensas ha modificado la conducta del personal académico que ha recibido el beneficio (los profesores investigadores de tiempo completo) en diversos aspectos. Uno de los resultados es que mientras en 1992 el 3% de los académicos de tiempo completo de las universidades públicas estatales tenía el grado de doctor, este porcentaje alcanzó el 34%, en 2007 (Valenti, 2013). Además de esta mejora en el ingreso, se consiguió retenerlos en las instituciones y se ha señalado que aumentó la productividad medida por el número de publicaciones científicas y tecnológicas mexicanas, mismas que, según el Institute of Scientific Information (ISI), se multiplicaron más de nueve veces en 25 años: entre 1984 y 2009 pasaron de un total de 1 002 a 9 488; al tiempo que el número de investigadores pertenecientes al SNI se triplicó en la década del 2000 (Valenti, 2013).

Al analizar en particular los efectos positivos del SNI, un grupo de investigadores convocados por el FCCyT (Valenti, 2013) encontró que ha inducido a una mayor valoración de la investigación científica dentro de las instituciones de educación superior y centros de investigación; ha motivado que se diversifiquen las áreas de conocimiento que pasaron de tres a siete y ha promovido la formación de redes internacionales y la publicación en revistas indexadas, lo que fue acompañado de la creación del Padrón de Revistas Científicas del Conacyt. De igual modo, ha permitido que las IES con posgrados tengan personal académico de alto nivel, lo que contribuyó a su inclusión en el PNPC (Valenti, 2013). Uno de los problemas identificados en esa investigación fue que el ingreso y permanencia en el SNI se ha enfocado en una evaluación que en ocasiones privilegia criterios cuantitativos y deja en segundo plano algunas aportaciones sustantivas de sus miembros (Valenti, 2013). Se ha mencionado además que los miembros del SNI se concentran en todo lo que les permita permanecer o ascender en el SNI en detrimento de actividades como la docencia o la gestión (Valenti, 2011).

Otros estudios sugieren que hay un desequilibrio en la evaluación de la investigación individual y el SNI que favorece la producción de conocimiento fundamental-básico y no la de conocimiento aplicado u orientado hacia la resolución de problemas (Amaro et al., 2009; Galaz y Gil, 2009; Galaz et al., 2008; Grediaga, 1998; Rivera et al., 2011; Valenti, 2011). Adicionalmente, se coincide en que existe un desplazamiento desde las actividades de enseñanza y docencia hacia las de investigación (Galaz Fontes et al., 2008; Cordero et al., 2003; Gil, 2002; Ibarra, 1998, 1999; Grediaga, 1998).

En este sentido, se puede sostener que la evaluación no solo aparece vinculada a los resultados de investigación (Elzinga, 1988), sino que además orienta las actividades académicas (investigación, enseñanza y vinculación) hacia las mejor recompensadas. Esto alerta sobre la necesidad de evaluar y corregir los efectos no deseados o no buscados por la política (Bianco et al., 2014). En particular, hay que considerar los efectos negativos asociados al SNI en tanto se trata de uno de los instrumentos centrales de la política pública en ciencia, tecnología e innovación (CTI) de México.

Como es de esperar, los efectos positivos o negativos que se observen, tanto en la producción de conocimiento como en la importancia relativa que los académicos asignen a las distintas actividades de su quehacer, dependerá —entre otras cosas— de las características específicas del sistema de evaluación (Whitley, 2007). En particular, de lo que ese sistema reconoce y valora, y cómo lo recompensa: reconocimiento social y prestigio o una remuneración económica. En cuanto a esto último, el SNI en México, aparte de ser una fuente de prestigio y reconocimiento social, representa una porción sustancial de los ingresos mensuales de los académicos categorizados como investigador nacional.

Al analizar las declaraciones y estudios publicados por los medios de opinión pública, resulta sorprendente la consistencia en la identificación de los principales beneficios y problemas relacionados al SNI, su asociación con los efectos no deseados del sistema y la articulación de las propuestas para contribuir a revertir los efectos no buscados.

Es posible señalar algunas áreas de oportunidad para mejorar el desempeño del SNI y minimizar sus efectos no deseados sobre la producción de conocimiento y el desempeño de los investigadores: a) las comisiones dictaminadoras y b) los criterios de evaluación. Abajo se discute cómo estas dos áreas de oportunidad en interacción explican en buena medida los principales efectos no deseados del sistema, y después se muestra muy sintéticamente cómo las propuestas recogidas intentan revertirlos.

Más allá de los avances a lo largo de la existencia del SNI respecto a sus comisiones dictaminadoras,[17] las inconformidades vinculadas con el número de sus integrantes, su cantidad por áreas de conocimiento, los criterios para su designación y los de evaluación que utilizan, continúan debatiéndose entre los diversos actores que conforman el sistema (autoridades, evaluadores e investigadores).

Los problemas de la integración de las comisiones dictaminadoras, que se expresan en la percepción de que son pocas e insuficiente el número de sus integrantes (ante el crecimiento del número de investigadores desde 1984), se asocian al desequilibrio regional, institucional, disciplinar y de género.[18] La escasez, tanto de la cantidad de comisiones como del número de sus integrantes, se refiere a lo cuantitativo y a lo cualitativo. Esto es así en la medida en que a veces no se garantiza un dictamen bien fundamentado, una evaluación ajustada al contexto regional e institucional en el que se desarrolla la investigación, ni tampoco de acuerdo a la diversidad de campos del conocimiento, disciplinas y subdisciplinas que existen en México.

En el mismo sentido, el estudio de Valenti (2013) destaca entre los mayores problemas que el SNI privilegiaba —por lo menos hasta entonces— los criterios cuantitativos sobre los cualitativos, ejerciendo así una presión para publicar debido a los perentorios periodos de evaluación con lo que desalentaba la exploración de nuevas temáticas y metodologías para minimizar el riesgo y asegurar los resultados.

La revisión de los estudios citados y diversas opiniones recogidas en distintos foros y en la prensa, y que dieron lugar a la construcción de nuestro cuestionario, pone de manifiesto dos tensiones presentes a lo largo de la historia del SNI, en las que ha coincidido la gran mayoría de quienes se han preocupado por mejorar su desempeño. A saber,

1 Número de dictaminadores y de solicitudes. Son pocos los dictaminadores y creciente la demanda de solicitudes, lo que genera una presión que termina afectando la evaluación y la calidad del dictamen que recibe el solicitante. Esto se observa en las valoraciones apresuradas y parciales que se elaboran acerca de las aportaciones de los investigadores y que se traducen en dictámenes poco deta­llados que no representan una instancia de aprendizaje para el evaluado (Esteinou, 2013a).[19]

2 Criterios cuantitativos y cualitativos. Esto se refiere al conocimiento necesario para evaluar, comparar y seleccionar (Bianco et al., 2014), lo cual se expresa como falta de acuerdos respecto de los criterios de evaluación. Ello se vincula al debate sobre el predominio de indicadores bibliométricos como medidas aproximadas de calidad, relativamente económicos en términos de tiempo y energía, pero que descuidan un análisis más cualitativo de las solicitudes (Bianco et al., 2014; Valenti, 2013; Jaso, 2007)[20] y ajustado al contexto en el que el investigador desempeña sus actividades.[21]

Estas dos tensiones representan señales que, sin negar las aportaciones del SNI, llaman a problematizar el mecanismo de evaluación por pares y sus criterios para evaluar, comparar y seleccionar.

Por un lado, conduce a la pregunta sobre qué es un par. En el contexto del SNI y sus comisiones dictaminadoras, el par se define como un investigador que ha alcanzado el máximo rango en el sistema (nivel III o Emérito) (Reglamento SNI, 2013), lo que no significa que sea un experto o especialista en la disciplina o tema en que se produce el conocimiento objeto de evaluación (Roy, 1984). Por otro, lleva al cuestionamiento de si en el SNI se evalúa efectivamente por pares, o más bien se contabilizan (algunos) productos de investigación, bajo el supuesto de que, como cumplen ciertas características, son entonces producción de calidad y excelencia. Sin embargo, este último procedimiento no ha estado exento de críticas ni en el ámbito nacional ni en la bibliografía internacional basada en la evidencia empírica de los diversos países que aplican o han aplicado el mismo criterio.

Butler (2003) y Kostoff (1997, 1998), entre otros, señalan que el número de citas de las publicaciones no es un indicador de calidad. En México, las posiciones al respecto señalan lo mismo y añaden que basarse en el factor de impacto del órgano de publicación no permite evaluar adecuadamente el valor de la contribución intelectual de la producción de conocimiento nacional.[22] Sobre esto es ilustrativa la declaración de los biólogos de San Francisco que, a través de la Declaration on Research Assessment (DORA) de 2012, recomiendan eliminar el uso de criterios de evaluación basados en el factor de impacto de las revistas y apreciar la investigación a partir de sus propios méritos.[23]

Como una consecuencia de lo anterior, en la bibliografía especializada internacional se documenta que la producción de conocimiento publicable en revistas indexadas, internacionales y de alto impacto muchas veces niega temas de investigación asociados a problemas de política pública o relevancia local (Van Dalen y Henkes, 2012; Katz, 1999). Además, puede castigar la producción de conocimiento orientada a la resolución de problemas complejos, transdisciplinaria y que involucre a diversos actores (Rafols et al., 2012; Nowotny et al., 2003), básicamente porque las medidas de calidad basadas en el factor de impacto generan sesgos hacia la investigación disciplinar (Rafols et al., 2012).

En el ámbito nacional, la crítica sostiene que los actuales criterios de evaluación imponen una barrera para que los investigadores transformen el conocimiento básico en aplicado u orientado a la resolución de problemas.[24] Dicho de otro modo, tales criterios dificultan que el conocimiento científico y tecnológico y la innovación se pongan al servicio del desarrollo económico y social de México (Esteinou, 2013a),[25] no equilibran el vínculo entre ciencia básica y aplicada y no reconocen la complejidad del fenómeno ni la necesidad de la inter, trans y multidisciplina para enfrentar los desafíos del conocimiento y el estudio y exploración de soluciones para los problemas nacionales.[26]

En cuanto al factor de impacto de las revistas, se ha objetado que este puede ser bajo por la alta especialización de la revista, lo que deriva en una masa crítica pequeña de investigadores en el área. Por su parte, la bibliografía especializada internacional documenta que los factores de impacto no están normalizados y de ese modo distorsionan la importancia y relevancia de una contribución científica (Gläser y Laudel, 2007). Paralelamente, los indicadores construidos a partir del Social Science Citation Index subrepresentan la producción de conocimiento en ciencias sociales y humanidades y están sesgados hacia publicaciones en inglés (Kostoff, 1997; Katz, 1999; Hicks, 2004, 2006). Una crítica recurrente en el ámbito nacional se refiere a que los indicadores bibliométricos no reflejan adecuadamente la producción en ciencias sociales y humanidades y que hay una preferencia por la publicación extranjera y en inglés frente a la nacional (Esteinou, 2013b).

Relacionado con ello, pero desde una perspectiva más general, los criterios de evaluación basados en indicadores bibliométricos desconocen las diversas formas en que se difunden los resultados de investigación y sus audiencias objetivo (De Jong et al., 2011; Hicks, 2004, 2006, 2013). En el ámbito nacional, se destaca que es necesario acercar el conocimiento y sus instituciones a la sociedad ya que, para explotar estratégicamente la riqueza cognitiva acumulada por México, es indispensable difundir el conocimiento a públicos más amplios y externos a la academia.[27]

Van Dalen y Henkens (2012) sugieren que la presión por publicar ha obligado a los científicos a producir resultados publicables a cualquier costo. La presión en este rubro ha llevado a que a los investigadores les importe más cuan seguido se escribe y con quién, que lo que se escribe y para quién (audiencias), y ha provocado que los científicos se alejen de proyectos de alto riego y en su lugar apliquen el salami tactics (dividir una contribución intelectual en varios artículos y publicarlos en diferentes revistas). Asimismo, a través de la metáfora “carrot-and-stick logic behind the publish-or-perish culture”, señalan que la confianza en las citas y en las publicaciones ha estimulado la productividad individual por lo que la producción de artículos ha aumentado. Sin embargo, se observan consecuencias no deseadas cuando los académicos se enfrentan a otras múltiples tareas, que son desplazadas y que tradicionalmente se atribuyen a las instituciones académicas.

Puesto que el SNI presenta problemas que en interacción podrían estar llevando a consecuencias no deseadas para el desempeño de la CTI y para su contribución y articulación con el desarrollo económico y social de México, académicos, autoridades y formadores de opinión han coincidido en que el sistema debería reformarse. En general, el énfasis está puesto, por un lado, en el reequilibrio entre la producción de conocimiento fundamental y aplicado y su orientación hacia la atención de los problemas estratégicos nacionales; y, por otro, en una evaluación más cualitativa que valore la trayectoria académica en su contexto disciplinar e institucional y que contemple las diversas actividades que desarrollan los investigadores-académicos en México.

Hay que decir, sin embargo, que algunas de estas propuestas —como el predominio de la calidad sobre la cantidad, la consideración del contexto o el equilibrio entre la investigación y el resto de las actividades del investigador— ya están contempladas en los criterios internos de evaluación de algunas áreas del SNI. Pero si se consideran los estudios referidos, las declaraciones en prensa y las de diversos foros, parecería que la comunidad no ha percibido todavía su sistemática utilización al momento de ser evaluados, como se manifiesta reiteradamente en los grupos de discusión que se celebraron en el marco de esta investigación.

La bibliografía especializada internacional apunta ese problema y señala que, dependiendo del tipo de producción de conocimiento (fundamental/aplicado), los requerimientos de evaluación y sus formas variarán considerablemente si el objetivo último es incentivar la diversidad y la calidad en todas las áreas del conocimiento, cuidando sus diferencias y premiando sus resultados de acuerdo a sus objetivos de investigación (Jong et al., 2011; Regeer et al., 2009; Hemlin y Barlebo, 2006; Bunders y Broerse, 1991; Bunders, 1990; Elzinga, 1988). En particular, Jong et al. (2011) destacan que la producción científica tiene muchos públicos (sociedad civil, tomadores de decisiones en el ámbito de la política pública, empresarios, otros científicos, etc.) y que las formas en que se produce ese conocimiento y su difusión no siempre se traducen en papers publicables en revistas internacionales de alto impacto. En ese sentido, sostienen que la evaluación de la investigación debería incorporar esa producción como resultados de investigación y desempeño.

Finalmente, otro tema de suma importancia que requiere de solución tiene que ver con el régimen de financiamiento que otorga los apoyos económicos del SNI y que significan ingresos extrasalariales importantes para los investigadores. Que dicho estímulo sea un alto porcentaje de ingresos, refuerza y profundiza las consecuencias no deseadas del sistema, en la medida en que no cumplir con sus requerimientos reconoce, valora, premia y representa un costo de oportunidad muy alto para los investigadores (Whitley, 2007).

Además, si a esto se le suma que las percepciones extrasalariales no están sujetas a cargas impositivas ni forman parte de las compensaciones jubilatorias, el problema se ve sustantivamente agravado ya que, por la misma razón, los investigadores no ejercen el derecho a la jubilación y con ello aumenta, por un lado, la presión sobre todo el sistema y, por otro, avanza el envejecimiento de la planta académica de las instituciones de educación superior del país (Bensusán et al., 2013).

Sobre este aspecto, la propuesta más sonada se refiere a incluir en el salario los estímulos económicos percibidos a través del SNI. Y aunque esto tiene muchos defensores en el sector académico mexicano, algunas autoridades gubernamentales y los responsables de la política pública en CTI, no la creen viable. Así, el debate continúa abierto y a la espera de soluciones innovadoras.