Читать книгу Indicadores de calidad en educación superior - Jairo Sánchez Quintero - Страница 12

Consistente con las posiciones ontológica y epistemológica anteriormente mencionadas, el diseño metodológico correspondió al de una investigación cualitativa hermenéutica, en la que los datos se obtuvieron a partir de fuentes documentales, bases de datos del Icfes y entrevistas individuales a profundidad dentro del plan o procedimiento investigativo, constituido por los momentos hermenéuticos que más adelante se presentan.

Sobre el enfoque hermenéutico, González (2008) considera que:

El investigador recauda información de variadas fuentes cuya organización y disposición (notas crudas) da lugar a un texto (Corpus) que ha de ser intervenido a fin de desvelar los sentidos y significados que los autores del discurso registrado en el mismo atribuyen a las acciones a las que se refieren en dicho texto (p. 106).

Como resultado de esta investigación se originaron cinco productos: 1) los indicadores propuestos desde antecedentes y referentes teóricos nacionales e internacionales; 2) el análisis y comprensión de los indicadores del CNA mediante el uso del software ATLAS.ti; 3) los indicadores relacionados con el desempeño en las pruebas ECAES 2004-2010; 4) los indicadores asociados a buenas prácticas de acreditación, y 5) un esquema de propuesta de sistema de indicadores. Los tres últimos textos en particular fueron posibles gracias a la identificación de sentidos y significados de los egresados, profesores, directivos y pares evaluadores de programas académicos de pregrado en administración de empresas, obtenidos mediante entrevistas individuales a profundidad. Así, con la integración de los cinco documentos se obtuvo un gran corpus final que permitió, después de su análisis, identificar 34 indicadores y configurar un sistema de indicadores de calidad para evaluar y mejorar programas de administración de empresas.

Los hallazgos de una investigación cualitativa hermenéutica naturalista (en su ambiente natural, es decir, el de los programas de administración para el caso de esta investigación) deben validarse por algún medio, entendiéndose por validar “dar fuerza o firmeza a algo, hacerlo válido”; en otras palabras, se trata de garantizar que el resultado del trabajo es aceptable, firme, riguroso, creíble, robusto, fuerte, confiable, efectivo, soportado, corroborado, sustentado, bien fundamentado en la lógica o la “verdad” (esencia) y que vale o debe valer por la argumentación, las evidencias, la posición y el acuerdo intersubjetivo de los actores involucrados internamente y en su contexto. Esta posición metodológica se deriva de la posición epistemológica que se asumió, esto es, la hermenéutica cualitativa, de manera que se realizó triangulación de perspectivas, fuentes, teorías, métodos y análisis para ganar en atributos tales como credibilidad, autenticidad, transferibilidad, fiabilidad y confirmabilidad (Guba y Lincoln, 2001).

La dimensión temporal de este trabajo está comprendida entre julio de 2009 y julio de 2013. Además, el tiempo de análisis de los datos teóricos y empíricos coincide con el tiempo en que se desarrolló la investigación, por cuanto, en forma similar a lo que ocurre en los enfoques de teoría fundamentada, el análisis es simultáneo a la elaboración del proyecto investigativo debido a los aportes valiosos que se generan no solo en las prácticas de los actores universitarios entrevistados y la literatura explorada, sino en las prácticas del autor, que en este caso también es un actor universitario. En cuanto al trabajo de campo, este se realizó mediante un cuestionario de entrevista individual semiestructurada14 a profundidad, cuyas respuestas fueron grabadas y complementadas con notas de campo registradas durante las entrevistas.

Los cinco programas de administración de empresas que se estudiaron (con resultados opuestos en ECAES durante el periodo 2004-2010) permitieron conocer los indicadores de desempeño y calidad asociados a buenas prácticas y efectividad en cuanto a planeación, investigación, enseñanza, compromiso social, gestión, bienestar universitario y disponibilidad de recursos. Respecto a mejores prácticas, se seleccionaron intencionalmente los programas que obtuvieron los resultados más positivos en las pruebas ECAES cada año durante el lapso analizado. Estos programas debían estar acreditados por alta calidad, y el desempeño de sus estudiantes en las pruebas debía hallarse por encima del promedio nacional.

Como programas contrastantes se seleccionaron aquellos que obtuvieron resultados cada vez peores durante el periodo 2004-2010 y que no se habían acreditado por alta cantidad, además de un desempeño por debajo del promedio nacional entre sus estudiantes. Estos sirvieron para confrontar perspectivas, hacer triangulación15 y facilitar el análisis en relación con lo que se hace en los programas con buenas prácticas y los resultados favorables tanto en acreditación como en pruebas ECAES 2004-2010. En estos programas con resultados insatisfactorios se hicieron las mismas preguntas, pero enfocadas a la comprensión de los resultados negativos obtenidos en su variación cada vez peor en el promedio de las pruebas ECAES y en su ausencia de acreditación por alta calidad.

Con la anterior base de programas se realizó un análisis holístico16, en el cual se describieron detalladamente cada programa y los temas o procesos relacionados con los indicadores de desempeño que permiten juzgar su calidad (planeación, investigación, enseñanza, responsabilidad social, bienestar universitario, gestión, internacionalización y manejo de recursos). De este modo se pudo llevar a cabo posteriormente un análisis transversal17 con afirmaciones e interpretaciones derivadas de los cinco programas.

El análisis de los cinco programas siguió lo planteado por Yin (2003), esto es, aproximándose desde explicaciones rivales o antagónicas (lo que contribuye a la validez externa o transferibilidad y a la comparabilidad), descripciones, lógica de coincidencias entre programas (esto aporta a la validez interna o credibilidad) y síntesis transversal de hallazgos específicos. También se contemplaron las posturas de Dowd, Sawatzky y Korn (2011), quienes afirman que la validez es “el grado al cual la evidencia acumulada soporta o apoya la interpretación intencionada” (p. 23), y de Bonilla-Castro y Rodríguez (2000), para quienes “la validez hace referencia al grado de coherencia lógica interna de los resultados de otras investigaciones o estudios bien establecidos” (p. 150). Finalmente, se asumió, de acuerdo con Bonilla-Castro y Rodríguez (2000), que la validez interna corresponde al “grado en el cual los resultados reflejan la situación estudiada [y la validez externa] al nivel de aplicación de las conclusiones a grupos similares” (Bonilla et al, 2000, p. 150).

En cuanto a fuentes secundarias se utilizaron bases de datos del Icfes, documentos del CNA y de antecedentes nacionales e internacionales en forma de artículos científicos, libros resultantes de investigación y documentos de los sitios web de los programas de administración de empresas analizados. Por otro lado, como fuentes primarias se hicieron entrevistas a directivos, profesores, egresados y pares evaluadores. En cuanto a estrategias metodológicas de investigación que también contribuyeron a la validez de los resultados de la investigación se encuentran: triangulación, confrontación de perspectivas rivales, análisis de coincidencias entre programas, identificación de indicadores de buenas prácticas y análisis holístico o integrador de la totalidad de los datos obtenidos en la investigación. Por último, con la validación de 28 expertos mediante un cuestionario diligenciado en la Conferencia 2013 de la Asociación de Facultades de Administración (Ascolfa), se logró la confirmabilidad, que permitió dar mayor validez a los resultados obtenidos.

Como dimensión espacial de la investigación se consideran programas académicos de administración18 con resultados opuestos o contrarios en ECAES, seleccionados por conveniencia19, de cinco IES: cuatro privadas, de las cuales tres contaban con buenas prácticas en acreditación, y una oficial, también con buenas prácticas en acreditación y resultados satisfactorios en ECAES 2004-2010. Esta universidad oficial y dos de las universidades privadas se localizan en Medellín, otra universidad privada se encuentra en Bucaramanga, y la última universidad privada se ubica en Barranquilla (en el programa de esta se realizaron las entrevistas piloto).

A partir de lo anterior, se puede afirmar que (1) la presente investigación sobre indicadores de calidad universitaria trata de un objeto de estudio abstracto, simbólico, imaginado, razonado o construido por la mente humana (sistema de indicadores de evaluación de la calidad) que no se puede aislar del contexto de los programas académicos de pregrado en Colombia; (2) no se realizó control de variables pues se permitió que jugaran la intencionalidad y las categorías elegidas y resultantes del estudio; (3) el énfasis se hizo en la interpretación de los datos tanto teóricos como empíricos (obtenidos en las entrevistas) a través del sentido que les daban los autores y actores universitarios a los indicadores que consideraban cruciales y prioritarios, y (4) predominó la reflexión necesaria para el mejoramiento de la calidad de la educación superior desde la perspectiva del investigador (recordando que la reflexión es considerada como una categoría central para la comprensión y transformación de la realidad tanto por Gadamer como por Habermas, citado por Campos, 1999). Así se desarrollaron cada uno de los cinco momentos dinámicos20 de la investigación.

Con base en lo anterior, se realizaron inicialmente tres entrevistas piloto: una a un director, otra a un egresado y la tercera a un profesor. Estas primeras indagaciones permitieron hacer ajustes en las preguntas del cuestionario y determinar el tiempo apropiado de duración de cada entrevista. Así pues, adicionalmente se acordaron 21 entrevistas más en cuatro programas: uno de naturaleza oficial (cuatro entrevistas), y tres de naturaleza privada (17 entrevistas). La tabla 2 muestra la distribución de las entrevistas realizadas.

Tabla 2. Distribución de entrevistas individuales a profundidad

Fuente: elaboración propia.

Para lograr la colaboración de los entrevistados, se envió una carta a los directivos de los programas seleccionados solicitando el apoyo para llevar a cabo las entrevistas individuales. En síntesis, se realizaron entrevistas a 24 actores universitarios, entre los que se encuentran directivos, profesores, egresados y pares evaluadores en administración. Estos últimos fueron seleccionados a través de contactos de las mismas universidades, dos de ellos por su condición de ser o haber sido consejeros del CNA, y un tercer par evaluador muy prominente en la disciplina (administración), con título de posdoctorado. Las entrevistas fueron grabadas y luego se procedió a la transcripción correspondiente utilizando el software gratuito Audacity y, en algunos casos, un software de reconocimiento de voz. De este modo se generaron más de 450 páginas.

Las entrevistas semiestructuradas contenían preguntas a las cuales se llegó como consecuencia de la revisión y análisis de antecedentes y referentes teóricos y de la coherencia necesaria entre las tareas metodológicas y el logro de los objetivos, es decir, las respuestas a las preguntas del cuestionario de entrevistas semiestructuradas debían tributar al logro de los objetivos específicos y del objetivo general para responder la pregunta de investigación ligada al objeto de estudio. En consecuencia, se buscó que las preguntas estuvieran vinculadas a información relacionada con indicadores cruciales y prioritarios que dieran cuenta de los factores o procesos que se consideran en los programas académicos de pregrado, los resultados en ECAES 2004-2010, las buenas prácticas en acreditación y, finalmente, las perspectivas de los actores universitarios protagonistas en los programas de pregrado de universidades de Medellín, Bucaramanga y Barranquilla.

En ese orden de ideas, el contenido de la entrevista utilizada fue el siguiente:

Con el propósito de configurar un sistema de indicadores cruciales de calidad a partir de las experiencias en acreditación de alta calidad y de los resultados en ECAES 2004-2010, comedidamente solicito su colaboración contestando las siguientes preguntas:

1.Según la literatura y la experiencia, se han establecido los principales factores asociados a la calidad de un programa académico: la planeación, la investigación, la enseñanza, el aprendizaje, la proyección social, el bienestar universitario, la gestión y los recursos. Dentro de los anteriores factores, ¿qué indicadores cruciales (los que no pueden faltar) o prioritarios evidencian mejor la calidad de un programa en administración de empresas? En cuanto a planeación… etc., ¿qué otros factores e indicadores agregaría?

2.De este listado de indicadores, ¿cuáles considera más decisivos para que un programa de administración de empresas alcance la acreditación? ¿Qué indicadores cruciales tuvieron mayor influencia en el logro de (o en no haber logrado) la acreditación de alta calidad?

3.Al observar los datos obtenidos por su programa en las bases de datos del Icfes se encontró una variación positiva (o negativa). De acuerdo con los resultados en ECAES 2004-2010 en su programa, ¿qué indicadores cruciales tuvieron mayor influencia positiva y negativa en esos resultados?

4.4. ¿Qué indicador(es) crucial(es) considera que deberían interconectarse para configurar un sistema que permita evaluar y mejorar la calidad del programa y cómo o cuál sería ese esquema?

5.¿Desea comentar algo más?

Dado que el problema y las preguntas conciernen a constructos elaborados por comunidades académicas, la investigación trabajó con categorías preestablecidas desde indicadores del CNA, indicadores de certificación ISO 9001 e indicadores de países como España, México, Sudáfrica, Egipto, India y Estados Unidos, mencionados en los antecedentes y en los referentes teóricos, que se refinaron y mejoraron con el análisis de la perspectiva de los actores entrevistados. Dichas percepciones fueron registradas gracias a las entrevistas semiestructuradas que se llevaron a cabo, y los datos obtenidos en estas consultas se procesaron y analizaron mediante el uso del software ATLAS.ti 5. En conclusión, y siguiendo lo propuesto por Dawson (2007), puede afirmarse que en esta investigación se realizó análisis temático, comparativo y de contenido, como podrá corroborarse en los siguientes capítulos.