Читать книгу Indicadores de calidad en educación superior - Jairo Sánchez Quintero - Страница 13

Los datos obtenidos durante la investigación se recopilaron teniendo en cuenta y adaptando al español la matriz de LeCompte y Preissle (1993), que propone preguntarse “¿qué necesito saber?” en cada objetivo específico, asociado a cada momento de la investigación y, si su naturaleza es empírica o teórica, “¿para qué lo necesito saber?”. Asimismo, se dio cabida a cuestionamientos como “¿qué clases de datos permiten lograr cada objetivo específico?”, “¿desde qué fuentes o personas deben ser obtenidos los datos?” y “¿en qué sitios específicos puedo encontrar los datos?”.

Tabla 3. Matriz de planeación de la recolección de datos

Fuente: elaboración propia basada en LeCompte y Preissle (1993).

Las perspectivas que guiaron la construcción de un sistema de indicadores cruciales para el mejoramiento de la calidad de programas de administración fueron las siguientes:

1.Que los indicadores aporten al mejoramiento de la calidad de los programas de administración.

2.Que los indicadores tengan capacidad o potencia de indicar calidad de insumos, procesos, productos y contextos.

3.Que los indicadores, al ser medidos, cumplan con objetivos de mejoramiento general de la calidad de la educación ofrecida por los programas de administración.

4.Que los indicadores sean susceptibles de ser medidos por los programas de administración de conformidad con la realidad colombiana en educación superior.

5.Que la evolución en el logro de las metas de los indicadores impacte la realidad económica y social del área de influencia del programa.

6.Que los datos o medidas de los indicadores puedan ser usados de manera significativa para tomar mejores decisiones y, en consecuencia, contribuyan al mejoramiento de la gestión del programa y su impacto social y económico.

7.Que las acciones, las actividades y la gestión del programa permitan incidir en el comportamiento de esos indicadores.

8.Que respondan a las consideraciones de los lineamientos del CNA (2013).

Las anteriores perspectivas se sumaron al siguiente procedimiento utilizado para el análisis de las entrevistas mediante ATLAS.ti 5:

1.Se registró la hora de inicio del análisis de cada entrevista, empezando con las tres entrevistas piloto.

2.Se realizó una edición básica de cada entrevista, pues luego en el software de ATLAS.ti 5 se podía continuar esta tarea. Se quitaron negritas, cursivas y otros elementos de formato y se identificaron uniformemente los sujetos en el texto. Asimismo, se dejó una línea entre cada participación de los sujetos y se hicieron revisiones de ortografía, entre otros aspectos, antes de empezar análisis. En el proceso se aseguró colocar un punto después de cada oración y de cada párrafo. También se utilizó “INV” para identificar al investigador en todas las entrevistas, de manera que no se codificara luego como un código o categoría de la investigación donde la palabra “investigador” cumple un papel crucial, mientras que para el entrevistado se usó “ENTREV”. La edición de las tres entrevistas piloto se llevó cabo de 5:40 p.m. a 6:34 p.m.

3.Se convirtieron los documentos a RTF. En el caso particular de las entrevistas piloto, se emplearon cinco minutos.

4.Se abrió y guardó una unidad hermenéutica por cada programa académico participante en la investigación con las entrevistas correspondientes. Esta tarea tomó tres minutos.

5.Al inicio del análisis de cada programa académico se revisaron las notas tomadas por el investigador durante las entrevistas y se elaboraron memos después de preguntar qué sucedió en cada entrevista: ¿qué hizo que este documento o entrevista fuera similar y diferente de las demás?

6.Se aplicó la herramienta word crunch de ATLAS.ti 5 para examinar la(s) palabra(s) que predominaba(n) o más se repetía(n) o era(n) usada(s) por cada persona entrevistada. De este modo se pudieron elaborar memos con las palabras que más se mencionaban. Igualmente, esto permitió buscar sinónimos que ayudaran al proceso de codificación, así como términos o conceptos emergentes significativos o sorprendentes para elaborar un memo con cada observación. Al rol del entrevistado se le asignó un memo con estos hallazgos. EL tiempo empleado en word crunch por entrevista fue de 23 minutos.

7.Se elaboró una tabla con cada uno de los códigos más significativos para facilitar el análisis, indicando lo siguiente de cada código: definición breve, definición amplia, cuándo usar: aplicar este código a todas las referencias que…; cuándo no usar: no usar este código para referirse a… Estos puntos fueron planteados por McQueen, McLellan, Kay y Milstein (1998).

8.Se codificó con autocoding, según la lista preliminar de códigos identificada en antecedentes y referentes teóricos y en el análisis de 183 indicadores del CNA, bajo confirmación previa dentro de citas que fueran palabras (haciendo clic fuera de la palabra demarcada y seleccionando la oración pertinente o correspondiente o que le daba sentido al código) y examinando la cita a la cual se asociaba cada código. Mientras se avanzaba en este proceso se fueron escribiendo memos en otro archivo, pues ATLAS.ti 5 no permite detenerse para escribir un memo y regresar al mismo lugar donde se dejó o alcanzó a codificar, es decir, vuelve al principio de los Principal Documents PD.

9.Se codificó con autocoding, esta vez usando códigos emergentes identificados con el word crunch o por lecturas previas, bajo confirmación previa y examinando la cita a la cual se asociaba cada código. Se decidió agregar el código “ponderación” por su utilidad para el análisis de los indicadores cruciales o prioritarios. También se identificaron como nuevos códigos importantes: “medir”, “poder” y “pertinencia” debido a una frecuencia identificada con la herramienta mencionada. Sin embargo, al revisar las palabras “pertinencia” y “poder” se pudieron identificar algunas citas que daban cuenta del sentido y significado que los consultados les daban, mostrando que no guardaban relación directa con esta investigación. También se tomó nota del tiempo de esta actividad para tenerlo en cuenta en el análisis de otras entrevistas.

10.Se revisaron los códigos con la herramienta coding analyzer, que muestra códigos con codificación redundante, y se procedió a eliminar o desenlazar las citas donde se presentaba redundancia. En este punto se pudo detectar que era mejor desencadenar la cita al código porque, si se había elaborado la cita, era porque tenía alguna importancia específica y en consecuencia valía la pena mantenerla, aunque no estuviera asociada a un código porque este ya se había enlazado con una cita de mayor extensión. Luego se volvió a pasar el coding analyzer para confirmar que no hubiera redundancia.

11.Se revisaron y copiaron las citas con mayor densidad, es decir, que tenían un mayor número de códigos asociados.

12.Se interpretaron los códigos —decodificación— de forma clara y precisa, revisando visualmente código por código con sus respectivas citas. En este paso fue importante tener en cuenta tanto los códigos de mayor frecuencia como aquellos en los que se había empleado más tiempo. En principio, se hizo énfasis en las citas de “acreditación” y luego en las de “ECAES” para obtener resultados de los objetivos específicos 4 y 5. Luego se asociaron los resultados de los códigos “crucial” e “indicadores” con “acreditación” y “ECAES”, y al final con los indicadores cruciales que resultaron en todos los procesos de cada programa académico para elaborar el esquema del sistema.

13.El trabajo de campo permitió identificar argumentos o apreciaciones que sustentaron, respaldaron y ratificaron la justificación y pertinencia del problema de investigación.

14.Mientras se codificaba, se elaboraron memos sobre reflexiones pertinentes para la identificación de indicadores cruciales y relaciones entre indicadores y sobre categorías emergentes de los datos de las entrevistas. Así se crearon nuevos códigos en la medida en que surgían categorías, factores o conceptos emergentes. Esta nueva codificación se denomina abierta (creación de nuevos códigos del investigador a partir de hallazgos relevantes en citas) o in vivo (por términos atractivos que surgen del word cruncher o de citas). Para escribir memos era necesario hacerse nuevas preguntas sobre posibles indicadores, comparar semejanzas y diferencias, abstraer, reducir y relacionar datos relacionados con citas y códigos. También fue importante tener en cuenta que podrían surgir propiedades sobresalientes de indicadores en las respuestas de las personas entrevistadas.

15.Durante todo el análisis se tuvieron en cuenta las recomendaciones de Denzin y Lincoln (1994) en cuanto a establecer patrones entre los datos y hacer descripciones, comparaciones (incluidas las extremas) y formulaciones de indicadores cruciales y sus interrelaciones o interconexiones. Asimismo, se asumió una actitud de permanente pregunta a los datos (por ejemplo, ¿qué pasa aquí en cada programa?, ¿qué hacen?, ¿cómo varían los factores, códigos o indicadores de cada familia en cada programa (fue necesario saber ir fácilmente a las citas que demuestran tal variación y poder recuperarlas para reportarlas como resultados, evidencias, análisis, discusión y conclusiones)?, ¿bajo qué condiciones ocurrían las variaciones?, ¿qué es esto?, ¿qué aporta esto en mi investigación en relación con la pregunta de investigación “para generar ideas y maneras de mirar los datos”?

También se mantuvo abierta la posibilidad de elaborar, modificar, verificar, aclarar, expandir o descartar hipótesis e identificar cuándo los entrevistados daban hechos fácticos y cuándo daban opiniones, suposiciones o especulaciones. De igual modo, se trató de determinar afirmaciones, opiniones o declaraciones desconcertantes y contradictorias, al tiempo que se examinaron posibles sesgos, parcializaciones, preferencias, suposiciones y perspectivas de las personas entrevistadas. A su vez se buscaron tanto patrones generales como variaciones, y al final se clasificaron y ordenaron citas y códigos.

A estas alturas del proceso se tuvo presente la importancia de pasar de la descripción a la conceptualización y de lo más específico a lo más abstracto. Al preguntarse en qué, dónde y cómo coincidían y diferían los datos se aplicó la técnica de la “voltereta”, que consiste en voltear de adentro para afuera o de arriba para abajo y viceversa, observando los opuestos o los extremos para encontrar indicadores significativos (esto también se hizo con los dos programas con resultados insatisfactorios en las pruebas ECAES 2004-2010). Por otro lado, al tratar de descifrar qué es lo que no se hacía en programas de resultados insatisfactorios que sí se hacía en los de resultados satisfactorios se recurrió a la comparación sistemática de conceptos, factores, indicadores o situaciones de los datos con los de la experiencia del investigador o tomados de la literatura.

Otras preguntas que tuvieron cabida en este paso fueron: ¿qué tan a menudo aparece un concepto y cómo emerge (bajo qué condiciones), con sus respectivas evidencias?, y ¿qué podría pasarle a un programa si algún factor, característica, propiedad o indicador estuviera ausente o cambiara (ejemplo del ave si le falta un ala)? El análisis de propiedades (características) y dimensiones (grados) asociadas a factores, citas, códigos, familias o hipervínculos también tuvo lugar en esta etapa. Finalmente, se crearon subcategorías en el análisis de los procesos que ocurren en un programa académico, preguntándose ¿cuándo?, ¿dónde?, ¿por qué?, y ¿cómo es probable que haya ocurrido algo?, siempre en relación con el objeto de investigación y sus factores asociados (códigos, familias, supercódigos, tablas, redes e hipervínculos).

A partir de esta información recabada y analizada fue posible empezar a comprender modelos y patrones de calidad en programas de pregrado bajo indicadores cruciales con miras a generar una nueva configuración de ideas (teoría sustantiva) sobre un nuevo sistema de indicadores cruciales y prioritarios para evaluar y mejorar la calidad de programas académicos universitarios en administración. De esta manera surgiría una teoría fundamentada, denominada “teoría de la interacción entre indicadores cruciales y prioritarios de calidad en educación superior”, resultante de esta investigación y materializada en la propuesta de sistema de indicadores y en la jerarquización de estos dada por la validación de expertos.

16.Otra consideración transversal al proceso fue la de las operaciones mentales reportadas por diferentes autores: identificación, comparación, análisis, síntesis, clasificación, codificación, decodificación, proyección de relaciones virtuales, diferenciación, representación mental (abstracción), transformación mental, razonamiento divergente, pensamiento convergente, razonamiento hipotético, razonamiento analógico, razonamiento lógico, razonamiento silogístico, razonamiento inferencial, evocación y transferencia. Así pues, cada día, antes de iniciar el análisis de datos, se leían y repasaban las definiciones de cada una de estas operaciones mentales.

Finalmente, debe reiterarse que los principales datos necesarios para realizar la investigación provinieron de fuentes documentales y de la realización de entrevistas. La totalidad de esta información se recolectó directamente por el propio investigador en el periodo 2009-2012, y luego fue integrada para el análisis final mediante el software ATLAS.ti. De esta manera se llegó a construir el sistema de indicadores cruciales con el cual se elaboró el informe final de hallazgos, resultados obtenidos y formulación de teoría sustantiva. En dicho texto general o corpus final (la sumatoria de los hallazgos) de la investigación, se rescató hermenéuticamente la esencia del conocimiento obtenido que permitió responder la pregunta de investigación y demostrar el logro de los objetivos.

Para la validación de los 34 indicadores finales obtenidos en la investigación se utilizó el cuestionario elaborado a partir del corpus de los resultados con base en la revisión y el análisis de antecedentes nacionales e internacionales, así como de la literatura a ambos niveles. De igual modo se estudiaron y jerarquizaron los 183 indicadores del CNA 2006 y se examinaron los indicadores asociados a buenas prácticas de acreditación resultantes de las 24 entrevistas. Asimismo, en otros análisis relevantes se abordaron los indicadores relacionados con resultados satisfactorios en ECAES 2004-2010 resultantes de las 24 entrevistas realizadas y los que se enlazan con procesos o factores claves de los programas académicos de administración, ambos obtenidos también de las entrevistas.

El cuestionario final sobre relevancia de los indicadores fue respondido por 28 expertos, decanos y directores de programas de los más importantes programas de administración de Colombia, quienes aceptaron voluntariamente diligenciarlo, entre cerca de 300 participantes asistentes a la conferencia de Ascolfa de 2013 y del Primer Coloquio en Administración. Este instrumento utilizado puede apreciarse en el anexo A.

En conclusión, desde el punto de vista metodológico, se realizaron los siguientes tipos de análisis derivados de la información obtenida de entrevistas individuales tanto piloto como de contraste (entre programas con resultados opuestos o contrarios), para al final configurar un sistema de indicadores cruciales de calidad:

•Análisis hermenéutico documental.

•Análisis de indicadores del CNA con ATLAS.ti 5.

•Análisis de bases de datos de los resultados de ECAES 2004-2010.

•Análisis de interpretaciones y sentidos rivales.

•Análisis comparativo holístico e integrador en el texto o corpus final.

Adicionalmente, se realizó un análisis temático, comparativo y de contenido de las transcripciones (450 páginas) de las entrevistas. Con estos insumos se logró una mayor comprensión de un sistema de indicadores de calidad requerido por los programas colombianos de administración de empresas para evaluar y mejorar su calidad y compromiso social y económico.

Con la posición metodológica descrita en este capítulo, los 34 indicadores que emergieron y los tipos de análisis mencionados, se logró configurar una teoría sustantiva sobre indicadores, una propuesta de sistema (interconexión) de tipo balanced scorecard y una mayor comprensión de los indicadores de calidad cruciales y prioritarios requeridos por los programas colombianos de administración de empresas para evaluar y mejorar su calidad y compromiso social y económico. Esta teoría sistémica, llamada teoría sistémica de indicadores cruciales en educación superior (Tesicrues), podrá apreciarse en los siguientes capítulos de esta obra, junto con los resultados de la investigación.

10. Este sistema de indicadores SICRUES puede ser aplicado también en los programas de ciencias sociales y humanidades.

11. “Gadamer, habiendo aceptado el giro lingüístico, abandona cualquier esperanza de fundar conocimiento absoluto y concluye que toda la comprensión humana es provisional, porque no puede construirse sobre una visión infinita del todo” (Campos, 1999).

12. La hermenéutica ontológica es opuesta a la hermenéutica objetiva de Dilthey, Betti y Hirsch, que asume un sentido o significado realista y previamente determinado que espera a ser descubierto.

13. Según Ángel (2011), “Lo que en este tipo de estudios se llama teoría es el establecimiento de regularidades surgidas del objeto observado, de manera que no pretende elaborar una teoría social que tenga pretensiones de universalidad, sino que pretende establecer rasgos significativos y sistemáticos en el objeto de la investigación. Strauss y Corbin hacen una diferenciación entre lo que llaman teoría sustantiva y teoría formal, donde la primera se refiere a las explicaciones de los informantes sobre su forma de percibir la realidad y la segunda es derivada del estudio y está mediada por un riguroso proceso de abstracción”.

14. Por entrevista semiestructurada se entiende el cuestionario verbal con preguntas prediseñadas que pueden ser complementadas con otras durante la entrevista. Según Dawson (2007), “Las mismas preguntas necesitan ser hechas en cada entrevista. Sin embargo, el investigador también quiere que la entrevista permanezca flexible para que otra información importante pueda originarse”.

15. Mediante entrevistas a los actores universitarios de estos programas al constituirse como fuentes y prácticas diferentes a las de los tres programas con resultados favorables.

16. Holístico en el sentido sistémico de totalidad o integración de todos los datos obtenidos en la investigación.

17. Transversal se asume como diferente de longitudinal. El análisis transversal es sincrónico, es decir, en un momento determinado, y el longitudinal es diacrónico, esto es, a través del tiempo.

18. Se seleccionó este programa pues es en el que el autor ha tenido mayor experiencia y formación durante 23 años. Los exámenes ECAES se han realizado para el programa de administración de empresas en los siguientes periodos: 2004-2, 2005-2, 2006-1, 2007-1, 2008-1, 2009-2 y 2010.

19. El Cambridge Dictionary of Statistics (2010) establece que el muestreo por conveniencia es “A non-random sample chosen because it is easy to collect”, o sea, “Una muestra no aleatoria elegida porque es fácil de recoger”.

20. Se consideran dinámicos por cuanto discurren o fluyen en el tiempo de la investigación, generando reflexión y nuevas ideas de manera activa. Es decir, no son momentos estáticos como los de una fotografía, sino que representan movimiento, análisis, reflexión e interpretación de ideas y conceptos que van emergiendo al transcurrir el video o película de la investigación, en la que confluyen adicionalmente múltiples perspectivas y dimensiones.