Читать книгу Prácticas de investigación aplicada a contextos educativos - Juan Carlos Rodríguez Macías - Страница 12

Desde la edición de 1999, diversas organizaciones, empresas y especialistas en el campo de la medición psicológica y educativa han propuesto nuevos enfoques y desarrollos relacionados con el diseño de pruebas de medición y con las técnicas del análisis, normalización, interpretación y uso de las puntuaciones que de ellas se desprenden. Como respuesta, en 2005 un comité conformado por miembros de la aera, apa y ncme determinó que la edición de 1999 demandaba una revisión y actualización. Posteriormente, en 2008 un segundo comité, conformado por 15 miembros de diferentes organizaciones, desarrolló la nueva versión de los estándares y en 2011 fueron revisados tanto por las organizaciones patrocinadoras (aera, apa y ncme) como por 35 asociaciones profesionales, diez empresas orientadas a la medición, cuatro centros de investigación, tres organismos acreditadores y seis instituciones independientes. La revisión se orientó hacia cuatro áreas principales: avances tecnológicos en medición, incremento en el uso de pruebas para la rendición de cuentas y política pública, inclusión, temas vinculados con el uso de pruebas en el contexto laboral.

Al igual que las ediciones anteriores, estos nuevos estándares son prescriptivos y no contienen reglas específicas para su aplicación; fueron formulados con la intención de ser consistentes con otros estándares, directrices y códigos de conducta publicados por estas organizaciones. Los Standards 2014 buscan promover las buenas prácticas de medición y proporcionar las bases para evaluar la calidad de las mismas. A diferencia de las ediciones anteriores, esta propuesta organiza los estándares de una manera diferente (tabla 5). Así, la sección Fundamentos concentra los capítulos de validez, confiabilidad/precisión, errores de medida y equidad de las pruebas. La sección Operación concentra los estándares asociados al diseño, desarrollo, aplicación, calificación y normalización de los test, así como los derechos y responsabilidades de los examinados y usuarios de los test. Por último, la sección Aplicaciones de pruebas contiene los estándares asociados con los distintos contextos de aplicación y con el uso de las pruebas (evaluación psicológica, ámbito laboral y acreditación, evaluación educativa y evaluación de programas, política pública y rendición de cuentas).

Tabla 5. Estructura de los estándares para pruebas psicológicas y educativas (2014)
Sección	Capítulo	Número de estándares
Fundamentos	1. Validez	25
2. Confiabilidad/Precisión y errores de medida	20
3. Equidad en las pruebas	20
Operación	4. Diseño y desarrollo de test	25
5. Puntuaciones escalas, normas, vinculación de puntuaciones y puntos de corte	23
6. Aplicación de test, calificación, reporte e interpretación	16
7. Documentación de apoyo para los test	14
8. Derechos y responsabilidades de los examinados	12
9. Derechos y responsabilidades de los usuarios del test	23
Aplicaciones de pruebas	10. Pruebas y evaluación psicológica	18
11. Pruebas en el ámbito laboral y de acreditación	16
12. Pruebas y evaluación educativa	19
13. Usos de los test en evaluación de programas, política pública y rendición de cuentas	9
Total	240

Nota: elaboración propia basada en Standards for Educational and Psychological Testing (aera, apa y ncme, 2014).

En lo particular, los principales estándares que ayudan a orientar las prácticas en traducción y adaptación de pruebas se encuentran en los capítulos 3 y 7 (Equidad en las pruebas y Documentación de apoyo para los test, respectivamente). En comparación con las anteriores, esta edición sitúa a la equidad como un tipo de evidencia inherente y fundamental de la validez de un test, misma que requiere atenderse en todas las etapas del diseño, desarrollo y uso del instrumento.

La equidad es entendida como la sensibilidad hacia las características individuales y contextuales de las pruebas y los sujetos, de manera que las puntuaciones que se desprenden de ellas permitan interpretaciones válidas para los usos esperados. En síntesis, las características de todos los individuos de la población bajo estudio (raza, etnicidad, género, edad, nivel socioeconómico y contexto lingüístico o cultural), deben considerarse durante todas las etapas de desarrollo, aplicación, calificación, interpretación y uso de las pruebas.

De hecho, los nuevos estándares reconocen la existencia de situaciones donde el test no es apropiado para todos los sujetos bajo estudio, aun cuando éste haya sido desarrollado bajo los principios y prácticas de equidad. En este sentido, se establece que algunas adaptaciones pueden ser necesarias para aquellos individuos cuyas características impedirían su participación en el proceso de evaluación. Las adaptaciones, dependiendo de las circunstancias de aplicación, los objetivos del test y las características de los sujetos, redundan en cambios en el contenido o presentación de los ítems, en las condiciones de aplicación o en los procesos de respuesta, a fin de incrementar el acceso al test a todos los sujetos.

No obstante, es necesario diferenciar entre cambios que resultan en puntuaciones comparables (acomodaciones) y cambios que pueden no producir puntuaciones que sean comparables con las obtenidas por el test original (modificaciones). La presente edición de los estándares propone entender las adaptaciones de pruebas como un continuo donde en un extremo se encuentran las acomodaciones (cambios relativamente menores a la presentación o formato de los test, aplicación del test, o de los procesos de respuesta que mantienen el constructo original y resulta en puntuaciones comparables con el test original), y en el extremo opuesto, las modificaciones (cambios que transforman el constructo que está siendo medido, incluyendo el contenido del test o las condiciones de evaluación, para obtener una medida diferente pero que mide el constructo de manera apropiada en los sujetos esperados).

En cuanto a la eficacia de las adaptaciones, ello depende del grado en que incrementan el acceso de los sujetos al constructo medido por el test. Dicha evidencia puede recolectarse a través de estudios cuantitativos y cualitativos, donde el juicio de expertos tiene un rol determinante en las decisiones acerca de los cambios a realizar en el test o en las condiciones de aplicación. Aquellos que informan, interpretan o utilizan las puntuaciones de un test adaptado, requieren desarrollar un completo entendimiento de la utilidad y limitaciones de los procedimientos de diseño de los test, así como reconocer cuáles adaptaciones proporcionan puntuaciones comparables con las del test original y cuáles adaptaciones no las proporcionan.

Concretamente, esta nueva edición de los estándares sugiere que a) los diseñadores de pruebas son responsables del desarrollo de test y de minimizar la posibilidad de que éste se vea afectado por características lingüísticas, comunicativas, cognitivas, culturales o físicas irrelevantes al constructo [estándar 3.2: 64]; b) cuando un test es traducido y adaptado de un idioma a otro, los diseñadores y los usuarios del test son responsables de describir los métodos utilizados, para establecer la idoneidad de la adaptación y documentar la evidencia empírica, o lógica, para determinar la validez de las interpretaciones y el uso de las puntuaciones [estándar 3.12: 68] y c) cuando un test está disponible en más de un idioma, la documentación debe brindar información de los procedimientos empleados para traducir y adaptar el test y, cuando sea factible, la información también debe contener evidencias de confiabilidad/precisión y validez para la forma adaptada [estándar 7.6: 127].