12.1 Instrumentos de evaluación y análisis de la información
Toda evaluación supone un relevamiento sistemático de información, sobre el cual se realiza un juicio valorativo que posibilita la toma de decisiones. En ese marco, el modo en que recogemos evidencias acerca de nuestro objeto de evaluación adquiere vital importancia. Desde ya, el tipo de instrumento de evaluación se define en función del propósito de la evaluación y del objeto a evaluar. No es lo mismo evaluar cuánto saben los alumnos de anatomía, que si saben realizar un procedimiento técnico en particular.
Es por ello que hay distintos tipos de instrumentos de evaluación. A continuación se presenta una sistematización, que desde ya no es exhaustiva ni la única clasificación posible, pero que permite reconocer la diversidad de técnicas de recolección de información y de instrumentos.
A continuación se describe cada uno de ellos:
Observación
La observación puede ser registrada con distintos instrumentos a partir de dos enfoques:
- Codificar, anotar lo que se observa, sin incluir juicios de valor. Para ello se utilizan habitualmente listas de control y/o escalas de estimación como técnicas de evaluación.
- Valorar la conducta observada. Suelen utilizarse registros anecdóticos
Listas de control o lista de cotejo.
Tienen como función el registro de la presencia o ausencia de conductas que requieran baja inferencia. Sirven para obtener información sobre actividades, conductas manifiestas o indicadores
Ejemplo:
Escalas de estimación
Se trata de sistemas de categorías prefijadas en las que no se necesitan juicios de valoración, ya que usan un sistema de calificación ordinal. Sirven para enumerar conductas que deben observarse apreciando la manera, la forma, la frecuencia o la intensidad de aparición de la característica observada.
Ejemplo:
Registros anecdóticos
Permiten registrar en la situación o retrospectivamente para recoger la conducta relevante. Sirven para identificar líneas de conducta más o menos estables, para proporcionar evidencias objetivas, históricas y longitudinales sobre cambios en un alumno.
Ejemplo:
Comprobación
Los instrumentos utilizados en técnicas de recolección de información de comprobación pueden ser clasificados, a su vez, según el tipo de instrumento, la finalidad (el objeto de evaluación), o bien por el tipo de metodología predominante:
Una clasificación interesante es la realizada por López Pastor (2009), quien distingue en función del tipo de expresión predominante. Así, se identifican:
Instrumentos de comprobación habituales con predominio de expresión escrita, tales como:
|
|
Instrumentos de comprobación habituales con predominio de expresión oral
|
|
Instrumentos de comprobación habituales con predominio de expresión práctica
|
|
Autoinforme
El autoinforme es la técnica que puede registrarse por medio de distintos instrumentos, con preguntas de tipo abiertas o cerrada:
Cuestionario: La encuesta es una técnica más específica que permite obtener información sobre un tema o situación, a través de la aplicación de cuestionarios. En este instrumento se realizan las mismas preguntas y de la misma forma a todos los evaluados.
Entrevista: Es una conversación intencional entre dos personas, o entre una persona y un grupo, con un propósito determinado. Permite: a) aclarar las cuestiones que el entrevistado plantee; b) captar su actitud hacia el tema (actitudes, gestos, lenguaje corporal, etc.); c) profundizar en sus respuestas; d) abordar temas personales o teñidos de afectividad.
Cada una de las técnicas mencionadas presenta dificultades y oportunidades. Se sugiere la lectura del siguiente material para profundizar acerca de ello.
Para profundizar:
Casanova, M. (1995). Manual de evaluación educativa. España: Muralla.
12.2 Pruebas «objetivas» y criterios de corrección
Las llamadas pruebas objetivas son un instrumento que permite al docente conocer los resultados de aprendizaje de sus alumnos a partir de la construcción de ítemes de respuesta unívoca. Se asume que son más fáciles de construir y más rápidas de corregir. Sin embargo, es preciso considerar algunas cuestiones para garantizar que se trate de instrumentos confiables que nos puedan formular conclusiones válidas acerca del aprendizaje de nuestros alumnos.
La referencia a la validez y a la confiabilidad en este caso no resultan cuestiones menores.
Por su parte, la confiabilidad es condición necesaria (aunque no suficiente) para la validez. Este concepto hace referencia al grado de consistencia de las mediciones cuando se repite el procedimiento de evaluación sobre una población de individuos o grupos (AERA, APA & NCME, 1999).
Además de intentar que la evaluación a realizar sea válida y confiable, algunos autores identifican también otros requisitos de una “buena evaluación”, o de una evaluación técnicamente sólida:
- Impacto/ utilidad: hace referencia al efecto que tiene la evaluación en los distintos interesados
- Practicidad: resulta de la conjunción de tres aspectos: a) su administrabilidad, b) la facilidad de análisis e interpretación de sus resultados y elaboración de conclusiones y, por último, c) de la evaluación de la economía de tiempo, esfuerzo y costo de su utilización.
- Justicia
Para profundizar:
Camilloni,, A. y otras, (1998): ”La calidad de los programas de evaluación y de los instrumentos que los integran”, en: La evaluación de los aprendizajes en el debate didáctico contemporáneo. Paidos. Buenos Aires.
Al preparar una prueba escrita se presentan dos alternativas (al menos): se priorizan los ítemes abiertos o de producción, o a aquellos cerrados o de selección.
Los ítemes de producción se caracterizan por:
- Respuesta no unívoca
- Rigurosidad en la elaboración de sus consignas
- Rigurosidad en su corrección y puntuación (para reducir sesgos personales provenientes de factores externos al aprendizaje)
- Posibilidad de evaluar una multiplicidad de aspectos propios de tareas complejas (por ej. producción escrita)
Los itemes de selección, por su parte, presentan respuestas univocas y, por lo general, se encuentran ejercicios tales como:
- Emparejamiento/ correspondencia: Son ítemes en donde el alumno debe hacer corresponder los elementos de distintas listas.
- Selección alterna (V-F, Sí-No): Son ítemes en donde el estudiante debe elegir entre dos opciones mutuamente excluyentes.
- Opción múltiple: Son ítemes en donde el candidato deberá seleccionar la respuesta entre dos o más opciones.
Resulta conveniente señalar que el tipo de consigna propuesta a los alumnos supone la decisión acerca de qué saber (contenido, competencia, habilidad) se pretende que los alumnos respondan, pero también el tipo de estrategia cognitiva que deben utilizar.
En ese marco, es útil reconocer que independientemente del tipo de prueba escrita que se diseñe, cada ejercicio o actividad demanda una determinada estrategia cognitiva que los alumnos deben realizar para responder. A continuación se presenta un ordenamiento de los verbos que habitualmente se utilizan en la formulación de consignas en función de tipo de demanda cognitiva. En un extremo se ubican aquellas tareas de menor demanda y en orden creciente, aquellas que requieren el uso de operaciones mentales de orden superior y que, por ende, requieren mayor tiempo del alumno para responder.
12.3 Construcción de la calificación y estrategias de devolución de información
Una de las críticas más frecuentes que hacen los alumnos a los docentes es la percepción de “injusticia” o inequidad en la corrección. Frente a esto, es útil reconocer que como evaluadores nos enfrentamos a distintas fuentes de error al calificar. Camillioni (s/f) identifica algunas de las siguientes:- Efecto halo (tendencia a evaluar una parte en función del todo)
- Efecto contraste
- Pertenencia al grupo
- Factores del corrector (cansancio, estrés…)
- Orden de los trabajos
- Irrelevancia interratios (criterios de corrección diferentes entre correctores)
Para profundizar:Camilloni, A. y otras, (s/f): Las apreciaciones personales del profesor. Mimeo. Buenos Aires: CEFyL UBA.
Algunas de las fuentes de error pueden ser atenuadas a partir de la utilización de instrumentos tales como:
- Claves de corrección
- Listas de cotejo
- Rúbricas
La clave de corrección es una respuesta tipo cuyo objetivo es hacer más confiable la calificación, reduciendo los sesgos del corrector. Permite al evaluador concentrarse en el contenido conceptual de lo expresado más allá del estilo de redacción, vocabulario, o extensión de la respuesta.
Para ello la clave debe contener:
- Los conceptos fundamentales que permitirán decidir si una respuesta es aceptable y satisfactoria.
- La puntuación que se asignará a cada respuesta correcta. Elaborada como resultado de la ponderación de las preguntas en relación con su grado de relevancia desde el punto de vista de los objetivos, contenidos y características de los procesos de enseñanza y aprendizaje que se desea evaluar.
- La organización de la respuesta que se considera deseable, y si se juzga pertinente calificarla, la puntuación que se le asignará a la misma.
Ejemplo:
La lista de cotejo contiene el listado de los aspectos que la respuesta correcta debería contemplar. Se elabora en términos de presencia-ausencia de criterios de evaluación y puede ser de dos tipos: a) con puntaje (facilita la ponderación), o bien, b) sin puntaje (sólo presencia o ausencia de criterio).
La rúbrica que especifica lo que se debe observar al corregir, criterios para juzgar las respuestas y distintos niveles de desempeño a los que corresponden distintos tipos de respuestas. La rúbrica puede ser holística o analítica, en función del grado en que se desagreguen los criterios de evaluación.
A continuación, los invitamos a ver la siguiente escena de “La historia oficial” (1985) y a pensar cómo y por qué el docente analiza y valora la información del examen del alumno y el modo en que lo hace.
A diferencia de la evaluación que, como vimos anteriormente, es una interpretación, un juicio valorativo que el evaluador realiza sobre la base de diversas informaciones recogidas y analizadas, la calificación tiene el propósito de comunicar y hacer explícitos los resultados de la evaluación.
Se trata de construcciones convencionales que permiten llevar a cabo el proceso de asignar calificaciones.
Aun cuando la escala utilizada pueda cambiar a través del tiempo y los contextos, lo que permanece estable es la necesidad de que la misma sea comunicada a los alumnos, conjuntamente con los criterios de evaluación utilizados. Esto responde, por un lado, a una preocupación por la transparencia de los procesos de evaluación. Por otro lado, su valor reside en ayudar al estudiante a construir una representación adecuada de la tarea y promover una mayor posibilidad de control y regulación de su parte acerca del proceso de aprendizaje, en vistas al desarrollo de prácticas de estudio cada vez más autónomas.
Así, la devolución de los resultados de la evaluación juega un papel importante en el proceso de aprendizaje del alumno, ofreciendo información valiosa y pertinente que contribuya a desarrollar los procesos metacognitivos en el estudiante. Ellos se refieren a la capacidad que tiene el sujeto para pensar y reflexionar acerca de su aprendizaje, definir objetivos y regular por sí mismo la actividad, predecir sus éxitos en determinadas tareas y monitorear su comprensión.
Para poder realizar una devolución formativa, se sugiere considerar los siguientes aspectos:
- Identificar fortalezas, en relación a las expectativas de logro, los criterios de corrección y los “modelos de buenas prácticas”.
- Señalar aspectos a mejorar y especificar plazos para poder hacerlo en el producto entregado.
- Focalizarse tanto en el proceso como en el contenido: en lo que el alumno hace o dice y no en su persona.
- Realizar comentarios descriptivos sobre aspectos concretos (idealmente, sin calificaciones o puntajes).
La revalorización de la función de retroalimentación permite ofrecer al alumno información pertinente, en detalle y a tiempo acerca de su desempeño y orientaciones acerca de cómo mejorarlo. esta información puede derivarse de la evaluación formativa, pero también de las instancias de evaluación parcial.
Al abordar el tema de la evaluación y devolución de los desempeños, la devolución del docente aporta cierto carácter formal y material a una relación que, por diversos medios, ha intentado cargarse de significado, de cierta materialidad e institucionalidad en un entorno del tipo de la educación virtual.
En el Módulo 3, se hace referencia a la necesidad de la retroalimentación del tutor para que el alumno pueda regular su aprendizaje, identificando sus logros, sus áreas de dificultad y diseñando algún plan de mejora. Algunos de los problemas que habitualmente se observan en relación a la evaluación de los aprendizajes y que conviene tener presente al momento de evaluar los desempeños y hacer una devolución de los mismos son:
- Demandas múltiples hacia la evaluación
- El eje de la enseñanza y el aprendizaje se desplaza
- La desconfianza/lo oculto
- Se evalúa de una única manera
- Los alumnos solo miran las calificaciones (pese a los esfuerzos)
- Favorece una relación utilitaria con el aprendizaje
- Los informes lapidarios
- El alumno ignorado
- Escaso o inadecuado uso de las informaciones
- El deseo de evaluar “todo”
- Se recoge información poco relevante o pocas evidencias.
12.4 Bibliografía
- AERA, APA & NCME, 1999.Standards for Educational and Psychological Testing
- Alderson, Ch. J., Clapham, C. y Wall, D. (1995). Exámenes de idiomas, elaboración y evaluación. Madrid: Cambridge University Press, 1998.
- Barbier, Jean Marie (1993), La evaluación en los procesos de formación. Barcelona: Ediciones Paidós.
- Barbier, J. M. (1999), Prácticas de formación: evaluación y análisis. Buenos Aires: Novedades educativas.
- Camillioni, A. Et. al, (s.f), Las apreciaciones personales del profesor. Mimeo. Buenos Aires: CEFyL UBA.
- Camillioni, A. et.al, y otras, (1998), La calidad de los programas de evaluación y de los instrumentos que los integran, en: La evaluación de los aprendizajes en el debate didáctico contemporáneo. Paidos. Buenos Aires.
- Cano García, Elena (1999), Evaluación de la calidad educativa, La Muralla – OEI.
- Casanova, M. (1995). Manual de evaluación educativa. España: Muralla.
- Cronbach Lee. J (1963), Course improvement through evaluation, Teachers College Record, 64. Pp.672-683.
- De Ketele, Jean-Marie y Xavier Roegiers (1995). Metodología para la recogida de información, La Muralla.
- Elola N. y Toranzos L. (2000), Evaluación educativa: una aproximación conceptual. Biblioteca digital, OEI.
- Elola, N. y Toranzos, L. (2000). Las funciones y las finalidades de la evaluación en Evaluación educativa: una aproximación conceptual. Disponible en www.campus-oei.org/calidad/luis2.pdf.
- House, E. R. y Howe, K. R. (2001), Destinatarios e interesados en Valores en evaluación e investigación social, Madrid: Ediciones Morata, pág. 50-52 y 183-185.
- Jiménez, Bonifacio, La evolución, su conceptualización En: Evaluación de programas, centros y profesores. Madrid. Ed. DOE. Pp. 25-56
- Nevo, D. (1983). The conceptualization of educational evaluation: An analytical review of the literature. Review of Educational Research, 53, 1, pág. 117-128.
- Perrenoud, P. (2008): La evaluación de los alumnos. De la producción de la excelencia a la regulación de los aprendizajes. Entre dos lógicas. Buenos Aires: Colihue. Cap. 7
- Rossi, P.H., Lipsey, M.W., Freeman, H.E. (2004). Evaluation: A systematic approach. Seventh Edition. Sage Publications, California, USA.
- Scriven, M. (1991). Evaluation thesaurus. Newbury Park, CA: Sage Publications, Inc.
- Tenbrink Ferry, D. (1984): Evaluación: guía práctica para profesores. Narcea: Madrid.
- Toranzos, Lilia. (s.f.), Los ámbitos de la evaluación educativa y algunas falacias frecuentes.
- Tyler, R. (1950). Basic principle of curriculum and instruction. Chicago: Chicago University.
- Valverde, G. “La interpretación justificada y el uso apropiado de los resultados de las mediciones”. En Ravela P. et. al (2000), Los próximos pasos: ¿hacia dónde y cómo avanzar en la evaluación de aprendizajes en América latina?. PREAL. pp. 22-23
