La traducción es de los autores del curso Kathryn Parker Boudett, Elizabeth A. City y Richard J. Murname. La adaptación "desarrollar conocimiento en evaluación" es personal.
Enlaces relacionados.
DATA WISE. PASO 1: Organizarse para el trabajo colaborativo.
DATA WISE: PASO 3. Crear un Panorama General de Datos.
STEP 2: BUILD ASSESSMENT LITERACY
PASO 2: ALFABETIZACIÓN EN EVALUACIÓN // DESARROLLAR CONOCIMIENTO EN EVALUACIÓN.
OVERVIEW / RESUMEN
The Prepare Phase of the Data Wise Improvement
Process is designed to provide a solid foundation for collaborative inquiry.
It’s comprised of two steps.
The first step, as we discussed earlier, involves
establishing teams and schedules that support collaboration, setting the tone
to make sure that collaboration is effective, and taking stock.
In Step 2 –Build Assessment Literacy – you and your
colleagues dive into your data inventory and develop the skills you will need
to understand the assessment listed there.
Building Assessment Literacy is important because it
ensures that you have the background you need to move into the Inquire Phase.
Before I start talking about assessment literacy, I
want to be clear on what I mean by “assessments.”
So some of the assessments on your data inventory
may be high-stakes exams that are used for external accountability. Others
may be benchmark tests that are given throughout the year to track progress
and learning standards. And don’t forget about all the other kinds of
writing, speaking, problem-solving assignments, that teachers develop and
score collaboratively. All of these are assessments.
We define “assessments” really broadly in Data Wise.
At first, Building Assessment Literacy can seem like a daunting prospect. But
if you break it into manageable steps, you can scaffold the work.
It is helpful to break it into three key tasks – review skills tested, study how results are
reported, and learn principles of responsible data use.
Reviewing skills tested involves considering the larger domain of skills and knowledge that you want
students to learn and determining what portion of that domain can be
illuminated by the assessments that you actually have.
For example, you might find that one mathematics
assessment helps you to measure computational skills and another helps you to
determine whether students have the conceptual understanding that allows them
to know whether to add, subtract, multiply or divide in a particular
situation. However, you might find that none of the assessments you have
adequately measures a skill that’s really important for students to master,
such as being able to break down a complex situation into manageable steps.
In this case, when you move into the Inquire Phase, you and your
colleagues may decide that, to understand what’s going on with student
learning, you need to find a way to measure that skill.
The next task is to study how results are reported.
Start off with the simple stuff. Who’s being tested,
and over what period of time? Then you need to give everyone a chance to
understand how scores were calculated. Are they raw scores? Are they scale
scores? What does “scales cores” even mean? Or if you’re looking at an
open-ended project that’s scored against a rubric, take the time to make sure
everyone understands what each level of the rubric means.
It’s also important to think about what kinds of
comparisons the results will allow.
Can you track changes in performance of the same
student over time, or can compare different cohorts of students to one
another? You have to take the time to understand how to read the data in
order to be able to use that data to improve your teaching.
The last key task is to learn principles of responsible data use.
For many educators, interpreting what assessment
results mean is not something that was part of their initial training.
The essence of using data responsibly is knowing
what kind of inferences an assessment is designed to support and what it’s
not. This involves having you and your colleagues develop a shared
vocabulary.
Concepts such as measurement
error, reliability, and validity can help you explain your level of
comfort with any conclusion that someone might want to draw from a particular
set of results.
For example, if you’re in a small school and you see
an increase in average test performance from one year to the next, it’s
important to be cautious before jumping to conclusions about what that
increase means.
If there’s only 15 students taking the test one year
and then 13 the next, the score of any one student can have a large impact on
the average. This lower the reliability of the estimate of average
performance. And to be responsible users of data, it’s important to take this
into consideration.
There are, of course, several challenges to building
assessment literacy. For example, some schools do not have the expertise in
house and need to find support outside their building for teaching assessment
literacy concepts. Other schools find that is overwhelming to build
assessment literacy for all assessments at once and choose to sprinkle
literacy throughout the improvement process as needed. Still, others find an
initial resistance among some teachers because focusing on assessment reports
can feel like a distraction from the real work that they want to do.
It’s important not to stall out at Step 2 because,
as you get deeper into the improvement process, the work becomes more
engaging and more relevant to teachers.
And when this happens, the need to develop
assessment literacy becomes more compelling for everyone.
Kathryn Parker
Boudett
|
La fase de Preparación del Proceso de Mejora de Data
Wise está diseñada para ofrecer una base sólida para la investigación
colaborativa. Se compone de dos pasos.
El primer paso, como lo mencionamos anteriormente,
implica establecer equipos y programas que respalden la colaboración,
establecer el tono para asegurar que la colaboración sea efectiva y realizar
inventario.
En el paso 2 – Desarrollar Conocimiento de la
Evaluación – usted y sus colegas profundizan en sus inventarios de datos y
desarrollan habilidades que necesitarán para entender las evaluaciones allí
anotadas.
Construir Conocimiento en Evaluación es importante
porque asegura que tendrán la formación que necesitan para dar el paso hacia
la fase de investigación.
Antes de empezar a hablar sobre conocimiento de
evaluación, quiero dejar claro que entiendo por “evaluaciones”.
Algunas de las evaluaciones de su inventario de datos
pueden ser exámenes externos de gran importancia. Otras pueden ser exámenes
que se hacen durante el año para evaluar el progreso en los aprendizajes
esperados/clave. Y no olvidemos otros tipos de tareas de escritura, de habla,
o solución de problemas que los profesores desarrollan y evalúan
conjuntamente. Todo esto son evaluaciones.
En Data Wise definimos “evaluaciones” de manera amplia.
Al principio, la Construcción de Conocimiento en Evaluación puede parecer un
prospecto desalentador. Pero si uno lo divide en pasos manejables, se puede
andamiar el trabajo.
Es de mucha ayuda dividir
el trabajo en tres tareas: revisar las habilidades evaluadas, estudiar
cómo se presentan los resultados, y aprender principio de uso responsable de
datos.
Revisar las habilidades evaluadas implica considerar todo el campo de habilidades y conocimiento que quiere que
sus estudiantes aprendan y luego determinar qué parte de este campo puede ser
aclarado mediante las evaluaciones que se están usando.
Por ejemplo, podrían encontrar que en matemáticas una
evaluación les ayuda a medir habilidades informáticas y que otra ayuda a
determinar si los estudiantes poseen la comprensión conceptual que les
permite saber si tienen que sumar, restar, multiplicar o dividir en una
situación particular. Sin embargo podrían encontrar que ninguna de las
evaluaciones que tienen mide adecuadamente una habilidad que es realmente
importante para los estudiantes como el ser capaces de dividir un problema
complejo en pasos manejables. Si este es el caso, cuando den el paso hacia la
Fase
de Investigación, usted y sus compañeros podrían decidir que, para
entender lo que está pasando con el aprendizaje de los estudiantes, necesitan
encontrar una forma de medir esa habilidad.
La tarea siguiente es estudiar cómo se presentan los resultados.
Comencemos con lo simple. ¿Quién va a ser evaluado y
por qué período de tiempo? Tienen que dar a todos la oportunidad de entender
cómo se calculan los resultados. ¿Por medio de puntos? ¿Mediante una escala
de calificaciones? ¿Qué significa exactamente “escala de calificaciones”? o si
están examinando un proyecto indefinido que se evalúa usando una rúbrica, hay
que tomar tiempo para asegurarse de que todos entienden lo que significa cada
nivel de la rúbrica.
También es importante pensar sobre los tipos de
comparaciones que permitirán los resultados.
¿Pueden monitorear los cambios en el rendimiento de un
mismo estudiante a lo largo del tiempo, o pueden comparar diferentes grupos
de estudiantes entre sí? Tienen que tomar tiempo para entender cómo leer los
datos para ser capaces de usarlos en mejorar la enseñanza.
La última tarea importante es aprender principios para el uso responsable
de datos.
Para muchos educadores, interpretar lo que significan
los resultados no es algo que haya sido parte de su formación.
La esencia de usar responsablemente los datos es
conocer qué tipo de inferencias puede respaldar una evaluación y cuáles no.
Esto implica que usted y sus compañeros deben desarrollar un vocabulario
compartido.
Conceptos tales como error de medición, confiabilidad y validez pueden ayudarles a
explicar su nivel de comodidad con cualquier conclusión a la que alguien
quiera llegar partiendo de un conjunto particular de resultados.
Por ejemplo, si están en una escuela pequeña y ven un
incremento en la media de los resultados de los exámenes de un año para otro,
es importante ser precavidos antes de sacar conclusiones acerca del
significado de ese incremento.
Si un año solo hay 15 estudiantes realizando el examen y 13 al siguiente, el
resultado de cualquier estudiante puede tener un gran impacto sobre el
promedio estimado. Esto disminuye la confiabilidad del promedio estimado, y,
para ser usuario responsable de datos, es importante tener esto en
consideración.
Hay, por supuesto, muchas dificultades e la hora de
construir conocimiento en evaluación. Por ejemplo, algunas escuelas no tienen
experiencia interna y necesitan encontrar apoyo externo para enseñar
conceptos sobre la evaluación. Otras escuelas encuentran abrumador construir
conocimiento sobre la evaluación para todas las evaluaciones a la vez y
deciden distribuir el conocimiento de la evaluación a lo largo del proceso de
mejora conforme va siendo necesario. Sin embargo, otras encuentran
resistencia inicial entre algunos profesores dado que concentrarse en los
informes de evaluación puede entenderse como una distracción frente al
trabajo real que ellos quieren hacer.
Es importante no saltarse el Paso 2 porque, a medida
que vayan profundizando en el proceso de mejora, el trabajo se volverá más
significativo para los profesores. Y cuando esto suceda, la necesidad de
desarrollar conocimiento sobre evaluación se volverá más imperiosa para
todos.
|
Kathryn Parker Boudett and Elizabeth A. City are
co-editors (with Richard J. Murname) of Data Wise: A step-by-step Guide to
using Assessment Results to Improve teaching and learning Revised and
expanded Edition (Harvard Education
Press, 2013).
|
|
El siguiente artículo es complementario...
Improving Professional Practice.
All About Accountability / Needed: A dose of Assessment Literacy.
Mejorar la Práctica Profesional.
Todo sobre la Rendición de Cuentas / Nececidad: Una Dosis de Alfabetización en Evaluación.
Fin de la publicación.
Improving Professional Practice.
All About Accountability / Needed: A dose of Assessment Literacy.
Mejorar la Práctica Profesional.
Todo sobre la Rendición de Cuentas / Nececidad: Una Dosis de Alfabetización en Evaluación.
W. James Popham
What most of today’s educators know about education
assessment would fit comfortably inside a kindergartner’s half-filled milk
carton. This is astonishing in light of the fact that during the last 25
years educator competence has been increasingly determined by student
performance on various large-scale examinations. Government agencies typically
administer these exams, unapologetically aiming them at appraising educators’
effectiveness. Yet most teachers and administrators are unfamiliar with how
such large-scale tests are put together or polished. A profession’s adequacy
is being judged on the basis of tools that the profession’s members don’t
understand.
This situation is analogous to asking doctors and
nurses to do their jobs without knowing how to interpret patient charts.
Because health professionals are evaluated according to the longevity and
physical well-being of their patients, you can be certain that those professionals
thoroughly understand how to ascertain a patient’s vital signs. They’re
called vital signs because they’re vital!
Yet hoards of educators carry out their day-to-day
work as though education testing were somehow peripheral to their mission. It
isn’t. Today, more than ever, education, assessment plays a pivotal role in
the education of students, that’s why educators – and everyone else who has
an interest in education – need a dose of assessment
literacy.
It is, of course, understandable why so many of
today’s educators are uninformed about education measurement. What most
teachers and administrators know about education testing harks back to those
days when, as students themselves, they were on the receiving end of
classroom and standardized tests. The few educators who actually do take a
formal course in education assessment often find the course’s content to be
quantitatively intimidating and instructionally irrelevant. Although
typically labeled education assessment,
many graduate courses in measurement have precious little to do with the
realities of education.
When I refer to assessment literacy, I’m not
thinking about a large collection of abstruse notions unrelated to the day-to
day decisions that educators face. On the contrary, assessment-literate
educators need to understand a relatively small number of commonsense
measurement fundamentals, not a stack of psychometric exotica.
Let me illustrate by correcting a misconception that
oodles of educators hold about education measurement, that there’s such a
thing as a valid test. Tests aren’t valid or invalid. Rather, test-based inferences are valid o invalid.
Teachers test their students to arrive at inferences (that is,
interpretations) about those students’ covert skills or knowledge. We can’t
determine a child’s ability to read merely by looking at the child –even
using a magnifying glass – because a youngster’s reading skill is
unobservable. Accordingly, we ask the student to take a reading test to
arrive at an inference regarding the student’s covert reading skill.
Why, you might ask, is it important for educators to
know the validity is a property of a test-based inference rather than of a
test? Well, if a teacher mistakenly believes that validity resides in the
test itself, the teacher will be inclined to defer to whatever results the
“valid test” produces. Assessment-literate educators, however, understand
that education tests merely provide evidence that enables people to make
judgmentally based inferences about students. And most of us know, from far
too many personal foul-ups, that people’s judgments are frequently flawed.
If educators thoroughly understood a dozen
measurement fundamentals, they could knowledgeably deal –as
professionals—with the key assessment-related issues that seem to make
today’s education world spin. For example, teachers should know how to
determine the accuracy of students’ scores on particular standardized tests
and how to exercise the assessment bias that sometimes creeps into
teacher-made tests. An assessment
literacy promulgators, measurement-knowledgeable educators could spread
the word. The truth is, we need piles of such promulgators.
How does an educator who knows little about
assessment master these measurement basics? Fortunately, there are a number
of practical, easy-to-read books about education assessment that have been
published in recent years. Colleges and universities are also offering more
and more education assessment courses that focus on the real-world assessment
needs of both novice and experienced teachers. Fortunately, educators can
master what they need to know about assessment much more rapidly than most
people think.
For assessment-literate educators to behave as true
professionals, however, they need to undertake purposeful promulgation
efforts –with four audiences in mind. First, they need to address educators
themselves. They should initiate a promulgation polka in their own backyard
by pushing for the installation of assessment-related professional
development programs. Next, they need to inform parents of school-age kids
about what education tests can and can’t do, perhaps by preparing for parents
brief take-home explanations of key assessment concepts, such as the
characteristics of a reliable test. Third, everyday citizens –and especially
key policymakers—need an infusion of assessment literacy, dispensed in a way
that makes sense to laypeople. Letters to newspaper editors and appearances
on radio talk shows can help here. Finally, because tests scores so vitally
affect today’s students, why not let students in on what makes education
tests tick? A two-day instructional unit dealing with testing issues from a
student’s perspective would be one way to pull this off. Promulgators of
assessment literacy can reach out to these audiences through their
professional associations, individually, or as part of an ad hoc promulgation
coven.
There is a sincere plea. We are members of a
profession currently buffeted by a test-based tornado that too few of our
members understand. We must get a sufficient number of our colleagues to
learn more about the rudiments of education assessment and, having done so,
communicate what they’ve learned. What we need, in short, is to propagate the
promulgators. And we need to do it sans delay.
W. James Popham is Emeritus Professor in the UCLA
Graduate School of Education and Information Studies
|
Lo que la mayoría de los
educadores de hoy saben sobre la evaluación de la educación fácilmente
llenaría medio bote de leche de Jardín de Niños. Esto es sorprendente a la
luz del hecho de que durante los últimos 25 años la competencia del educador
ha sido cada vez más determinada por el desempeño del estudiante en varios
exámenes a gran escala. Por lo general las agencias gubernamentales
administran estos exámenes, dirigiéndolos a evaluar la efectividad de los
educadores. Sin embargo, la mayoría de los maestros y administradores no
están familiarizados con la forma en que estas pruebas a gran escala estén elaboradas.
La idoneidad de una profesión está siendo juzgada sobre la base de
herramientas que los miembros de la profesión no entienden.
Esta situación es
análoga a pedir a doctores y enfermeras que hagan su trabajo sin saber
interpretar los expedientes de los pacientes. Como los profesionales de la
salud son evaluados de acuerdo con la longevidad y el bienestar físico de sus
pacientes, usted puede estar seguro de que esos profesionales entienden a
fondo como determinar los signos vitales de un paciente. ¡Son llamados signos vitales porque son vitales!
Sin embargo, muchos
educadores llevan a cabo su trabajo cotidiano como si las pruebas educativas
fueran de alguna manera ajenas a su misión. No lo es. Hoy, más que nunca, en
la educación, la evaluación desempeña un papel fundamental en la educación de
los estudiantes, es por eso que los educadores – y todos los que tengan un
interés en la educación – necesitan una dosis de alfabetización en evaluación.
Por supuesto, es
comprensible por qué muchos de los educadores de hoy no están informados
sobre la medición educativa. Lo que la mayoría de los maestros y
administradores saben acerca de las pruebas educativas se remonta a aquellos
días en que, ellos mismos como estudiantes, estaban en los salones de clases
como receptores de pruebas estandarizadas. Los pocos educadores que realmente
toman un curso formal en la evaluación de la educación a menudo encuentran el
contenido del curso ser cuantitativamente intimidante e instruccionalmente
irrelevante. Aunque típicamente etiquetada como evaluación educativa, muchos cursos de posgrado
en medición tienen poco que ver con las realidades de la educación.
Cuando me refiero a la
alfabetización de evaluación, no estoy pensando en una gran colección de
nociones abstrusas (de difícil comprensión) no
relacionadas con las decisiones diarias que enfrentan los educadores. Por el
contrario, los educadores alfabetizados deben entender un número
relativamente pequeño de fundamentos de medición de sentido común, no una
pila de exóticos psicométricos.
Permítanme ilustrar
mediante la corrección de una idea errónea que muchos educadores tienen sobre
la medición de la educación, que hay una “cosa” como una prueba válida. Las
pruebas no son válidas ni inválidas. Más bien, las inferencias basadas en
pruebas son válidas o no válidas. Los maestros examinan a sus estudiantes
para que lleguen a inferencias (es decir, interpretaciones) acerca de las
habilidades o conocimientos escondidos de esos estudiantes. No podemos
determinar la capacidad de un niño para leer solamente mirando al niño –
incluso usando una lupa – porque la habilidad de lectura de un joven es
inobservable. En consecuencia, pedimos al estudiante que realice una prueba
de lectura para llegar a una inferencia con respecto a su habilidad de lectura.
Usted podría preguntarse
¿Por qué es importante que los educadores sepan que la validez es una
propiedad de una inferencia basada en pruebas en lugar de una prueba? Bueno,
si un maestro cree erróneamente que la validez reside en la propia prueba, el
maestro se inclinará a aplazar los resultados que produzca la “prueba
válida”. Sin embargo, los educadores alfabetizados en la evaluación entienden
que las pruebas educativas simplemente proporcionan evidencia que permiten
hacer inferencias basadas en juicios sobre los estudiantes. Y la mayoría de
nosotros sabemos, más allá de las muchas fallas personales, que los juicios
de la gente son con frecuencia defectuosos.
Si los educadores
entendieran a fondo una docena de fundamentos de medición, podrían lidiar con
conocimientos –como profesionales— con las cuestiones clave relacionadas con
la evaluación que parecen hacer girar el mundo de la educación de hoy. Por
ejemplo, los maestros deben saber cómo determinar la exactitud de las
puntuaciones de los estudiantes en determinadas pruebas estandarizadas y cómo
ejercer el sesgo de evaluación que a veces se arrastra en las pruebas
realizadas por el profesor. Conocedores en la alfabetización en evaluación con
conocimientos de medición podrían divulgar la palabra. La verdad es que
necesitamos muchos de esos divulgadores.
¿Cómo un educador con
poco conocimiento sobre evaluación domina estos fundamentos de medición?
Afortunadamente, hay una serie de libros prácticos y fáciles de leer sobre la
evaluación de la educación que se han publicado en los últimos años. Los
colegios y universidades también están ofreciendo más y más cursos sobre
evaluación educativa que se centran en las necesidades de evaluación del
mundo real de los profesores principiantes y experimentados. Afortunadamente,
los educadores pueden dominar lo que necesitan saber sobre la evaluación
mucho más rápido de lo que la mayoría de la gente piensa.
Sin embargo, para que
los educadores alfabetizados en evaluación se comporten como verdaderos
profesionales, deben emprender esfuerzos de divulgación intencional con
cuatro audiencias en mente. En primer lugar, deben dirigirse a los propios
educadores, deben iniciar una ronda de divulgación en su ambiente presionando
para la instalación de programas de desarrollo profesional relacionados con
la evaluación. A continuación, deben informar a los padres de los niños en
edad escolar acerca de lo que las pruebas educativas pueden y no pueden
hacer, quizás preparando para los padres explicaciones breves de los
conceptos clave de la evaluación, tales como las características de una
prueba confiable. En tercer lugar, los ciudadanos comunes –y especialmente
los legisladores—necesitan una dosis de alfabetización de evaluación,
dispensada de manera que tenga sentido para los no especialistas. Las cartas
a los editores de los periódicos y las apariciones en programas de radio
pueden ayudar a esto. Por último, debido a que las puntuaciones de las
pruebas afectan de manera importante a los estudiantes ¿por qué no involucrar
a los alumnos en lo que las pruebas educativas valoran? Una unidad
instructiva de dos días que se ocupe de los problemas de pruebas desde la
perspectiva de un estudiante sería una manera de avanzar en esto. Los
divulgadores de la alfabetización evaluativa pueden llegar a estos públicos a
través de sus asociaciones profesionales, o como parte de un grupo formado a
propósito.
Hay una súplica sincera.
Somos miembros de una profesión actualmente golpeada por un tornado basado en
pruebas que muy pocos de nuestros miembros entienden. Debemos hacer que un
número suficiente de nuestros colegas aprenda más acerca de los principios
básicos de la evaluación educativa y, habiendo hecho esto, comuniquen lo que
han aprendido. Lo que necesitamos, en definitiva, es propagar los
divulgadores. Y necesitamos hacerlo sin demora.
W. James Popham es
Profesor Emérito en la Escuela de Graduados de Educación y Estudios de
Información de la UCLA.
|
POPHAM, James W. (March, 2006). All about Accountability / Needed: A Dose of Assessment Literacy. Improving Professional Practice. In
Educational Leadership. Volume 63, Number 6. Retrieved at http://www.ascd.org/publications/educational-leadership/mar06/vol63/num06/Needed@-A-Dose-of-Assessment-Literacy.aspx
|
|
Fin de la publicación.
No hay comentarios.:
Publicar un comentario