Las evaluaciones del programa tienen lugar en casi todos los entornos comerciales. Una evaluación del programa es esencialmente un desglose cuantitativo de la evaluación de un programa a través de seguimiento, encuestas, grupos focales o evaluaciones o estadísticas del programa. Los resultados se pueden compartir con miembros de la junta, accionistas, inversores o clientes. La presentación concisa de los hechos y las cifras es la clave para transmitir con éxito esta información a las partes interesadas.
Considere su audiencia y lo que los resultados significarán para ellos. Es posible que deba alterar su estrategia de comunicación en función de a quién está presentando sus hallazgos. Por ejemplo, supongamos que ha compilado estadísticas sobre la efectividad de un programa de recompensas de servicio al cliente en función del número de nuevas personas inscritas en el programa. Si está presentando resultados de evaluación a los empleados de una división de contabilidad, estarán más interesados en el costo de inscripción por cliente y la ganancia financiera resultante; Una división de marketing, por otro lado, estará más interesada en cuál de sus estrategias de marketing atrajo al mayor número de clientes.
Prepare una descripción escrita. Lidere con un resumen narrativo de sus hallazgos escritos en un lenguaje fácil de entender. Incluya detalles sobre la metodología utilizada para realizar la evaluación y el margen de error. Siga la narración con un desglose de la hoja de cálculo de los resultados de la comunicación de su programa. Use las categorías más pertinentes para su programa individual. Si presenta los resultados de su evaluación a numerosas partes, codifique las categorías pertinentes a cada grupo para una fácil referencia o cree gráficos fáciles de leer. Si se presenta a una junta de revisión formal o un Comité de Supervisión Financiera, como los revisores de la administración de subvenciones, adjunta materiales de antecedentes pertinentes o documentos de investigación que describen cómo se realizó y contó la evaluación del programa.
Desarrolle una presentación de PowerPoint basada en su descripción escrita. Cambie la información en su narrativa escrita a los aspectos más destacados de la bala. Cree una diapositiva diferente para cada categoría en su análisis, y si utilizó la codificación de colores para diferenciar la información en su informe escrito, use el mismo sistema de código de color en sus materiales de PowerPoint.
Establezca un tiempo para presentar los resultados de su evaluación a las partes interesadas. Distribuya sus materiales escritos como referencia y proporcione una descripción verbal del programa y su técnica de evaluación.
Use su presentación de PowerPoint para acompañar a los miembros de la audiencia a través de los resultados. Explique los hallazgos en cada categoría y lo que significan para el programa y la empresa. Si estuviera buscando ciertos resultados que indiquen una necesidad de cambio dentro del programa, señale los marcadores como parte de su presentación.
¿Cómo se informa a los padres del proceso y resultado de la evaluación?
La mayoría de las evaluaciones, en algún momento del proceso, implican recopilar información de individuos. El equipo de evaluación debe tener mucho cuidado para proteger los derechos y la privacidad de estas personas y garantizar que sean tratados con respeto.
Imagine que fue contactado para participar en una evaluación. Antes de acordar participar, probablemente esperaría que el evaluador proporcione información sobre cosas como el propósito de la evaluación y lo que se esperaría de usted. Si el evaluador no le brindara esta información, probablemente se sentiría incómodo y se negaría a participar.
Ser abierto y honesto sobre el proceso de evaluación no solo es ético, sino que también establece confianza entre los participantes y el equipo de evaluación. Esta confianza, a su vez, ayuda al proceso a funcionar sin problemas y genera resultados más efectivos. En consecuencia, salir del pie derecho respetando el tiempo, la privacidad y la confidencialidad de los participantes es de suma importancia. La protección de los derechos de los participantes incluye cosas como informar a los participantes sobre la confidencialidad de la información y dar a los participantes la capacidad de retirarse de la evaluación en cualquier momento.
Es responsabilidad del evaluador comunicarse claramente con los participantes y asegurarse de que entiendan:
- El propósito del estudio
- Lo que implica la participación en términos de tiempo, esfuerzo, etc.
- Cualquier posible riesgo de participación (para su salud o bienestar)
- cómo se informará cualquier información asociada con ellos
- confidencialidad con respecto al acceso a los resultados de la evaluación
Tenga en cuenta: si se recopila o informa información de identificación sobre las personas que participan en la evaluación, se requiere que el evaluador obtenga su consentimiento informado.
¿Cómo se debe comunicar los resultados de una evaluación?
Esta publicación de blog resume algunas herramientas, métodos y consejos excelentes para mejorar sus informes de comunicación y evaluación. Se basa en dos sesiones de conferencias a las que asistí recientemente, una en la European Evaluation Society a principios de octubre de 2012 y otra en la Asociación de Evaluación Americana que tiene lugar en este momento en Minneapolis.
La cuestión de cómo podemos comunicarnos mejor con los usuarios previstos de nuestras evaluaciones es una consideración extremadamente importante para un proceso evaluativo, pero afortunadamente debido a la miríada de herramientas disponibles gratuitamente para nosotros ahora, no tiene que ser un experto en comunicación para Haz un gran impacto.
En el marco de BetterEvaluation, nos referimos a esta tarea como el desarrollo de los medios de comunicación. Ya tenemos muchos buenos consejos en esta página, pero pronto se actualizaremos con las nuevas cosas resaltadas en este blog y la (con suerte) discusión.
Uno de mis aspectos más destacados de la 10 conferencia bianual de la Sociedad Europea de Evaluación fue una presentación dada por Glenn O’Neil (OWL RE) sobre comunicar los hallazgos de la evaluación. Glenn es un especialista en comunicación convertido en evaluador, por lo que no solo está muy calificado para hablar de esto, sino que también es un muy buen presentador, lo cual es bastante refrescante y aterradoramente raro.
Lo que más valoré de la presentación de Glenn fue la simplicidad y la practicidad. Presentó 7 nuevas formas de comunicar los hallazgos (que publicó útilmente en su blog, gracias Glenn):
- Hojas de resumen, informes de investigación o resúmenes de políticas como algunos los llaman. Es mucho más leído un documento más corto que el informe completo. (Consulte aquí para obtener orientación de mejoramiento sobre resúmenes ejecutivos e informes amistosos).
¿Qué hacemos con los resultados de las evaluaciones de los estudiantes?
Las evaluaciones de estudiantes de fin de semestre proporcionan información útil sobre las percepciones de los estudiantes sobre el curso y el instructor. Los comentarios de los estudiantes pueden informar los cambios a hacer en su curso para mejorar el aprendizaje de los estudiantes.
- Informe a los estudiantes que se preocupa por su progreso académico y les diga qué cambios realizó a lo largo de los años debido a las evaluaciones de los estudiantes.
- Considere realizar una evaluación de mediados de semestre o un grupo de enfoque estudiantil para demostrar que se preocupa por los comentarios de los estudiantes y ajustar algunos elementos del curso antes de las evaluaciones de fin de semestre.
- Reserve el tiempo de clase para administrar la evaluación. Esto es esencial porque las evaluaciones generalmente se consideran válidas si el 80% o más de los estudiantes responden. Si está utilizando una evaluación en línea, considere programarla en un día en que esté en un laboratorio de computación. Se tarda unos 20 minutos en administrar una evaluación de estudiantes.
- Considere administrar evaluaciones de fin de semestre una semana antes de las finales. Los estudiantes cuidarán más con una evaluación si no están abrumados por otras tareas.
- Considere devolver una tarea importante una o dos semanas antes de administrar las evaluaciones. Los estudiantes deben alinear su comprensión del curso con su evaluación de su trabajo. También necesitan algo de tiempo para reflexionar con calma sobre los comentarios. Luego, los estudiantes podrán informar de manera efectiva en sus evaluaciones sobre cuánto aprendieron en el curso.
- Mire el número de estudiantes que completaron las evaluaciones. Si menos de diez estudiantes completaron las evaluaciones, los resultados no son lo suficientemente confiables como para llegar a conclusiones. Considere combinar las calificaciones en los semestres y buscar tendencias año tras año, en lugar del semestre en el semestre.
- Revise la calificación media, así como el rango, la mediana y/o la desviación estándar (si se proporciona). Dependiendo del tamaño de la clase, la media podría verse afectada por valores atípicos. Mire el rango de clasificaciones y la mediana, o la calificación media, para ayudar a eliminar ese efecto. También puede observar la desviación estándar — en una escala de cinco puntos, una desviación estándar inferior a una indica un acuerdo razonablemente bueno entre sus alumnos. Si es más alto, había menos acuerdo.
- Identifique los tres puntajes más altos y más bajos. Use los puntajes medios si no se proporcionan normas departamentales o universitarias. ¿Qué te dicen estos puntajes sobre lo que salió bien en la clase? ¿Qué necesita mejorar?
- Habiendo identificado áreas cruciales de interés al observar los puntajes numéricos, escriba tres preguntas que tenga sobre el curso. Lea los comentarios escritos de los estudiantes y determine lo que tienen que decir sobre esas preguntas. Use las puntuaciones numéricas para identificar el tenor de la clase; Use los puntajes escritos para identificar los detalles de la situación.
- Identificar quejas específicas y, utilizando el plan de estudios, las tareas y las evaluaciones, determine si la queja está justificada. Si es así, identifique qué pasos puede tomar para abordar la debilidad.
- Si hay una o dos declaraciones hirientes, ignóralas. ¡Todos obtienen uno o dos de estos!
- Guarde los comentarios positivos largos y significativos e incorpéngalos en su declaración de enseñanza. ¡Pega tus favoritos junto a tu computadora para mantenerte inspirado!
- Los puntajes bajos en la relación de maestros alumnos a menudo se pueden abordar aprendiendo nombres de los estudiantes, teniendo claros los criterios de calificación, el uso de aprendizaje activo, que requieren que los estudiantes visiten las horas de su oficina y charlen con los estudiantes antes y después de la clase.
- Los puntajes bajos en la organización del curso a menudo se pueden abordar examinando el programa de estudios y los criterios de calificación, determinando si las asignaciones de cursos y los objetivos de clase están alineados, mejorando la preparación durante las conferencias o actividades de clase, y entregando tareas y evaluaciones graduadas antes.
- Los puntajes bajos sobre el conocimiento del instructor a menudo se pueden abordar haciendo que su conocimiento de contenido sea más visible para los estudiantes (es decir, incorporando su investigación o intereses de contenido en el curso) y mejorando su presentación del material (es decir, practicar conferencias de antemano, tener materiales y tecnología listos).
- Los consultores de instrucción leen muchas evaluaciones de los estudiantes y pueden ayudarlo a poner sus puntajes en perspectiva. Además, un consultor profesional puede ayudar a hacer una lluvia de ideas para abordar puntajes más bajos.
- Leer comentarios escritos sobre uno mismo es siempre difícil. Un consultor profesional puede ayudarlo a leerlos desapasionadamente.
¿Cuando hablamos de comunicar a los estudiantes en que van a ser evaluados y los criterios de evaluación?
Para muchos educadores, el final del año escolar está cerca, lo que incluye navegar cómo comunicar mucha información con los padres y otros cuidadores.
Los maestros de secundaria se encuentran en medio de procesos como pruebas estatales, elegibilidad de graduación y clases de pronóstico para el próximo año. Los maestros de secundaria y primaria están buscando la transición de los estudiantes al siguiente nivel de grado, y parte de ese proceso incluye observar los indicadores de matemáticas y lectura.
Este es un momento tan bueno como cualquier otro para revisar qué y cómo nos comunicamos con nuestros estudiantes, así como con las personas importantes en sus vidas. Queremos asegurarnos de intercambiar información de prueba (y mucho más) con nuestros estudiantes y sus seres queridos, no con ellos.
A menudo les cuento a mis alumnos sobre mis experiencias en la escuela. Luché con la motivación, la perseverancia y el compromiso. Por lo general, eso resultaría en que la escuela llegue a mis padres. Siempre temía la llamada telefónica a casa y sucedía con más frecuencia de lo que me gusta admitir.
Queremos asegurarnos de intercambiar información de prueba (y mucho más) con nuestros estudiantes y sus seres queridos, no con ellos.
Una razón para el temor: con demasiada frecuencia, la llamada era sobre mis déficits y no se escuchó mi voz. Por lo general, se trataba de una puntuación de prueba baja, una mala calificación o alguna tarea faltante. Se contaba información; Mis padres y yo no fuimos partes interesadas en el proceso.
Más que eso, incluso si tuviera la oportunidad de comunicarme sobre algo relacionado con la escuela, no sabía cómo hablar sobre mis problemas en la escuela. Y por el contrario, mis padres no sabían cómo discutir la escuela conmigo que no sea un Grado A – F o un puntaje particular en una prueba.
¿Cómo comunicar el resultado de la evaluación a los alumnos?
Los pasos finales del ciclo de evaluación implican informar los resultados de la evaluación y, lo más importante, usar esos resultados para hacer cambios programáticos para mejorar el aprendizaje de los estudiantes. Durante estos pasos del proceso, deberá considerar preguntas como:
- ¿Cómo se pueden comunicar los resultados de la evaluación de una manera clara, concisa, convincente y útil?
- Si los resultados de la evaluación son positivos, ¿cómo deben ser difundidos y utilizados?
- Si los resultados de la evaluación son negativos, ¿cómo deben ser difundidos y utilizados?
- Una vez que se ha realizado un cambio programático en función de los resultados de la evaluación, ¿cómo sabemos si este cambio fue una mejora?
Al comunicar los resultados de la evaluación, el objetivo principal siempre debe ser alentar la acción. En este sentido, los resultados tienen la mejor oportunidad de ser utilizados cuando 1) cuentan una historia significativa, 2) son claros, concisos y convincentes, y 3) abordan adecuadamente las críticas razonables. Las pautas generales a continuación se adaptaron del libro de Linda Suskie, Evaluing Student Learning (2010). Para obtener más información sobre estas y otras consideraciones para informar los resultados de la evaluación, lea el capítulo titulado «Compartir resultados de evaluación con audiencias internas y externas».
- ¿Cómo se pueden comunicar los resultados de la evaluación de una manera clara, concisa, convincente y útil?
- Si los resultados de la evaluación son positivos, ¿cómo deben ser difundidos y utilizados?
- Si los resultados de la evaluación son negativos, ¿cómo deben ser difundidos y utilizados?
- Una vez que se ha realizado un cambio programático en función de los resultados de la evaluación, ¿cómo sabemos si este cambio fue una mejora?
La visualización de datos se refiere a la conversión de fuentes de datos en representaciones visuales. Las visualizaciones pueden variar desde tablas y gráficos simples, hasta infografías más complejas y medios interactivos. Las buenas visualizaciones de datos permiten la comunicación de los resultados de la evaluación de una manera más intuitiva y más convincente que los medios tradicionales. Al facilitar que las partes interesadas obtengan información importante de los datos, aumentamos las posibilidades de que los resultados se discutan y usen.
¿Cuáles son los criterios para la evaluación?
El espíritu con el que se evalúan los protocolos se guía por los principios establecidos en el informe de Belmont. Los tres principios éticos básicos incluyen (de OHRP):
1. Respeto por las personas: el respeto por las personas incorpora al menos dos condenas éticas: primero, que los individuos deben ser tratados como agentes autónomos y, segundo, que las personas con autonomía disminuida tienen derecho a protección. El principio de respeto por las personas se divide en dos requisitos morales separados: el requisito de reconocer la autonomía y el requisito de proteger a las personas con una autonomía disminuida.
2. Beneficio: las personas son tratadas de manera ética no solo al respetar sus decisiones y protegerlas del daño, sino también haciendo esfuerzos para asegurar su bienestar. Tal tratamiento está bajo el principio de beneficencia. A menudo se entiende que el término «beneficencia» cubre actos de bondad o caridad que van más allá de la obligación estricta. En este documento, la beneficencia se entiende en un sentido más fuerte, como una obligación. Se han formulado dos reglas generales como expresiones complementarias de acciones benéficas en este sentido: (1) no dañe y (2) maximice posibles beneficios y minimicen posibles daños.
3. Justicia: ¿quién debe recibir los beneficios de la investigación y soportar sus cargas? Esta es una cuestión de justicia, en el sentido de «equidad en la distribución» o «lo que se merece». Se produce una injusticia cuando se niega algún beneficio al que tiene derecho una persona sin una buena razón o cuando se impone una carga indebida. Otra forma de concebir el principio de justicia es que se debe tratar por igual. Es necesario, entonces, explicar en qué aspectos las personas deben tratarse por igual. Hay varias formulaciones ampliamente aceptadas de solo formas de distribuir cargas y beneficios. Cada formulación menciona algunas propiedades relevantes sobre la base de las cuales se deben distribuir cargas y beneficios. Estas formulaciones son (1) para cada persona una participación igual, (2) a cada persona de acuerdo con la necesidad individual, (3) a cada persona de acuerdo con el esfuerzo individual, (4) a cada persona de acuerdo con la contribución social y (5) a cada persona según el mérito.
Artículos Relacionados:
