- Interpretación de la información de confiabilidad de los manuales y revisiones de la prueba
- Tipos de estimaciones de confiabilidad
- Error estándar de medición
- Validez de prueba
- Métodos para realizar estudios de validación
- Uso de evidencia de validez de estudios externos
- Cómo interpretar la información de validez de los manuales de prueba y las revisiones independientes.
Principios de evaluación discutidos
Utilice solo instrumentos y procedimientos de evaluación confiables.
Use solo los procedimientos de evaluación e instrumentos que se han demostrado que son válidos para el propósito específico para el cual se están utilizando.
Utilice herramientas de evaluación que sean apropiadas para la población objetivo.
- Interpretación de la información de confiabilidad de los manuales y revisiones de la prueba
- Tipos de estimaciones de confiabilidad
- Error estándar de medición
- Validez de prueba
- Métodos para realizar estudios de validación
- Uso de evidencia de validez de estudios externos
- Cómo interpretar la información de validez de los manuales de prueba y las revisiones independientes.
¿Cómo contabilizamos a un individuo que no obtiene exactamente el mismo puntaje de prueba cada vez que él o ella toma la prueba? Algunas razones posibles son las siguientes:
- Interpretación de la información de confiabilidad de los manuales y revisiones de la prueba
- Tipos de estimaciones de confiabilidad
- Error estándar de medición
- Validez de prueba
- Métodos para realizar estudios de validación
- Uso de evidencia de validez de estudios externos
- Cómo interpretar la información de validez de los manuales de prueba y las revisiones independientes.
Las herramientas de evaluación confiables producen información confiable, repetible y consistente sobre las personas. Para interpretar de manera significativa los puntajes de las pruebas y tomar un empleo útil o decisiones relacionadas con la carrera, necesita herramientas confiables. Esto nos lleva al siguiente principio de evaluación.
¿Qué es la confiabilidad de la prueba?
- Formas paralelas Fiabilidad
- Consistencia de decisión
A continuación intentamos explicar todo esto con un ejemplo.
Para estimar la confiabilidad de prueba-retest, un solo grupo de examinados realizará el proceso de prueba con solo unos días o semanas de diferencia. El tiempo debe ser lo suficientemente corto como para que se puedan evaluar las habilidades del examen en el área. La relación entre los puntajes del examinado de dos administraciones diferentes se estima a través de la correlación estadística. Este tipo de confiabilidad demuestra la medida en que una prueba puede producir puntajes estables y consistentes a lo largo del tiempo.
Muchos exámenes tienen múltiples formatos de documentos de preguntas, estas formas paralelas de examen proporcionan seguridad. La fiabilidad de los formularios paralelos se estima administrando ambas formas del examen al mismo grupo de examinados. Las puntuaciones del examen en los dos formularios de prueba están correlacionados para determinar qué tan similar funcionan los dos formularios de prueba. Esta estimación de confiabilidad es una medida de cómo se pueden esperar los puntajes de los examinados consistentes entre los formularios de prueba.
Después de hacer una confiabilidad de prueba y una confiabilidad de formulario paralelo, obtendremos el resultado de los examinados que pasan o faltan. La fiabilidad de esta decisión de clasificación se estima en la confiabilidad de consistencia de la decisión.
Se requiere una evaluación exhaustiva de la confiabilidad para mejorar el rendimiento de los productos y procesos de software. La confiabilidad del software de prueba ayudará a los gerentes y profesionales de software en gran medida.
¿Cómo se mide la confiabilidad de una prueba?
Tener una buena confiabilidad de re-prueba de prueba significa la validez interna de una prueba y asegura que las mediciones obtenidas en una sola sesión sean representativas y estables con el tiempo. A menudo, los análisis de confiabilidad de la prueba de prueba se realizan en dos puntos de tiempo (T1, T2) durante un período de tiempo relativamente corto, para mitigar las conclusiones debido a los cambios relacionados con la edad en el rendimiento, en oposición a la mala estabilidad de la prueba.
Sin buena confiabilidad, es difícil para usted confiar en que los datos proporcionados por la medida son una representación precisa del rendimiento del participante en lugar de debido a artefactos irrelevantes en la sesión de prueba, como procesos ambientales, psicológicos o metodológicos.
A menudo, su objetivo en la investigación será evaluar el impacto de una intervención en el desempeño de un individuo. Sin la confianza que la medida que ha elegido es confiable, es difícil determinar si las diferencias en el rendimiento antes y después de la intervención se deben genuinamente a la intervención proporcionada y no a un artefacto de la herramienta.
Por lo tanto, una herramienta con baja confiabilidad puede enmascarar los verdaderos efectos de una intervención, lo que podría tener ramificaciones graves en las conclusiones extraídas y, por lo tanto, la progresión futura de esa intervención.
Tradicionalmente, el enfoque para evaluar la confiabilidad de los puntajes ha sido determinar la magnitud de la relación entre las estadísticas de prueba. Por lo tanto, si una herramienta de medición produce consistentemente el mismo resultado, la relación entre esos puntos de datos sería alta.
¿Qué es la confiabilidad de una prueba psicológica?
La fiabilidad test-retest es una medida de la consistencia de una prueba o evaluación psicológica. Este tipo de confiabilidad se utiliza para determinar la coherencia de una prueba a lo largo del tiempo. La confiabilidad Test-Retest se usa mejor para cosas que son estables con el tiempo, como la inteligencia.
La fiabilidad de prueba-retratación se mide administrando una prueba dos veces en dos momentos diferentes. Este tipo de confiabilidad supone que no habrá cambios en la calidad o la construcción medida.
En la mayoría de los casos, la confiabilidad será mayor cuando haya pasado poco tiempo entre las pruebas.
El método de prueba de prueba es solo una de las formas en que se puede utilizar para determinar la confiabilidad de una medición. Otras técnicas que se pueden utilizar incluyen confiabilidad entre evaluadores, coherencia interna y confiabilidad de formas paralelas.
Es importante tener en cuenta que la fiabilidad test-retest se refiere solo a la consistencia de una prueba, no necesariamente a la validez de los resultados.
Este tipo de confiabilidad se evalúa al tener dos o más jueces independientes que evaluaron la prueba. Los puntajes se comparan para determinar la coherencia de las estimaciones de los evaluadores.
Una forma de probar la confiabilidad entre evaluadores es que cada evaluador verifica cada elemento de prueba una puntuación. Por ejemplo, cada evaluador puede asignar elementos en una escala del 1 al 10. Por lo tanto, la correlación entre las dos clasificaciones se calcula para determinar el nivel de confiabilidad entre los evaluadores.
¿Qué es la confiabilidad y cómo se mide?
Como se describió anteriormente, los puntajes observados consisten en el valor verdadero ± el componente de error. Dado que no es posible conocer el verdadero valor, la verdadera confiabilidad de cualquier prueba no es calculable. Sin embargo, se puede estimar, en función del concepto de varianza estadística, es decir, una medida de la variabilidad de las diferencias entre las puntuaciones dentro de una muestra. Cuanto mayor sea la dispersión de los puntajes, mayor será la varianza; Cuanto más homogéneas son las puntuaciones, menor es la varianza.
Desafortunadamente, el concepto de confiabilidad es complejo, con menos de la teoría estadística directa «en blanco y negro» que rodea las pruebas de hipótesis. Al probar una hipótesis de investigación, hay pautas claras para ayudar a los investigadores y médicos a decidir si los resultados indican que la hipótesis puede ser respaldada o no. En contraste, la decisión de si una herramienta o método de medición particular es confiable o no es más abierta a la interpretación. La decisión de tomarse es si
Este documento ha intentado explicar el concepto de confiabilidad y describir algunas de las estimaciones comúnmente utilizadas para cuantificarlo. Los puntos clave a tener en cuenta sobre la confiabilidad se resumen en el panel a continuación. La confiabilidad no debe concebirse necesariamente como una propiedad que un instrumento o medidor en particular posee o no. Cualquier instrumento tendrá un cierto grado de confiabilidad cuando se aplique a ciertas poblaciones bajo ciertas condiciones. El problema a abordar es qué nivel de
¿Cómo se evalúa la confiabilidad?
Las técnicas de evaluación de confiabilidad han parecido numerosas durante décadas. En la década de 1970, se presentaron los principales modelos científicos de largo alcance, primero por calidad que no vacilaba con el tiempo, y luego, para la confiabilidad de la transmisión. Los modelos de investigación de confiabilidad de la edad se han creado ampliamente, pero las estrategias del marco de transmisión de calidad inquebrantable no se han debido a los enormes problemas computacionales relacionados con el análisis de confiabilidad de la transmisión. Este capítulo incluye la evaluación de confiabilidad del sistema de energía de marea en términos del modelo de distribución de falla, modelo de falla dependiente del tiempo y modelo de tasa de falla constante. El teorema de Bayes, la medida de Birnbaum y la evaluación de la evaluación del análisis de confiabilidad basada en el valor de Birnbaum también se presentan en este capítulo. La evaluación de riesgos adicional y la tasa de falla del sistema de energía de las mareas se analizan mediante análisis de árboles de fallas.
Se implementa un procedimiento de evaluación de confiabilidad basado en formularios en el espacio variable normal, y las variables se consideran estadísticamente independientes. En general, cualquier variable no normal no puede transformarse en una variable normal en el rango de la variable. Para un ejemplo, una variable lognormal, válida de cero a más infinito, no puede transformarse en una variable normal válida entre menos a más infinito. Sin embargo, sin cambiar la característica básica de un RV de dos parámetros, se pueden imponer dos condiciones. Rackwitz y Fiessler (1976) sugirieron que el PDF y el CDF de una variable no normal y una variable normal equivalente deben ser iguales en el punto de verificación. Las dos condiciones se pueden expresar como
donde φ () y ϕ () son CDF y PDF de la variable normal estándar, respectivamente. Las funciones FXI (XI ∗) y FXI (XI ∗) representan el CDF y PDF de las variables no normales originales en el punto de verificación Xi ∗, respectivamente. Para una discusión adicional sobre el tema, consulte el estudio de Haldar y Mahadevan (2000a). También es importante tener en cuenta que todas las variables en la formulación también deben ser estadísticamente independientes entre sí. Si no lo son, deben cambiarse como se discutió brevemente más adelante.
La evaluación de confiabilidad utilizando el formulario es un procedimiento iterativo. El procedimiento originalmente propuesto por Rackwitz y Fiessler (1978), mejorado por Ayyub y Haldar (1984), se puede implementar con la ayuda de los siguientes pasos.
Paso 1: las LSE apropiadas deben definirse al inicio de cualquier análisis de riesgos.
¿Cómo se mide la confiabilidad de un instrumento?
La confiabilidad en los instrumentos de evaluación no es diferente a la confiabilidad en otros instrumentos utilizados en la ciencia, e incluso en la informática. Por ejemplo, tomemos otro instrumento que usamos con bastante frecuencia para decidir qué usar todos los días: el termómetro. Cuando se diseña y luego se produce un termómetro, como consumidor, queremos que el termómetro mida con precisión la temperatura cada día. En la computación, cuando ingresamos una URL en nuestro navegador, queremos que el navegador devuelva el sitio correcto para esa URL en particular. En ambos casos, queremos que nuestro instrumento (o herramienta) sea confiable.
Para los instrumentos de evaluación, la confiabilidad es una medida de la consistencia y estabilidad de los resultados de los participantes. Responde a la pregunta «¿Este instrumento produce resultados repetibles?» Si usted es un maestro, sabe que crear una prueba para evaluar el conocimiento de los estudiantes sobre los bucles o declaraciones condicionales puede llevar mucho tiempo. Desea asegurarse de que la prueba o el cuestionario midan el mismo conocimiento para cada estudiante que la tome.
Podemos medir los instrumentos de confiabilidad de varias maneras. Los resultados de una o más medidas proporcionan evidencia de confiabilidad para el instrumento.
La confiabilidad de consistencia interna refleja la consistencia de los resultados de un instrumento o una prueba. Ayuda a garantizar que los diversos elementos que midan diferentes construcciones ofrecen puntajes consistentes en esos elementos. Por ejemplo, suponga que está creando una prueba de opción múltiple, y tres de las preguntas están diseñadas para medir una construcción, mientras que los bucles. Si su prueba tuviera una confiabilidad de consistencia interna 100% y si un estudiante entiende mientras buce, entonces las tres respuestas serían respondidas correctamente. Si no entendieran mientras los bucles, las tres respuestas serían respondidas incorrectamente.
Si tiene un conjunto de 6 elementos de escala Likert que están diseñados para medir la autoeficacia de los estudiantes que estudian la programación por primera vez y todos los elementos se indicaron en lo positivo («Estoy seguro de que puedo aprender programación» en lugar de «No estoy seguro de que puedo aprender programación»), entonces los estudiantes no responderían «totalmente de acuerdo» en tres elementos y «totalmente en desacuerdo» en los otros tres. Una prueba de consistencia interna, como la α de Cronbach (la letra griega alfa), indicaría que las tres preguntas «totalmente en desacuerdo» deben eliminarse del instrumento.
Artículos Relacionados:
