Después de que los elementos del cuestionario nuevo o traducido pasan a través de pruebas piloto preliminares y revisiones posteriores, es hora de realizar una prueba piloto entre los encuestados previstos para la validación inicial. En esta prueba piloto, la versión final del cuestionario se administra a una gran muestra representativa de encuestados para quienes está destinado el cuestionario. Si la prueba piloto se realiza para muestras pequeñas, los errores de muestreo relativamente grandes pueden reducir la potencia estadística necesaria para validar el cuestionario. [2]
La confiabilidad de un cuestionario puede considerarse como la consistencia de los resultados de la encuesta. Como el error de medición está presente en el muestreo de contenido, los cambios en los encuestados y las diferencias entre los evaluadores, la consistencia de un cuestionario puede evaluarse utilizando su consistencia interna, confiabilidad de prueba-retratación y confiabilidad entre evaluadores, respectivamente.
La consistencia interna refleja la medida en que los elementos del cuestionario están intercorrelacionados, o si son consistentes en la medición de la misma construcción. La consistencia interna se estima comúnmente utilizando el coeficiente alfa, [29] también conocido como alfa de Cronbach. Dado un cuestionario X, con k número de elementos, el alfa (α) se puede calcular como:
Dónde, es la varianza del ítem I, y es la varianza total del cuestionario.
El alfa de Cronbach varía de 0 a 1 (cuando algunos ítems se correlacionan negativamente con otros elementos en el cuestionario, es posible tener valores negativos del alfa de Cronbach). Cuando los elementos de puntaje inverso no tienen una puntuación inversa, se puede remediar fácilmente calificando correctamente los elementos. Sin embargo, si el alfa de un Cronbach negativo todavía se obtiene cuando todos los elementos se califican correctamente, hay serios problemas en el diseño original del cuestionario), con valores más altos que indican que los elementos están más fuertemente interrelacionados entre sí. El α = 0 de Cronbach no indica que no hay consistencia interna (es decir, ninguno de los elementos se correlaciona entre sí), mientras que α = 1 refleja una consistencia interna perfecta (es decir, todos los elementos están perfectamente correlacionados entre sí). En la práctica, se ha sugerido el alfa de Cronbach de al menos 0.70 para indicar una consistencia interna adecuada. [30] El valor alfa de un bajo Cronbach puede deberse a la mala interrelación entre los elementos; Como tal, los elementos con bajas correlaciones con el puntaje total del cuestionario deben descartarse o revisarse. Como Alpha es una función de la longitud del cuestionario, Alpha aumentará con el número de elementos. Además, el alfa aumentará si se incrementa la variabilidad de cada elemento. Por lo tanto, es posible aumentar el alfa al incluir más elementos relacionados o agregar elementos que tengan más variabilidad al cuestionario. Por otro lado, un valor alfa que es demasiado alto (α ≥ 0.90) sugiere que algunos elementos del cuestionario pueden ser redundantes; [31] los investigadores pueden considerar eliminar elementos que esencialmente preguntan lo mismo de múltiples maneras.
¿Cómo validar un cuestionario de investigación?
Recuerdo que hace años caminar por los pasillos de las oficinas de la facultad en mi universidad pidiendo ayuda para validar un cuestionario. Le pregunté repetidamente a los profesores: «¿Puedes decirme cómo validar las preguntas en mi encuesta?» La respuesta suele ser educada: «No puedo, pero has intentado hablar con el médico, así que, por lo tanto, podría ayudar». El médico y así tampoco pude evitar. De hecho, nadie parecía poder ayudar.
Dave Collingridge es un estadístico de investigación senior para una gran organización de atención médica ubicada en Utah, EE. UU. Ha publicado varios artículos de investigación cuantitativos y cualitativos en atención médica, psicología y estadísticas. Ha sido miembro de MethodSpace durante varios años.
Me pareció extraño que la facultad en un departamento de psicología no pudiera decirle a un estudiante graduado cómo validar una encuesta. ¿No son los cuestionarios uno de los métodos más comunes de recopilación de datos en las ciencias sociales? Lo están graduando, estaba decidido a averiguar cómo validar las encuestas, así que revisé algunos libros de la biblioteca de mi escuela y compré otros en Amazon. Los libros contenían información útil sobre cómo crear preguntas y qué escalas de respuesta usar, pero carecían de iniciar instrucciones sobre cómo validar. Así que tomé pequeñas piezas aquí y allá de artículos, libros y páginas web y las compilé en un enfoque integral para validar cuestionarios. He utilizado este enfoque para publicar artículos basados en cuestionarios. Además, recibí una subvención para validar un cuestionario que evalúa las impresiones de los médicos de las herramientas electrónicas de toma de decisiones. Supongo que los editores de revistas y los revisores piensan que sé lo que estoy haciendo, o tal vez están diferiendo mi «experiencia» porque, como mis profesores universitarios, no están seguros de qué hacer. Es un poco extraño ser llamado experto en algo que no aprendió de otro experto. De todos modos, aquí está mi enfoque en pocas palabras. Nutshell significa que he dejado de lado muchos detalles. Tal vez publique blogs adicionales que aborden cada tema. O tal vez escribiré un libro sobre cómo validar las encuestas de principio a fin, sentarme en casa y me enriqueceré con las regalías del 10% en un libro académico. Ahora que lo pienso, tendría una mejor oportunidad de convertirme en un héroe estadístico en medias que salen del cielo y ayuda a las personas a potenciar una regresión de Poisson.
¿Cómo se hace la validacion de una encuesta?
Las encuestas son herramientas poderosas para recopilar datos, si se usan correctamente. Recientemente, cinco personas me han preguntado sobre evaluar o validar las preguntas de la encuesta. Este es el enfoque que uso.
Utilizo el marco de error de encuesta total (Pennay 2014) como el marco conceptual y práctico para evaluar y reflexionar sobre la mejora de la calidad del cuestionario y sus resultados, y para reducir la posibilidad de cualquier error (Whiteley 2015). El marco (como se muestra a continuación) consiste en ambos errores de representación (errores de muestreo) y errores de medición (errores de no muestreo). El primero ocurre como parte de la selección de la muestra del marco de muestreo. Este último ocurre al diseñar y realizar la encuesta. Todos estos errores deben minimizarse en la medida de lo posible en la investigación de encuestas.
Me concentraré en esta publicación en los errores de validez y medición y cómo se pueden reducir, es decir, ¿cómo podemos asegurarnos de que las preguntas de la encuesta sean válidas y realmente midan lo que pretenden medir?
La validez se refiere a la medida en que se captura una construcción (elementos de información buscados por un investigador); Esto a veces se conoce como un error de especificación. Este suele ser un error de alto nivel, mientras que el error de medición es la medida en que una medida (por ejemplo, una pregunta planteada para el encuestado) captura con precisión la construcción.
- El cuestionario (diseño de cuestionario pobre),
- El encuestado (podrían proporcionar respuestas inexactas debido a malentendidos o no comprender la pregunta)
¿Cómo realizar la validacion de una encuesta?
La validación del cuestionario es un proceso en el que los creadores revisan el cuestionario para determinar si el cuestionario mide lo que fue diseñado para medir. Si la validación de un cuestionario tiene éxito, los creadores etiquetan el cuestionario como un cuestionario válido. Esta validez viene en diferentes formas, todos dependiendo del método utilizado para el procedimiento de validación. Dependiendo de la situación específica para el cuestionario, los creadores pueden optar por usar uno o muchos de los diversos métodos de validación.
La validación de contenido se refiere a observar todos los elementos específicos del cuestionario para determinar si el cuestionario aborda el tema en general. Este tipo de validación es a menudo la validación más importante en el desarrollo de nuevos cuestionarios. Por lo general, los investigadores crean una lista de todo lo que el cuestionario está destinado a medir y verificar los elementos en el cuestionario contra esta lista. Esto permite a los investigadores garantizar que cada elemento corresponda a una medición deseada y que todo lo que debe medirse realmente se mide.
Esta forma de validación garantiza la precisión del cuestionario al detectar si las respuestas de los sujetos sobre el cuestionario pueden predecir ciertos aspectos o comportamientos de los sujetos. Por ejemplo, si el cuestionario intenta evaluar a los estudiantes potenciales para una escuela prestigiosa, las respuestas sobre el cuestionario que son «deseables» deberían ser las de los estudiantes exitosos. Los investigadores pueden confirmar la validación predictiva mediante la evaluación de los estudiantes pasados o presentes el cuestionario y la búsqueda de correlaciones entre el rendimiento y las respuestas del cuestionario.
¿Cómo se determina la validez y confiabilidad del cuestionario?
Sobre la base de la revisión del material actual que contiene asesoramiento dietético y la literatura que vincula DF y salud, se decidió dividir el cuestionario en dos secciones. La primera sección (Sección A) incluyó declaraciones sobre la relación de DF y la salud, y la segunda sección (Sección B) incluyó declaraciones sobre el conocimiento del contenido de DF en algunos alimentos. Cada declaración tenía tres respuestas posibles (verdadero/falso/no seguro). Se generó un grupo de 46 declaraciones que pertenecían a estas dos secciones. Usando este grupo de declaraciones, un panel de tres dietistas realizó dos revisiones para seleccionar lo mejor en términos de claridad de las preguntas, precisión del conocimiento medido e interpretabilidad. Este proceso redujo el número de declaraciones a 20. Después del análisis del ítem, el número total de declaraciones en el cuestionario final fue de 18 (es decir, 9 en cada sección). Las preguntas demográficas sobre género y edad se incluyeron al final del cuestionario. Las respuestas al cuestionario tomaron de 3 a 5 minutos.
El cuestionario fue autoadministrado en grupos al final de las conferencias bajo la supervisión de los autores. Algunos estudiantes completaron el cuestionario en dos ocasiones separadas que estaban con dos semanas de diferencia. El período de dos semanas se consideró lo suficientemente largo para que los participantes hayan olvidado sus respuestas, pero no lo suficiente como para que ocurra un cambio real en su conocimiento sobre nutrición (15-17). Los participantes no fueron informados de la segunda administración del cuestionario en la primera ocasión.
Las respuestas en la primera administración se utilizaron para evaluar la validez de constructo y la confiabilidad de consistencia interna. Se utilizaron dos conjuntos de respuestas (es decir, la primera y la segunda administración) para medir la confiabilidad de prueba-retest.
¿Cómo se determina la validez y confiabilidad?
Aunque estas dos propiedades psicométricas están estrechamente relacionadas, la verdad es que se refieren a aspectos claramente diferenciados. Veamos cuáles son estas diferencias.
La fiabilidad es una característica del instrumento, en el sentido que mide las propiedades de los artículos que lo compensan. Por otro lado, la validez no se refiere exactamente a la herramienta, sino a las generalizaciones realizadas por los resultados obtenidos a través de ella.
Aunque es una forma algo simplista de describirlo, en términos generales a menudo se dice que la validez indica que una herramienta psicométrica realmente mide la construcción que tiene la intención de medir, mientras que la confiabilidad se refiere al hecho de que la mido correctamente, sin errores.
Básicamente se utilizan tres procedimientos para medir la confiabilidad: el método de las dos mitad, el de las formas paralelas y la prueba de prueba. El más utilizado es el procedimiento de las dos mitades, en la que los elementos se dividen en dos grupos una vez que la prueba ha respondido; Luego se analiza la correlación entre las dos mitad.
El método de formas paralelas o alternativas consiste en crear dos pruebas equivalentes para medir en qué medida correlacionan los elementos entre ellas. El Test-Retest simplemente se basa en pasar la prueba dos veces, en condiciones lo más similar posible. Entrambe Los procedimientos se pueden combinar, dando lugar a la prueba de prueba con formas paralelas, que consiste en dejar un intervalo de tiempo entre la primera forma de la prueba y la segunda.
¿Cómo se comprueba la validez y confiabilidad de un instrumento de evaluacion?
El desarrollo de medidas de efectividad se ha convertido en una pregunta significativa en el campo de rehabilitación y ha contribuido a una mejor comprensión de cómo los resultados están vinculados a elementos específicos del tratamiento. La evaluación funcional y el análisis del resultado requieren un proceso de medición que proporcione la asignación de valores numéricos o categorías a variables «latentes» (ya que se manifiestan a través de varios comportamientos en diferentes momentos: independencia funcional, estado de ánimo, comunicación, participación Social, etc.) (Franchignoni 2008).
También debe recordarse que la relevancia de los resultados se puede juzgar bajo diferentes perspectivas (por ejemplo, de la persona o sociedad discapacitada, el investigador o el administrador público), incluido el del paciente, siempre debe ser central, destinado a proporcionar diferentes escaleras de valores. En relación con un cierto resultado. En la práctica, lo que a veces se desearía y analizaría es un fenómeno complejo, cuyos factores causales no pueden ser atrapados por una sola herramienta de evaluación. A menudo sería más apropiado analizar diferentes resultados cada uno con la herramienta de medición más apropiada.
Los métodos más comunes para recopilar estas variables proporcionan el uso de escaleras de evaluación o cuestionarios. En las escaleras de evaluación, un examinador observa y asigna puntajes a cierto parámetro sobre la base de su propio juicio, con una participación mínima del paciente. Los cuestionarios, por otro lado, recolectan directamente el punto de vista del paciente, que informa la experiencia de fenómenos subjetivos (dolor, esfuerzo, etc.) o sus evaluaciones, también en relación con las perspectivas/expectativas personales (por ejemplo, con respecto a los índices de satisfacción)
La evaluación del resultado representa el punto de partida para permitir que el clínico:
Identificar y caracterizar signos y síntomas, limitaciones estructurales y funcionales resultantes de una imagen clínica;
Planifique el programa terapéutico, estableciendo objetivos de rehabilitación realistas;
Monitorear los cambios con el tiempo, también para verificar la validez de los tratamientos utilizados y formular un pronóstico confiable;
Aumente el número y el nivel de calidad de las intervenciones realizadas, con los mismos recursos utilizados.
El reconocimiento del nivel de medición que se está llevando a cabo es absolutamente necesario para comprender cuál es el grado de información que se puede obtener de la medición en curso. Básicamente, los datos producidos por los procesos de medición se pueden agrupar en cuatro categorías o niveles: nominal, ordinal, intervalo y en relación (Portney, 2000; Domholdt, 2005). Las dos primeras categorías pueden definirse como «discretas» (donde la cantidad entre dos intervalos no es constante), las otras dos como «continuas» (es decir, equipadas con valores capaces de variar con la gradualidad conocida).
Artículos Relacionados:
