Si ha leído nuestra publicación de blog sobre la declaración del problema frente a la hipótesis, ya debería saber cómo establecer la base en un experimento exitoso. Sin embargo, analizar sus datos y resultados es también una de las etapas más importantes de cualquier experimento.
Desafortunadamente, nuestros sesgos cognitivos y ilusiones a menudo pueden afectar la precisión de la precisión que podemos interpretar los datos. En CCX, somos expertos en experimentación y hemos ajustado nuestros métodos para reducir el sesgo a lo largo del proceso de análisis. Este artículo establecerá algunos consejos principales y el proceso que emprendemos para garantizar que los datos nunca se malinterpreten.
Para responder a esta pregunta, consideremos el impacto que los datos interpretados correctamente pueden tener en una empresa y sus clientes. Con cualquier experimento, buscamos obtener información valiosa de los datos. Estas ideas le indican qué tipo de impacto tendría un cambio de implementación en nuestros ingresos y otras métricas clave. Interpretar correctamente los datos significa que podemos tener confianza en las ideas que hemos deducido para hacer cambios de forma permanente, alimentar las iteraciones futuras o incluso probar una hipótesis completamente nueva.
Por otro lado, los datos malinterpretados pueden llevarlo a implementar cambios que en realidad son perjudiciales para una empresa, sus clientes y, lo más importante, su resultado final. Esto solo se hace más difícil por nuestros sesgos cognitivos innatos y, a menudo, anhela un experimento exitoso.
En CCX, hemos analizado cientos de experimentos y típicamente seguimos un proceso de cinco pasos. Tomar un enfoque tan completo ayuda a garantizar que tengamos confianza en los resultados y los aprendizajes que brindamos a nuestros clientes.
¿Cómo hacer el análisis de resultados en una investigación?
Las pruebas de características optimizadas actualmente no admiten el cálculo de resultados retroactivos.
Los lanzamientos de funciones lo ayudan a iniciar nuevas funciones utilizando un indicador de funciones. Cuando usa despliegos, Optimizely no envía una impresión, por lo que no se genera tráfico de red adicional y no se adjunta resultados. Para medir el impacto de una característica, ejecute una prueba de características.
Segmenta sus resultados para ver cómo se comportan los diferentes grupos de usuarios, en comparación con los usuarios en general.
Por defecto, Optimizely muestra resultados para todos los usuarios que ingresan su experimento. Sin embargo, no todos los usuarios se comportan como sus usuarios promedio. Optimizely le permite filtrar sus resultados para que pueda ver si ciertos grupos de usuarios se comportan de manera diferente a sus usuarios en general. Esto se llama segmentación.
Por ejemplo, imagine que ejecuta un experimento con una oferta promocional emergente. Esto genera una elevación positiva en general, pero cuando segmenta para los usuarios en dispositivos móviles, es una pérdida estadísticamente significativa. Tal vez la ventana emergente es disruptiva o difícil de cerrar en un dispositivo móvil. Cuando implementa el cambio o ejecuta un experimento similar en el futuro, puede excluir a los usuarios móviles en función de lo que ha aprendido de la segmentación.
Los resultados de segmentación son una de las mejores formas de obtener una visión más profunda más allá del comportamiento promedio del usuario. Es una forma poderosa de intensificar su programa de experimentación.
Las pruebas de características no incluyen atributos «listos para usar» como el navegador, el dispositivo o los atributos de ubicación (estos atributos están incluidos en nuestro proyecto web). Los SDK de Optimizely son de la plataforma: no asumimos qué atributos están disponibles en su aplicación o cuál es el formato. En las pruebas de características, toda la segmentación se basa en los atributos personalizados que crea.
¿Qué se hace en el análisis de resultados?
La evaluación de las pruebas debe proporcionar varios tipos de información relevante de decisión además de estimaciones puntuales para medidas importantes de rendimiento y efectividad y sus pruebas de significancia asociadas. Primero, se debe proporcionar una tabla de tamaños de prueba potenciales y los niveles de error asociados para varios niveles hipotéticos de rendimiento para medidas importantes para ayudar a guiar las decisiones sobre las ventajas de varios tamaños de prueba. Dado que esto podría construirse antes de que la prueba haya comenzado, este debería ser un elemento requerido de versiones más detalladas del plan maestro de prueba y evaluación, con un conocimiento adicional adquirido durante la prueba sobre las distribuciones y otras características utilizadas para actualizar la tabla en el informe de evaluación. Esta tabulación del impacto del tamaño de la prueba en los niveles de error de una prueba de significancia se conoce como las características operativas de la prueba. Abogamos por su cálculo en la recomendación 4.2 (en el Capítulo 4); Para obtener un ejemplo de una tabla de características operativas, vea el cuadro 6-1.
Además, debe haber una comprensión de los costos, en función del rendimiento del sistema, uno enfrenta tomando la decisión sobre si proceder a la producción total. Es decir, los beneficios y los costos de los sistemas de aprobación con diferentes niveles de rendimiento deben compararse con los beneficios y los costos de no aprobar dichos sistemas. El tratamiento explícito de los beneficios y los costos es mucho mejor
que aplicar niveles de significancia estándar para equilibrar las probabilidades de los dos tipos de errores (no pasar un sistema efectivo y adecuado versus pasar un sistema deficiente). Los métodos del análisis de decisión proporcionan un marco natural para abordar tales comparaciones de costo de beneficio (ver, por ejemplo, von Winterfeldt y Edwards, 1986; o Clemen, 1991). El panel reconoce que la evaluación cuantitativa explícita de los beneficios y los costos de las alternativas de decisión puede ser controvertida en una situación en la que diferentes partes tienen objetivos diferentes, aunque este marco es natural para identificar la fuente de estas diferencias que pueden conducir a su resolución.
Cada estimación de puntos, incluidas las de escenarios individuales y para un análisis más dirigido, debe ir acompañada de un intervalo de confianza (o construcción relacionada) que proporciona los valores que son consistentes con los resultados de la prueba. Debería haber una discusión acompañante de cuáles serían las implicaciones con respecto a la adquisición si los puntos finales de los intervalos de confianza para las principales medidas de rendimiento y efectividad fueran los niveles de rendimiento reales del sistema.
¿Qué son los análisis de resultados ejemplos?
- VES (velocidad de eritrosendimentación): se calcula el tiempo en que se depositan los glóbulos rojos en la parte inferior del tubo de ensayo;
- Fibrinógeno, un elemento fundamental producido por el hígado para una coagulación de sangre correcta;
- Glick, que indica la cantidad de glucosa en la sangre. Este tipo de azúcar es el producto de síntesis del cuerpo después de la ingesta de carbohidratos;
- Aspartato transaminasa (AST) y alanina transaminasa (ALT), dos enzimas particularmente relevantes para la síntesis de glucosa y el metabolismo de los aminoácidos;
- Fosfatasa alcalina (ALP), enzima presente en el hígado y los huesos;
- Creatinina, que se mide tanto a través de exámenes de sangre como de orina. Presente en particular en el corazón y el músculo esquelético, la creatinina les proporciona energía. A través de los riñones, el cuerpo lo filtra y lo elimina junto con la orina;
- El ácido úrico, escoria producido por el metabolismo celular que, como la creatinina, se expulsa a través de la acción de los riñones;
- La bilirrubina, que durante el 85% se deriva de la destrucción ordinaria de los glóbulos rojos y para el porcentaje restante proviene del hígado o la médula ósea. El primer tipo de bilirrubina generalmente se elimina con una dinámica simple, en la que la degradación y el equilibrio de producción;
- Colesterol total, colesterol HDL («bueno») y colesterol LDL («malo»): contrario a lo que está acostumbrado a pensar, el colesterol no es necesariamente negativo. Sin colesterol, del cual el hígado produce una buena parte, el cuerpo no tendría la energía que se necesita;
- Triglicéridos, las grasas que son en gran medida sintetizadas por el cuerpo basadas en la dieta;
- Albúmina, proteína producida por el hígado y presente en el plasma;
- Ferritina, la proteína de depósito que indica cuántas reservas de hierro puede contar el cuerpo y cuál juega un papel esencial en la producción de hemoglobina;
- Sodio, potasio, calcio, magnesio (electrolitos): estos minerales contribuyen a mantener equilibrado la absorción de las sustancias y la purificación del cuerpo, para preservar los niveles de acidez de la sangre y a estabilizar la presión arterial.
- Un nivel de chaleco considerablemente más alto que el estándar podría indicar un estado inflamatorio, posiblemente conectado a tumores, patologías infecciosas, patologías autoinmunes;
- El fibrinógeno está relacionado con la coagulación y, por lo tanto, a las heridas curativas. Los valores alterados podrían unirse a una anomalía en la coagulación, en default o en exceso;
- La presencia de glucosa en la sangre debe estar equilibrada, ni demasiado alta (hiperglucemia) ni demasiado baja (hipoglucemia). En el primer caso, es posible que el páncreas no produzca suficiente insulina para activar correctamente el metabolismo de los carbohidratos: esto significa que los azúcares circulan libremente en la sangre y pueden dañar la salud. Es por eso que es un valor esencial para el diagnóstico de diabetes o prediabetes. En el segundo caso, por lo tanto, con valores más bajos que la norma, la deficiencia de azúcares podría ser un signo de una dieta rebelde;
- Los niveles de AST y ALT se evalúan en correlación con la funcionalidad del hígado, pero también a la condición del corazón, los músculos y los huesos. Específicamente, generalmente si los valores ALT exceden los de AST, es necesario investigar completamente la salud del hígado;
- La concentración de ALP se mide para identificar patologías hepatobiliares o de huesos, así como para evaluar el progreso de ciertos tratamientos;
- Un nivel excesivo de creatinina está vinculado a una mala eficiencia de los riñones, que no puede filtrarla de la sangre y llevarla a la orina;
- Si una concentración excesiva de bilirrubina circula en la sangre (también reconocible desde el exterior a través del típico color amarillo de la piel), es posible que en la base haya insuficiencia hepática, anemia o talasemia. Si sus valores son más bajos que la norma, pueden detectar anemia, disfunciones renales o formas tumorales;
- Demasiado colesterol LDL podría conducir a enfermedades cardiovasculares, mientras que el colesterol HDL contribuye a purificar el cuerpo del «malo»: una relación equilibrada y proporcional debe establecerse entre los dos valores;
- En caso de porcentaje demasiado alto de triglicéridos, aumenta el riesgo de desarrollar patologías cardiovasculares, pancreatitis y enfermedades degenerativas como la aterosclerosis;
- El nivel de albúmina proporciona información sobre la nutrición del paciente y la función hepática y renal. Si en el embarazo es normal identificar valores de ferritina más bajos que el estándar, en los casos restantes pueden resaltar anemias, trastornos nutricionales (incluida la enfermedad celíaca) o la artritis reumatoide;
- Sodio, potasio, calcio, magnesio (electrolitos): si están presentes en menor medida, es posible que el paciente sufra desnutrición o deshidratación, anemias, tumores o patologías que involucran la tiroides o el corazón.
- La cantidad de glóbulos rojos, glóbulos blancos y plaquetas;
- El hematocrito, o el volumen de sangre ocupado por los glóbulos rojos;
- Los porcentajes de los tipos de glóbulos blancos (fórmula de leucocitos);
- La cantidad de hemoglobina;
- Se examinan los índices corpusculares con los que se examinan la forma y las dimensiones de las plaquetas y los glóbulos rojos.
Además, si durante el embarazo se recomiendan rigurosamente los análisis de sangre, se puede hacer la misma consideración para el examen hemocromocitométrico completo.
Para distinguir un anecromo con valores normales, es bueno saber que los parámetros cambian de acuerdo con el género sexual, la edad, el estilo de vida, el patrimonio genético. En el caso particular del análisis de glóbulos rojos (eritrocitos), responsable gracias a la hemoglobina del transporte de oxígeno y dióxido de carbono, a menudo en lenguaje común, los hematocritos y la sangre de la sangre están confundidos. Por lo tanto, da lugar a expresiones que realmente hacen referencia a una interpretación de los valores del hemoccrito:
- VES (velocidad de eritrosendimentación): se calcula el tiempo en que se depositan los glóbulos rojos en la parte inferior del tubo de ensayo;
- Fibrinógeno, un elemento fundamental producido por el hígado para una coagulación de sangre correcta;
- Glick, que indica la cantidad de glucosa en la sangre. Este tipo de azúcar es el producto de síntesis del cuerpo después de la ingesta de carbohidratos;
- Aspartato transaminasa (AST) y alanina transaminasa (ALT), dos enzimas particularmente relevantes para la síntesis de glucosa y el metabolismo de los aminoácidos;
- Fosfatasa alcalina (ALP), enzima presente en el hígado y los huesos;
- Creatinina, que se mide tanto a través de exámenes de sangre como de orina. Presente en particular en el corazón y el músculo esquelético, la creatinina les proporciona energía. A través de los riñones, el cuerpo lo filtra y lo elimina junto con la orina;
- El ácido úrico, escoria producido por el metabolismo celular que, como la creatinina, se expulsa a través de la acción de los riñones;
- La bilirrubina, que durante el 85% se deriva de la destrucción ordinaria de los glóbulos rojos y para el porcentaje restante proviene del hígado o la médula ósea. El primer tipo de bilirrubina generalmente se elimina con una dinámica simple, en la que la degradación y el equilibrio de producción;
- Colesterol total, colesterol HDL («bueno») y colesterol LDL («malo»): contrario a lo que está acostumbrado a pensar, el colesterol no es necesariamente negativo. Sin colesterol, del cual el hígado produce una buena parte, el cuerpo no tendría la energía que se necesita;
- Triglicéridos, las grasas que son en gran medida sintetizadas por el cuerpo basadas en la dieta;
- Albúmina, proteína producida por el hígado y presente en el plasma;
- Ferritina, la proteína de depósito que indica cuántas reservas de hierro puede contar el cuerpo y cuál juega un papel esencial en la producción de hemoglobina;
- Sodio, potasio, calcio, magnesio (electrolitos): estos minerales contribuyen a mantener equilibrado la absorción de las sustancias y la purificación del cuerpo, para preservar los niveles de acidez de la sangre y a estabilizar la presión arterial.
- Un nivel de chaleco considerablemente más alto que el estándar podría indicar un estado inflamatorio, posiblemente conectado a tumores, patologías infecciosas, patologías autoinmunes;
- El fibrinógeno está relacionado con la coagulación y, por lo tanto, a las heridas curativas. Los valores alterados podrían unirse a una anomalía en la coagulación, en default o en exceso;
- La presencia de glucosa en la sangre debe estar equilibrada, ni demasiado alta (hiperglucemia) ni demasiado baja (hipoglucemia). En el primer caso, es posible que el páncreas no produzca suficiente insulina para activar correctamente el metabolismo de los carbohidratos: esto significa que los azúcares circulan libremente en la sangre y pueden dañar la salud. Es por eso que es un valor esencial para el diagnóstico de diabetes o prediabetes. En el segundo caso, por lo tanto, con valores más bajos que la norma, la deficiencia de azúcares podría ser un signo de una dieta rebelde;
- Los niveles de AST y ALT se evalúan en correlación con la funcionalidad del hígado, pero también a la condición del corazón, los músculos y los huesos. Específicamente, generalmente si los valores ALT exceden los de AST, es necesario investigar completamente la salud del hígado;
- La concentración de ALP se mide para identificar patologías hepatobiliares o de huesos, así como para evaluar el progreso de ciertos tratamientos;
- Un nivel excesivo de creatinina está vinculado a una mala eficiencia de los riñones, que no puede filtrarla de la sangre y llevarla a la orina;
- Si una concentración excesiva de bilirrubina circula en la sangre (también reconocible desde el exterior a través del típico color amarillo de la piel), es posible que en la base haya insuficiencia hepática, anemia o talasemia. Si sus valores son más bajos que la norma, pueden detectar anemia, disfunciones renales o formas tumorales;
- Demasiado colesterol LDL podría conducir a enfermedades cardiovasculares, mientras que el colesterol HDL contribuye a purificar el cuerpo del «malo»: una relación equilibrada y proporcional debe establecerse entre los dos valores;
- En caso de porcentaje demasiado alto de triglicéridos, aumenta el riesgo de desarrollar patologías cardiovasculares, pancreatitis y enfermedades degenerativas como la aterosclerosis;
- El nivel de albúmina proporciona información sobre la nutrición del paciente y la función hepática y renal. Si en el embarazo es normal identificar valores de ferritina más bajos que el estándar, en los casos restantes pueden resaltar anemias, trastornos nutricionales (incluida la enfermedad celíaca) o la artritis reumatoide;
- Sodio, potasio, calcio, magnesio (electrolitos): si están presentes en menor medida, es posible que el paciente sufra desnutrición o deshidratación, anemias, tumores o patologías que involucran la tiroides o el corazón.
- La cantidad de glóbulos rojos, glóbulos blancos y plaquetas;
- El hematocrito, o el volumen de sangre ocupado por los glóbulos rojos;
- Los porcentajes de los tipos de glóbulos blancos (fórmula de leucocitos);
- La cantidad de hemoglobina;
- Se examinan los índices corpusculares con los que se examinan la forma y las dimensiones de las plaquetas y los glóbulos rojos.
Lectura de los parámetros hechos para los eritrocitos también se aplica a los valores relacionados con la hemoglobina, que, si es demasiado alto, se puede conectar a las enfermedades sanguíneas, pero también a la cantidad reducida de oxígeno inspirado: esto puede suceder a los fumadores o simplemente cuando hay Se encuentra a gran altitud. La baja hemoglobina corresponde a la anemia, más generalizada de lo que piensa en todos los grupos de edad: es la medición del valor MCH o el contenido de hemoglobina en cada eritrocito individual, para aclarar qué tipo de anemia es exactamente.
Artículos Relacionados:
