Validez y confiabilidad: qué reportar de tus instrumentos
Tu jurado querrá saber si tus instrumentos miden lo que dicen medir y si lo hacen con precisión en tu muestra. Esta guía explica qué evidencias reportar, cómo calcular la V de Aiken del juicio de expertos y cómo informar la confiabilidad.
Validez: evidencias para un uso
Los Standards for Educational and Psychological Testing (American Educational Research Association [AERA] et al., 2014) definen la validez como el grado en que la evidencia y la teoría respaldan las interpretaciones de los puntajes para el uso que se les quiere dar. Por eso, en lugar de afirmar que un instrumento «es válido», se reportan evidencias de validez para un uso y una población concretos.
Esos estándares distinguen cinco fuentes de evidencia:
- Contenido: si los ítems representan lo que se quiere medir. Es la evidencia que aporta el juicio de expertos.
- Procesos de respuesta: si las personas responden por las razones previstas y no por otras.
- Estructura interna: si los ítems se agrupan como dice la teoría. Se estudia, por ejemplo, con análisis factorial.
- Relación con otras variables: si los puntajes se relacionan como se espera con otras medidas.
- Consecuencias: qué efectos tiene usar los puntajes para tomar decisiones.
En una tesis de pregrado suelen reportarse evidencias de contenido, con el juicio de expertos, y de estructura interna cuando la muestra lo permite. Revisa qué pide tu universidad.
Juicio de expertos y V de Aiken
En el juicio de expertos, varios jueces califican cada ítem en criterios como claridad, coherencia y relevancia, con una escala; por ejemplo, de 1 a 4. La V de Aiken (Aiken, 1985) resume esas calificaciones en un valor entre 0 y 1: cuanto más cerca de 1, mayor es el acuerdo de los jueces en que el ítem es adecuado.
V = S / [n(c − 1)]
- S: suma de las calificaciones de los jueces, después de restar a cada una el valor más bajo de la escala.
- n: número de jueces.
- c: número de valores de la escala; si va de 1 a 4, c = 4.
Por ejemplo, cinco jueces califican la claridad de un ítem en una escala de 1 a 4.
Tabla 1 Calificaciones de cinco jueces para la claridad de un ítem
| Juez | Calificación | Calificación − 1 |
|---|---|---|
| Juez 1 | 4 | 3 |
| Juez 2 | 4 | 3 |
| Juez 3 | 3 | 2 |
| Juez 4 | 4 | 3 |
| Juez 5 | 4 | 3 |
| Suma (S) | 14 |
Nota. Escala de 1 a 4. Se resta 1, el valor más bajo de la escala, a cada calificación.
Con esos datos, V = 14 / [5(4 − 1)] = 14 / 15 = .93.
Conviene reportar también su intervalo de confianza al 95 %, que indica la precisión del valor. Con el procedimiento que describen Merino Soto y Livia Segovia (2009), el intervalo de este ítem va de .70 a .99. Con pocos jueces el intervalo es amplio, y por eso dice más que el valor solo.
¿Cuántos jueces y desde qué valor?
No hay un único punto de corte. Escurra Mayaute (1988) mostró que, cuando los jueces solo dicen si están de acuerdo o no con un ítem, con 5 a 7 jueces el ítem solo alcanza significación al .05 si todos están de acuerdo. Con pocos jueces, un solo desacuerdo pesa mucho. Usa el criterio que pida tu universidad y cítalo.
Confiabilidad: la de tus puntajes
La confiabilidad indica qué parte de los puntajes es consistente y qué parte es error de medida. No es una propiedad fija de la prueba, sino de los puntajes obtenidos en una muestra concreta (Wilkinson y Task Force on Statistical Inference, 1999). Por eso no basta con citar el coeficiente del manual o del estudio original: calcula el de tu muestra y repórtalo.
Alfa u omega
El coeficiente alfa de Cronbach es el más conocido, pero supone que todos los ítems tienen el mismo peso en el factor que miden, un supuesto que a menudo no se cumple. El coeficiente omega (McDonald, 1999) se calcula con las cargas factoriales de cada ítem y no necesita ese supuesto; por eso se recomienda como alternativa (Ventura-León y Caycho-Rodríguez, 2017).
Para omega se consideran aceptables valores entre .70 y .90, aunque en algunas circunstancias se aceptan desde .65 (Ventura-León y Caycho-Rodríguez, 2017). Repórtalo para la escala total y para cada dimensión.
El instrumento es confiable, pues su autor obtuvo un alfa de .85.
¿Y en tu muestra?
En la muestra del estudio, la confiabilidad por consistencia interna fue adecuada (ω = .84).
Si usas un instrumento de otro autor
Para usar un instrumento creado o adaptado por otra persona necesitas el permiso de su autor o de quien hizo la adaptación, y debes citar la versión que aplicas. Muchas universidades piden la constancia como anexo.
Si cambias la redacción de los ítems o los aplicas a una población distinta de la original, reúne de nuevo evidencias de validez: las del estudio original no se trasladan solas a tu versión ni a tu población.
Cómo redactarlo
En el apartado de instrumentos, informa la validez y la confiabilidad de cada uno. Puedes seguir esta estructura y cambiar lo que va entre corchetes.
La validez de contenido se evaluó mediante el juicio de [número] expertos, que calificaron la claridad, la coherencia y la relevancia de cada ítem en una escala de 1 a 4. Se calculó la V de Aiken (Aiken, 1985) con intervalos de confianza al 95 % (Merino Soto y Livia Segovia, 2009); los valores oscilaron entre [mínimo] y [máximo]. La confiabilidad por consistencia interna se estimó con el coeficiente omega (McDonald, 1999) en la muestra del estudio y fue de [valor] para la escala total.
Antes de entregar, revisa
Marca cada punto mientras revisas tus instrumentos. Las casillas no guardan nada: sirven para leer con tu tesis al lado.
Referencias
- Aiken, L. R. (1985). Three coefficients for analyzing the reliability and validity of ratings. Educational and Psychological Measurement, 45(1), 131–142. https://doi.org/10.1177/0013164485451012
- American Educational Research Association, American Psychological Association y National Council on Measurement in Education. (2014). Standards for educational and psychological testing. American Educational Research Association.
- Escurra Mayaute, L. M. (1988). Cuantificación de la validez de contenido por criterio de jueces. Revista de Psicología, 6(1–2), 103–111. https://doi.org/10.18800/psico.198801-02.008
- McDonald, R. P. (1999). Test theory: A unified treatment. Lawrence Erlbaum Associates.
- Merino Soto, C. y Livia Segovia, J. (2009). Intervalos de confianza asimétricos para el índice la validez de contenido: Un programa Visual Basic para la V de Aiken. Anales de Psicología, 25(1), 169–171. https://revistas.um.es/analesps/article/view/71631
- Ventura-León, J. L. y Caycho-Rodríguez, T. (2017). El coeficiente omega: Un método alternativo para la estimación de la confiabilidad. Revista Latinoamericana de Ciencias Sociales, Niñez y Juventud, 15(1), 625–627.
- Wilkinson, L. y Task Force on Statistical Inference. (1999). Statistical methods in psychology journals: Guidelines and explanations. American Psychologist, 54(8), 594–604. https://doi.org/10.1037/0003-066X.54.8.594