Table 6

Dominio	Coeficiente G
Supervisión	0,83
Valoración del Desempeño	0,88
Retroalimentación	0,87
Trabajo en Equipo	0,80
Colaboración entre Pares	0,81
Relaciones entre Instructores	0,81
Trabajo Adaptado a Competencias + Educación Formal	0,90
Rol de los Instructores	0,90
Rol del Instructor Especialista	0,91
Registro de Alta del Paciente	0,87

Nuestro trabajo consistió en adaptar y validar un instrumento desde su versión original para su apropiada utilización en nuestro medio. Adaptar un cuestionario implica maximizar la armonización cultural y minimizar el sesgo41, 42, 43. Respecto del primer objetivo específico, se obtuvo una versión apropiada del D-RECT tras cumplir el proceso de adaptación transcultural previsto.

La validación abarcó tres de los cinco criterios43: contenido, proceso de respuesta, y estructura interna y confiabilidad. La validez implica un juicio sobre el grado en que la evidencia empírica y la teoría apoyan las interpretaciones y acciones devenidas de los puntajes dentro del propósito de una prueba42, 43.

La validez de contenido abarca dos aspectos: la relevancia (definir el dominio específico y sus límites operativos) y la cobertura (una muestra representativa de ítems44). Para este fin, el investigador se enfoca en la definición del constructo, el propósito del instrumento, el proceso de desarrollo y selección de los ítems, la redacción de cada ítem individual y la intervención de calificadores45. El presente trabajo cumplió todas las tareas previstas según las directivas de la ITC y la bibliografía de referencia23, 25, 26, 27, 44 para validación de contenido con intervención de un comité de expertos sobre el cuestionario. La escala métrica y el ordenamiento de los ítems son del trabajo original, y las muestras poblacionales presentan características (socioculturales, profesión y nivel educativo) similares, comparables en su capacidad de interpretación de los ítems. Asimismo, el sondeo con el grupo piloto no mostró dificultades ni controversias sobre la versión preliminar.

Respecto del proceso de respuesta, la revisión de las acciones y pensamientos de los encuestados puede aclarar el ajuste entre el constructo y la detallada naturaleza del desempeño involucrado43, 45. Las fuentes de validez son complementarias, especialmente las de contenido y del proceso de respuesta29, apuntando a la detección e interpretación del funcionamiento diferencial de los ítems. El método de entrevistas contempla los procesos de pensamiento de los encuestados, es sencillo de aplicar y requiere pocos recursos. Su base teórica considera una secuencia de procesos cognitivos entre la formulación de una pregunta y la emisión de respuesta: primero, interpretar y entender el ítem involucra al propósito, los conceptos y expresiones incluidas. Luego, recuperar la información necesaria, hacer un juicio para integrar y evaluar esa información. Finalmente ajustar la respuesta entre las alternativas al propósito y comunicarla. El testeo sobre grupo piloto implica dos decisiones: quiénes y cuántos sujetos formarán parte de este grupo. La decisión no es a priori una cuestión numérica. El grupo piloto debe poseer similares características demográficas, lingüísticas, culturales, etc., respecto de la población destino. Dos condiciones cualitativas definen el número total de participantes del testeo inicial: la saturación teórica (continuar hasta que no aparece nueva información) y la relevancia (seleccionar entrevistas por su importancia sobre los hallazgos surgidos)29.

Con respecto al tercer criterio de validez (la evaluación de la estructura interna y la confiabilidad) consideramos apropiado destacar ciertos aspectos relacionados con el tamaño muestral y los métodos empleados para el análisis estadístico. El tamaño muestral es un aspecto esencial en estudios que incluyen modelos de ecuaciones estructurales (MEE), aunque la bibliografía no establece una respuesta concluyente para determinar la cantidad de casos requeridos para un adecuado análisis. Por el contrario, la diversidad de criterios constituye una masa desarticulada de literatura que dificulta el trabajo del investigador33, 46, 47. Ciertas características influyen para determinar el tamaño muestral, como la presencia de normalidad multivariada, el número de variables latentes, los indicadores y las comunalidades32, 47, 48 (se denomina comunalidad a la proporción de la varianza explicada por los factores comunes en una variable). Un estudio comparativo sobre distintos modelos de MEE, propone un mínimo de 200 observaciones, asegurando indicadores cuidadosamente elegidos y confiables, y un adecuado número de indicadores por variable latente48. Tomando como base la fórmula propuesta por Westland49 para nuestro estudio, en la que n = 50r2-450r + 1100, donde r = cociente indicadores/variables latentes, correspondería un mínimo de 100 observaciones.

Otros autores rechazan establecer reglas para calcular el tamaño muestral50, sosteniendo que podrían resultar inválidas en el contexto del MEE. Independientemente de la proporción de sujetos por variable, Arias34 propuso un mínimo de 150 observaciones, descartando aquellas con puntuaciones extremas. En términos generales, muestras más pequeñas pueden ser adecuadas si la estructura factorial es muy clara (al menos más de tres variables definiendo cada factor y ninguna variable en más de un factor). Para el AFE se propuso un mínimo de cinco sujetos por variable, con una base de al menos 100 observaciones; en caso de un tamaño menor, la relación debería ser 10/151. Dado que el tamaño muestral para el AFC para algunos autores52, 53, 37 podría representar una limitación para este trabajo, decidimos realizar un AFE en primera instancia. Sin embargo, varios estudios indican que nuestro tamaño muestral puede resultar satisfactorio para la mayoría de los casos54, 55, 56, 57, 58, especialmente cuando hay varios indicadores por dimensión, los ítems no son binarios y las cargas factoriales son altas59. Por lo tanto verificamos también el ajuste del modelo con AFC. En el trabajo original la base mínima fue de cinco sujetos por ítem6. Dado que la muestra total fue de 392 sujetos, los resultados fueron compatibles con la interpretación de las cargas del AFE32, y también el resultado del AFC reveló la cifra de 222,68 (método DWLS) y 226,20 (método ULS) como número crítico de observaciones, brindando mayor soporte a las conclusiones obtenidas.

El método de componentes principales y rotación ortogonal con Kaiser se recomienda para la reducción de datos y por ser el más utilizado en AFE32. El agrupamiento de ocho ítems en torno a un solo factor (con reducción del número de dominios, sin afectar la confiabilidad) fue atribuido por el comité de expertos al contenido conceptual de esos ítems: el aspecto educativo y el asistencial no constituyen entes separados en la residencia. Los mismos residentes se tornan docentes esenciales dentro de su ámbito60, 61, 59 donde la educación ocurre en trabajo bajo supervisión para adquirir habilidades, hábitos de trabajo y búsqueda de información; el logro de los objetivos del programa de educación médica superior involucra directa o indirectamente profesores, residentes y el resto del colectivo laboral en los procesos docentes, de atención médica e investigación62. El ser competente resulta de un aprendizaje integrado, donde el residente afronta situaciones complejas que tengan sentido para él. Al resolverlas, aprende, y logra un desempeño competente impulsado por las situaciones: competencias y situaciones son lo mismo, puesto que la competencia es un conocimiento situado62. Para los docentes que planifican y supervisan, resulta natural asumir esa disociación. El pase de sala, el alta de pacientes, la atención ambulatoria, la guardia médica, la entrega de guardia, la discusión diagnóstica y la atención médico quirúrgica, no sólo son prácticas asistenciales sino también actividades de aprendizaje62, 61. La tarea asistencial y la educación son dos caras de la misma moneda en el proceso de formación, expresadas en las preguntas de esos dominios, y en el contexto cultural de nuestro medio podría explicar el comportamiento factorial. Los residentes describen un óptimo CA como la combinación de trabajo y entrenamiento, ajustados a sus necesidades específicas. Los residentes sienten que su mayor aprendizaje proviene de la atención de pacientes y valoran su participación en esas instancias, aunque el CA se ve fuertemente afectado por un difícil balance entre provisión de servicio y educación4. Tras un testeo del D-RECT sobre una muestra mayor de residentes, el número de ítems se redujo a 35 y el número de factores, a 963. No obstante, los autores remarcan la necesidad de nuevas comprobaciones en la aplicabilidad del instrumento. En nuestro trabajo, las cargas factoriales fueron adecuadas para los ítems dentro de cada dominio (mayores a 0,30) considerando el tamaño muestral del estudio32. Cada dominio mantuvo 3 ítems como mínimo apropiado para identificarse como factor33.

Para el AFC, como las variables del estudio son ordinales, y la literatura considera para ese caso a los métodos robustos54, 55, 56, 57, 58, 35, 59, el ajuste de los modelos de estructuras de covarianzas fue verificado con el contraste de X² corregido de Satorra-Bentler64 dividido por sus grados de libertad (SBχ²/gl), asumiendo ausencia de normalidad multivariada para variables ordinales y su comportamiento robusto en tales condiciones, además de la sensibilidad del X² al tamaño de la muestra34. En tal condición, ULS y DWLS como métodos robustos34, 36, 37 difieren levemente en sus matrices de carga de datos y en el tamaño muestral requerido, pero ambos mostraron resultados similares. La misma conclusión puede alcanzarse con la Estrategia de Dos Índices65 que propone combinar dos indicadores para demostrar la bondad de ajuste, con diferentes posibilidades (Table 7).

A partir de estos resultados pueden establecerse otras categorías de validez32, 44: la validez convergente (evidencia de una relación coherente entre medidas del mismo constructo) y la validez discriminante (por contrapartida, probar que la medida no posee relación significativa con mediciones de otro constructo; es decir, ese constructo mide un concepto diferente de otros constructos). En nuestro estudio, la validez convergente fue demostrada por las cargas factoriales estandarizadas (mayores de 0,60) y valores T (mayores de 1,96) en ambos métodos de estimación del AFC. Del mismo modo, la VME mayor de 0,5 para cada dominio indica similar conclusión32. Con respecto a la validez discriminante, esta se consideró aceptable, ya que las VME de los distintos dominios no son inferiores a la mayoría de los cuadrados de sus correlaciones con otros constructos.

Por otro lado, la consistencia interna estima la correlación promedio entre todos los ítems de la medición, dado que se basan en la misma dimensión subyacente. Una baja consistencia interna significa que los ítems miden diferentes atributos o que las respuestas de los sujetos son inconsistentes. El índice α de Cronbach es sencillo de obtener, pero merece algunas observaciones66: al no tomar en cuenta variaciones en el tiempo o interobservador, es una estimación optimista de la verdadera confiabilidad de la prueba, y su sensibilidad se ve afectada por la extensión del instrumento, tendiendo a valores elevados con más de 15 ítems, independientemente de su correlación. Por este motivo, con escalas más largas, deben combinarse otros índices. El α de Cronbach mostró resultados a favor de la confiabilidad para el test global, y para cada dominio en particular. Cabe remarcar que, en el trabajo original6, el α de tres dominios fue inferior a 0,70. En nuestro trabajo, todos los valores estuvieron por encima de 0,80. Otro dato relevante a favor de la confiabilidad es el valor de la fiabilidad compuesta (mayor de 0,70 para cada variable latente32).

Adicionalmente, obtuvimos evidencia a favor de la confiabilidad del instrumento global y de los dominios individuales mediante el estudio G. En la teoría G, los resultados de una prueba son considerados como una muestra de un universo de observaciones admisibles, y cada oportunidad de aplicación de la prueba posee condiciones propias (como por ej., el formulario utilizado, los ítems, el evaluador, la ocasión de la medición) denominadas facetas. Es decir, el universo de observaciones admisibles está definido por todas las posibles combinaciones de esas facetas66.

Entre las limitaciones de este estudio podemos destacar que el D-RECT fue aplicado en idioma holandés en el estudio original, aunque su publicación ulterior se encuentra en idioma inglés, a partir del cual se realizó la presente adaptación transcultural. Más recientemente, el D-RECT fue revisado y validado en su país de origen por algunos de sus autores originales con modificaciones en su estructura7.

Como implicaciones educativas y sanitarias futuras de este trabajo, los autores consideramos que cabe esperar un impacto positivo en los programas de formación profesional luego de eventuales cambios institucionales basados en la medición del CA. Las residencias podrían verse beneficiadas al contar con este recurso, por la oportunidad de detectar oportunidades de mejora. Destacamos la importancia de que se desarrollen futuras investigaciones que eventualmente confirmen estos resultados, y otras sobre el impacto educativo y sanitario de su aplicación dentro de los programas de formación en distintas especialidades médicas.