Organizar un congreso de educación médica supone una inversión significativa de tiempo, recursos económicos y esfuerzo intelectual. Sin embargo, tradicionalmente el éxito se ha medido casi en exclusiva a través del número de asistentes o encuestas de satisfacción inmediata. Aunque estos indicadores ofrecen una primera fotografía, resultan insuficientes para demostrar el verdadero valor formativo y el impacto que el evento puede tener en la práctica clínica de los profesionales y, en última instancia, en la salud de los pacientes.
La evaluación del retorno educativo va mucho más allá de recoger si el café estaba caliente o si los ponentes resultaron amenos. Implica aplicar métricas rigurosas y multimodales que permitan cuantificar y cualificar cómo ha mejorado el conocimiento, las habilidades y las actitudes de los asistentes, y si esos cambios se transfieren después al lugar de trabajo. Para ello, los marcos científicos de evaluación, como el modelo de Kirkpatrick, y las herramientas que han demostrado su eficacia en la formación de residentes —mini‑CEX, portafolios, observación directa o análisis psicométricos— pueden adaptarse con enorme provecho al contexto de las reuniones científicas.
Este artículo propone una hoja de ruta para diseñar una estrategia de evaluación integral que posicione a los congresos no como un gasto, sino como una inversión educativa de alto rendimiento. Partimos de la evidencia acumulada en programas de residencia de la Universidad Privada Antenor Orrego, de los debates del V Congreso Internacional de Evaluación de la UNAM y de las experiencias compartidas en el XXVI Congreso de SEDEM, con el fin de construir un sistema de métricas experto que pueda ser implementado por cualquier comité organizador.
El modelo de evaluación de la formación propuesto por Donald Kirkpatrick es, desde hace décadas, el estándar de oro para evaluar programas educativos en ciencias de la salud. Su estructura en cuatro niveles jerárquicos —reacción, aprendizaje, conducta y resultados— permite ir ascendiendo desde la percepción subjetiva hasta las consecuencias objetivas en la salud de la población. Aplicado a un congreso médico, este modelo ofrece una columna vertebral para medir si el evento realmente ha servido para algo más que sumar créditos de formación continuada.
La gran ventaja del enfoque de Kirkpatrick es que obliga a los organizadores a hacerse preguntas incómodas pero necesarias: ¿el asistente se sintió satisfecho? (nivel 1), ¿adquirió nuevos conocimientos o habilidades? (nivel 2), ¿ha modificado algún comportamiento en su práctica cotidiana? (nivel 3) y, por último, ¿esa modificación se ha traducido en mejores indicadores clínicos o de gestión? (nivel 4). Responder a estas preguntas con rigor transforma la memoria anual del congreso en un verdadero informe de impacto.
El nivel más básico de evaluación es, a la vez, el que más información puede proporcionar si se diseña con criterio. Tradicionalmente se mide mediante cuestionarios de satisfacción con escalas tipo Likert que preguntan por la calidad de las ponencias, la organización o los espacios. Sin embargo, la mera puntuación media no basta: es necesario analizar la dispersión de las respuestas, identificar puntos de fricción concretos y, sobre todo, triangular esa información con datos de participación real.
Para elevar el nivel 1 al rango de métrica experta, se puede utilizar el Net Promoter Score (NPS) adaptado al evento (“¿recomendaría este congreso a un colega?”) y correlacionarlo con variables como el número de sesiones a las que asistió, la interacción en aplicaciones del congreso o el tiempo medio de permanencia en cada sala. De este modo, la reacción deja de ser un simple trámite burocrático y se convierte en un termómetro de la experiencia formativa capaz de guiar mejoras inmediatas para la siguiente edición.
Medir el aprendizaje en un congreso médico exige ir más allá de preguntar al asistente si cree que ha aprendido algo. El conocimiento declarado no equivale al conocimiento real. Por ello, cada vez son más habituales las pruebas de progreso pre‑ y post‑congreso, diseñadas con rigor psicométrico y alineadas con los objetivos de aprendizaje declarados en el programa. Estas pruebas, inspiradas en los exámenes de progreso que se utilizan en residencias médicas, permiten estimar la ganancia cognitiva atribuible al evento.
En el estudio de la UPAO sobre el impacto de la evaluación formativa en residentes, las pruebas de progreso lograron puntuaciones aceptables en los niveles 1 a 3 de Kirkpatrick cuando los residentes percibían una retroalimentación de calidad. La lección para los congresos es clara: no basta con administrar un test; hay que devolver a los participantes un informe individualizado que les muestre sus aciertos, sus áreas de mejora y una recomendación de recursos para seguir profundizando. Esa devolución convierte la prueba en un instrumento de aprendizaje en sí mismo.
El salto del aprendizaje a la acción es el punto donde muchos congresos tropiezan. Saber más no implica practicar de forma distinta. Para evaluar este nivel es preciso esperar semanas o meses tras el evento y recoger evidencias de que los asistentes han incorporado nuevas pautas de manejo clínico, han modificado protocolos en su servicio o han compartido lo aprendido con sus equipos. Herramientas como los planes de acción personales, las auditorías de historias clínicas antes y después del congreso, o los portafolios reflexivos permiten documentar ese cambio.
Los resultados del programa de residentado médico citado mostraron que los componentes reflexivos —discusión de casos clínicos, incidentes críticos y retroalimentación— obtuvieron impacto educativo positivo en los niveles 1 a 3 de Kirkpatrick. Trasladado a un congreso, esto sugiere que actividades como talleres de simulación con debriefing estructurado, sesiones de discusión de casos reales o la elaboración de un diario reflexivo post‑evento pueden ser los mejores predictores de que el aprendizaje se convertirá en conducta observable.
Alcanzar el nivel 4 de Kirkpatrick en la evaluación de un congreso es el ideal al que todo organizador debería aspirar, aunque se reconoce como el más complejo de medir. Implica demostrar que los conocimientos y habilidades adquiridos durante el evento han contribuido a mejorar indicadores duros de salud —por ejemplo, tasas de infección, mortalidad ajustada, adherencia a guías clínicas o satisfacción de los pacientes— en los hospitales y centros donde trabajan los asistentes.
El estudio de la Universidad Privada Antenor Orrego registró una disminución significativa de las tasas de mortalidad neta e infecciones intrahospitalarias en los cinco hospitales docentes durante los tres años en que se aplicó el sistema de evaluación basada en el desempeño. Aunque atribuir causalidad directa a un solo congreso sería arriesgado, sí es posible diseñar estudios ecológicos o de series temporales interrumpidas que monitoricen indicadores seleccionados en hospitales cuyos profesionales asistieron frente a aquellos que no lo hicieron. Esta estrategia, combinada con análisis multivariante que controle factores confusores, acerca la evaluación del congreso a la evidencia científica de alto impacto.
La caja de herramientas de la educación médica contemporánea ofrece múltiples instrumentos que, con las adaptaciones pertinentes, pueden incorporarse al diseño evaluativo de un congreso. No se trata de sobrecargar al asistente con un alud de formularios, sino de elegir aquellas herramientas que mejor se alineen con los objetivos de aprendizaje del evento y con el nivel de Kirkpatrick que se desea medir. La combinación de métodos cuantitativos y cualitativos permite capturar tanto la magnitud del cambio como el significado que los participantes le atribuyen.
Experiencias como las presentadas en el V Congreso Internacional de Evaluación de la UNAM insisten en la necesidad de construir ecosistemas de evaluación, donde distintas técnicas —desde la psicometría avanzada hasta la realimentación cualitativa— convivan y se refuercen mutuamente. De igual modo, el XXVI Congreso de SEDEM dedicó sesiones completas a debatir sobre la utilidad de la observación directa, el portafolio virtual y los pacientes simulados como fuentes de evidencia. Estas discusiones avalan la pertinencia de trasladar dichas herramientas al ámbito de los congresos.
Las encuestas de satisfacción siguen siendo la puerta de entrada a cualquier sistema de evaluación. Para que sean útiles a nivel de retorno educativo, deben incluir ítems que relacionen directamente la experiencia con la probabilidad de cambio de práctica. Por ejemplo, se puede preguntar en qué grado los contenidos le han proporcionado “estrategias concretas que puedo aplicar a partir de mañana en mi consulta”. La escala Likert de 5 puntos, con anclajes bien definidos, permite calcular índices de validez de contenido similares a los empleados en estudios de educación médica.
El Net Promoter Score, por su parte, clasifica a los asistentes en promotores, pasivos y detractores en función de su disposición a recomendar el congreso. Esta métrica tiene la ventaja de ser sencilla, comparable entre ediciones y sensible a cambios en la calidad global percibida. Cuando se cruza con variables de aprendizaje o de intención de cambio de conducta, el NPS se convierte en un indicador proxy del valor que el profesional otorga al evento dentro de su desarrollo profesional continuo.
Las pruebas de progreso pre‑ y post‑congreso deben construirse siguiendo los mismos estándares de calidad que los exámenes de altas consecuencias. Esto implica elaborar una tabla de especificaciones, validar los reactivos mediante juicio de expertos y calcular índices de dificultad, discriminación y consistencia interna. La Facultad de Medicina de la UNAM, a través de la Secretaría de Educación Médica, ha desarrollado un circuito de diseño que incluye revisión colegiada y análisis post‑examen, y que puede servir de modelo para los comités científicos de los congresos.
Las simulaciones, ya sean con pacientes estandarizados, entornos virtuales o escenarios de alta fidelidad, permiten evaluar el razonamiento clínico, la comunicación y las habilidades procedimentales de manera integrada. Incorporar estaciones ECOE (Examen Clínico Objetivo Estructurado) simplificadas en el programa del congreso no solo enriquece la experiencia del asistente, sino que genera datos objetivos sobre el nivel competencial alcanzado. El análisis de esas estaciones mediante teoría de respuesta al ítem (TRI) o modelos de diagnóstico cognitivo (MDC), como los explicados en el congreso de la UNAM, produce perfiles de dominio detallados que los asistentes pueden llevarse como hoja de ruta para su formación futura.
El mini‑Clinical Evaluation Exercise (mini‑CEX) y la observación directa de habilidades procedimentales (DOPS) son instrumentos de evaluación basada en el lugar de trabajo que han demostrado validez de constructo y criterio en numerosos metaanálisis. Aunque en un congreso no se dispone del entorno clínico real, sí pueden habilitarse espacios de simulación donde los asistentes realicen una consulta o un procedimiento mientras un tutor entrenado observa y proporciona retroalimentación estructurada en tiempo real.
La retroalimentación posterior a la observación directa fue uno de los componentes mejor valorados por los residentes en el estudio peruano, especialmente cuando se ofrecía de forma inmediata y vinculada a un plan de mejora. Un congreso que quiera maximizar su impacto educativo debería considerar seriamente la inclusión de talleres con mini‑CEX, ya que convierten la evaluación en un acto formativo más que sumativo, alineándose con la filosofía de “evaluar para aprender” defendida por expertos como el doctor Alberto Lifshitz y reiterada en el foro de estudiantes de la UNAM.
Los portafolios electrónicos han mostrado ser especialmente eficaces para fomentar la práctica reflexiva y el aprendizaje autodirigido cuando se acompañan de una tutorización cercana. Adaptados al ciclo de un congreso, un portafolio breve puede solicitar al asistente que documente los dos o tres aprendizajes más significativos, describa un incidente crítico que desee analizar y esboce un plan de acción para transferir ese conocimiento a su entorno laboral.
La evidencia del programa de residentado médico de la UPAO indicó que el incidente crítico y la retroalimentación del portafolio virtual alcanzaron puntuaciones superiores a 4 en todos los niveles de Kirkpatrick. Esto sugiere que pedir a los asistentes que identifiquen un “incidente crítico” —una situación clínica que les resultó desafiante y sobre la que el congreso arrojó nueva luz— y que lo conecten con acciones concretas a implementar, es una estrategia de bajo coste y alto valor para evaluar y consolidar el nivel 3 del modelo.
La irrupción de la inteligencia artificial (IA) generativa y de los grandes modelos de lenguaje ha abierto posibilidades fascinantes para la evaluación educativa. Durante el XXVI Congreso de SEDEM se debatió ampliamente sobre el papel de la IA en la educación médica, desde el desarrollo de pacientes virtuales hasta el análisis automatizado de la calidad de los prompts y la detección de patrones en los errores de razonamiento. Aplicada a la evaluación del retorno de un congreso, la IA puede procesar miles de respuestas abiertas en tiempo real, categorizar las intenciones de cambio de práctica y generar informes de tendencias.
Sin embargo, los expertos coincidieron en la necesidad de mantener una supervisión humana rigurosa y un enfoque ético. La IA debe ser una asistente, no un sustituto del juicio educativo. Herramientas como los modelos de diagnóstico cognitivo, apoyados por matrices Q, permiten construir perfiles de competencia individualizados que, combinados con la analítica de aprendizaje recogida durante el congreso (sesiones vistas, interacciones en la app, resultados de mini‑CEX), ofrecen una radiografía sin precedentes del impacto formativo.
Un sistema de evaluación del retorno educativo no se improvisa la semana después del congreso. Requiere una planificación cuidadosa que comienza en el momento en que se definen los objetivos de aprendizaje del programa. La experiencia de la UNAM en sus jornadas de evaluación muestra que los mejores resultados se obtienen cuando se involucra a los docentes y a los futuros asistentes desde la fase de diseño, creando así un ecosistema de evaluación vivo y participativo.
La clave está en seleccionar un conjunto de herramientas que cubran al menos los tres primeros niveles de Kirkpatrick y que resulten sostenibles para el equipo organizador. No es necesario desplegar todos los instrumentos descritos; basta con combinar, por ejemplo, una encuesta de reacción enriquecida, una prueba de progreso validada, un mini‑CEX en algunos talleres y un portafolio reflexivo post‑congreso. La coherencia del sistema, su alineamiento con los objetivos educativos y la transparencia en el uso de los datos son los factores que determinan su aceptación y utilidad.
Para que las conclusiones sobre el retorno educativo de un congreso tengan credibilidad científica y puedan publicarse, es imprescindible acumular evidencias de validez. Siguiendo el marco de Messick y Kane, discutido en el V Congreso de Evaluación de la UNAM, se debe argumentar no solo que los instrumentos miden lo que pretenden medir (validez de constructo), sino también que las inferencias realizadas a partir de las puntuaciones son justas, libres de sesgo y pertinentes para la toma de decisiones.
La combinación de métodos cuantitativos (pruebas objetivas, análisis psicométricos con TRI o MDC) y cualitativos (entrevistas, grupos focales, análisis de contenido de los portafolios) permite triangular la información y fortalecer la validez global. El uso de indicadores como la tasa de respuesta, el índice de discriminación de los reactivos o la consistencia interna alfa de Cronbach, complementado con narrativas que expliquen el porqué de los cambios detectados, conforma un cuerpo de evidencia que convence tanto a los financiadores como a la comunidad académica.
Durante el 5.° Congreso Internacional de Evaluación de la UNAM, todos los ponentes coincidieron en que la realimentación (feedback) es el motor que transforma una calificación en aprendizaje. Trasladado al ámbito de los congresos, esto implica que los resultados de la evaluación no deben guardarse en un cajón, sino devolverse a los participantes, a los ponentes y a los organizadores de forma clara y accionable. Una infografía personalizada con los logros obtenidos, las áreas de mejora y una sugerencia de próximos pasos multiplica el valor percibido del evento.
Del mismo modo, la institución organizadora debe analizar los datos agregados para identificar tendencias y puntos ciegos. Si, por ejemplo, el nivel 2 muestra que la ganancia en competencias de comunicación es baja a pesar de que el programa incluía talleres específicos, es una señal para rediseñar esos talleres o para reforzar la formación de los instructores. Esta dinámica de evaluación‑realimentación‑mejora convierte al congreso en un laboratorio de innovación educativa y refuerza su posicionamiento como referente en la formación médica continuada.
El congreso no termina cuando se cierra la última ponencia. Como asistente, usted puede maximizar su propio retorno educativo solicitando información sobre los objetivos de aprendizaje antes del evento, participando activamente en talleres que ofrezcan retroalimentación directa y elaborando un breve plan de acción personal para transferir lo aprendido a su práctica diaria. Pequeñas acciones como anotar un incidente crítico que le haya resonado y proponerse un cambio concreto en las siguientes cuatro semanas multiplican la probabilidad de que el conocimiento se convierta en conducta.
Si forma parte del comité científico, incorpore métricas más allá de la satisfacción. Exija evidencias de validez en las pruebas que se administren, diseñe algunos espacios con observación directa o mini‑CEX y dedique tiempo al análisis de los datos post‑congreso. La educación médica de calidad merece congresos que se tomen en serio la evaluación del impacto y que comuniquen sus resultados con la misma transparencia que cualquier investigación clínica.
Invertir en la evaluación del retorno educativo de un congreso no es un gasto superfluo, sino una estrategia para demostrar el valor de la formación continuada ante las administraciones, las agencias de acreditación y la sociedad. Un congreso que puede mostrar datos de mejora en los niveles 3 y 4 de Kirkpatrick se convierte en un activo estratégico para la institución que lo promueve, atrayendo más patrocinios, más asistentes y un reconocimiento profesional sólido.
Para lograr ese objetivo, dote a su comité de un presupuesto específico de evaluación, forme a los evaluadores en metodología educativa y promueva alianzas con unidades de educación médica que puedan dar soporte psicométrico. El camino hacia un ecosistema de evaluación robusto es gradual, pero cada edición del congreso puede ser un peldaño más hacia la excelencia. Como recordó el doctor Melchor Sánchez Mendiola en la clausura del congreso de la UNAM, el dilema no es usar la tecnología o no, sino qué parte del juicio le delegamos. Con un enfoque ético, científico y centrado en el aprendizaje, los congresos médicos pueden convertirse en palancas de transformación real de la práctica clínica.
Expertos en organización de congresos y conferencias médicas, conectando a profesionales del sector salud en eventos exitosos.
