Recomendaciones de la Agencia de Calidad Sanitaria de Andalucía

Nº 22.- Evaluación del impacto

Diciembre/2014

Introducción

Aunque existe una gran variedad de definiciones del impacto de la formación, buscando una síntesis podríamos entenderlo como la efectividad de la formación realizada sobre el desarrollo de los profesionales y su incidencia en el logro de los objetivos de la organización (de funcionamiento, económicos, asistenciales, etc.).

Esta formulación del concepto abarca tanto los efectos en la práctica de los profesionales (impacto en el desarrollo profesional) como los efectos que la formación puede producir en los objetivos de la organización (donde la mejora de la atención al ciudadano y la salud pública son parte de su misión), y se sustenta en algunos pilares básicos, como son: la detección objetiva de la necesidad formativa; la identificación de resultados de aprendizaje de aplicación directa a la práctica; la elección de las técnicas adecuadas; la evaluación de la práctica profesional (transferencia); la comparación de los resultados de la evaluación de la práctica profesional con el diagnóstico inicial.

La Agencia de Calidad Sanitaria, como entidad certificadora de la calidad del diseño de la formación continuada en Andalucía, contempla la evaluación del impacto entre los criterios de calidad relacionados con el proceso de aprendizaje. Así, en los tres ámbitos del Programa Integral para la acreditación de la Formación Continuada de las profesiones sanitarias (Centros y unidades, Programas, Actividades), la evaluación del impacto aparece como criterio clave para garantizar el desarrollo óptimo de la formación.

En el ámbito de la certificación de unidades y centros de formación continuada, este aspecto se contempla en el estándar “ES 3 04.05_02 – La Unidad o Centro de formación continuada utiliza instrumentos de evaluación del impacto de la formación que imparte.
Propósito: Evaluar si han producido las modificaciones esperadas en la conducta profesional y/o en la organización derivadas de las actividades de formación o programas de actividades de formación realizados.”

En el ámbito de la certificación programas de actividades de formación continuada, a la evaluación del impacto se dedican dos estándares:

“ES 3 04.06_01 – Existen procedimientos o herramientas que permiten medir la incidencia del programa sobre la conducta profesional, asistencial, organizacional y/o institucional (impacto), a través de criterios e indicadores objetivos.
Propósito: Garantizar la existencia de instrumentos que facilitan la medición de la efectividad del Programa en la conducta profesional y/u organizacional.”

“ES 3 08.03_01 – Se identifican los indicadores que van a permitir la medición del impacto del Programa de actividades.
Propósito: Asegurar la medición de la repercusión del Programa de formación sobre la organización y sobre el desarrollo profesional, en relación al objetivo general que se propone.”

Del mismo modo, la certificación de actividades de formación continuada también recoge este aspecto en uno de los elemento de calidad relacionados con la Evaluación de la formación:
“Los indicadores de impacto aportan información sobre los cambios producidos en el contexto asistencial y/u organizativo.
Propósito: Garantizar la obtención de información de retorno sobre la efectividad de la actividad realizada, en relación a la repercusión esperada al detectar la necesidad formativa.”

Situación actual

A pesar de su importancia, la evaluación del impacto sigue siendo un área de mejora constante en gran parte de la formación continuada evaluada en el ámbito del Programa Integral para la acreditación de la Formación Continuada de las profesiones sanitarias.

Los resultados de las evaluaciones finalizadas entre enero 2013 y septiembre 2014 muestran cómo los porcentajes de cumplimiento de los estándares y elementos de calidad dedicados a la evaluación del impacto sean significativamente más bajos respecto a la media.

En el ámbito de la certificación de unidades y centros de formación continuada ninguno de los 12 proyectos evaluados en el periodo definido ha logrado cumplir el estándar ES 3 04.05_02, con lo cual el porcentaje de cumplimiento se sitúa en un 0%, mientras que la media de cumplimiento de los estándares se sitúa en el 49,2%.

En los procesos relativos a la certificación de programas de formación continuada (82 programas evaluados) el porcentaje de cumplimiento del estándar ES 3 04.06_01 es del 6,10% (76 no lo cumplen) y el del estándar ES 3 08.03_01 es del 7,32% (74 programas no lo cumplen), respecto a una media del 56,63%.

Finalmente, en el ámbito de la certificación de actividades de formación continuada el porcentaje de cumplimiento del ítem relacionado con el impacto es aún más bajo, llegando solo al 1,11% respecto a una media de 52,8% (sobre 1980 actividades, 1951 no cumplen).

Entre las causas de los bajos niveles de cumplimientos de estos estándares, podemos identificar una serie de errores que se suelen cometer en la planificación de la actividad y que pueden repercutir negativamente en la posibilidad de evaluar el impacto:

  • Ausencia o escasa definición del diagnóstico inicial de manera objetiva.
  • Vaga definición de los objetivos generales o excesivamente ambiciosos.
  • Objetivos específicos no centrados en la práctica profesional.
  • No situar al destinatario como protagonista de su proceso de capacitación.

Recomendaciones

Es probable que casi todas las actividades formativas, si están bien diseñadas, generen impacto, pero no siempre es posible medirlo objetivamente. La posibilidad de evaluación del impacto de una acción formativa depende de varios factores: que los objetivos de aprendizaje vayan destinados a la capacitación en la práctica profesional; que las técnicas didácticas empleadas vayan encaminadas a, por lo menos, simular la práctica profesional; que los destinatarios tengan la posibilidad de transferir el aprendizaje a la práctica profesional; de la implicación de otras personas de la organización; de la factibilidad, en términos de coste-beneficio.

Otro factor que condiciona la posibilidad de evaluar el impacto es la tipología de la acción formativa. Si la actividad tiene un enfoque teórico (p.ej. un curso con objetivos expresados en términos de conocimientos), no podríamos medir el impacto. Por lo contrario, si se trata de una formación enfocada a la práctica, al ‘hacer’ (p.ej. un programa de capacitación/implantación) será fácil medir transferencia y el impacto.

Aún así, existen algunos factores que la Agencia de Calidad Sanitaria de Andalucía recomienda tener en cuenta a la hora de planificar la formación para que nos ayuden a evaluar el impacto:

  1. Identificar la necesidad de mejora a la que se quiere dar respuesta y detallar la situación inicial.
  2. Valorar la posibilidad de dar respuesta a esta necesidad con formación.
  3. Identificar de manera objetiva la necesidad formativa, identificando las competencias y buenas prácticas a las que está asociada en los mapas de competencias de los diferentes puestos de trabajo. Esta tarea nos permite observar el impacto de la formación en el desarrollo de cada práctica concreta de un profesional determinado. Además, si asociamos objetivos a las buenas prácticas incluidas en los mapas, seremos capaces de medir también el impacto en la organización. Para ello, es necesario estructurar la formación partiendo de los elementos de los mapas de competencias, traduciendo las competencias en objetivos generales, las buenas prácticas en objetivos específicos y las evidencias en resultados de aprendizaje esperados (contenidos formativos).
  4. Describir los objetivos de aprendizaje esperados, las técnicas didácticas, los destinatarios, la implicación de otros agentes de la organización y la factibilidad de la evaluación del impacto de la formación en términos de coste-beneficio.
  5. Describir los resultados concretos que se esperan lograr. Los resultados de aprendizaje han de poder ser aplicados directamente a la práctica profesional.
  6. Valorar si los resultados son evaluables y, si es así, indicar qué aspectos específicos de los mismos se van a evaluar.
  7. Describir cómo se va a evaluar la práctica profesional (transferencia).
  8. Describir cómo se van a comparar los resultados de la evaluación de la práctica profesional con el diagnóstico inicial, a través de la definición de indicadores de impacto.

En el portal web del Observatorio para la Calidad de la Formación en Salud, en la sección ‘Buenas prácticas compartidas’ del Calidadscopio, están disponibles varios ejemplos de programas de actividades de formación continuada acreditados en nivel excelente, logrando la máxima puntuación en su componente cualitativo medio (CCL) gracias al cumplimiento de todos los estándares de calidad previstos en los cinco bloques del Manual de acreditación de programas de actividades formativas del Programa Integral para la Acreditación de la Formación Continuada de las Profesiones Sanitarias, entre ellos los relacionados con la evaluación del impacto:

>Programa de formación continuada en ‘Actualización en el manejo del paciente quirúrgico urgente’ del Área de Gestión Sanitaria Este de Málaga-Axarquía

>Programa de formación continuada en ‘Principios metodológicos en Laboratorio Clínico’ del Área de Gestión Sanitaria Este de Málaga-Axarquía

Agencia de Calidad Sanitaria de Andalucía
Miembro asociado de
Facebook de la Agencia de Calidad Sanitaria de Andalucía Twitter @calidadACSA

Parque Científico y Tecnológico Cartuja, Pabellón de Italia, Calle Isaac Newton, 4, 3º planta, 41092 – Sevilla. Tlf: 955 023 900 - Fax: 955 023 901
Entidad gestionada por la Fundación Pública Andaluza Progreso y Salud

Esta web no se encuentra optimizada para su navegador, en breve será redirigido a una versión compatible del portal (El contenido de noticias puede no estar actualizado).

Actualize su navegador a la versión 9 o superior del mismo. También puede utilizar otros navegadores como Google Chrome o Mozilla Firefox

En caso de no ser redirigido pulse aquí