5.4 Supervisión y evaluación

Un plan de supervisión y evaluación, con los instrumentos apropiados, debe ser parte integrante de cualquier plan de implementación para asegurar que las actividades planeadas se llevan a cabo y que los objetivos se están alcanzando. Si los recursos lo permiten, un departamento o unidad (por ejemplo, una unidad de supervisión y evaluación, la unidad responsable del SIGE o el SIAD, o un equipo mixto) debería encargarse periódicamente de supervisar la correcta ejecución del plan. En aquellos casos en los que los recursos humanos o financieros con los que cuenta la autoridad educativa sean limitados (por ejemplo, en países con pocos recursos, estados pequeños o autoridades descentralizadas), por lo menos un miembro de la unidad que diseña el plan debería ser responsable de esos aspectos.

Las actividades de supervisión pueden concretarse en:

• Supervisión periódica mediante revisiones «de escritorio» o de campo, análisis de los registros de implementación y del registro de actividades, recopilación permanente de datos y reuniones estructuradas dentro de los departamentos o los organismos que se ocupan de la implementación y entre ellos. Este tipo de supervisión es necesaria para evaluar si se están alcanzando las metas y los términos de referencia (hitos) que se han definido en el plan de implementación, identificar las dificultades y generar las soluciones a los problemas que puedan surgir. Se pueden usar planes de trabajo anuales e informes periódicos para ayudar a estructurar esas acciones (Kusek y Rist, 2004: 97-98). El plan estratégico para la educación de Trinidad y Tobago basa su supervisión en informes mensuales de cada funcionario y de todas las divisiones o unidades que participan en el plan (ME/Gobierno de la República de Trinidad y Tobago, 2012: 30-31). También se pueden usar los análisis de información puntual generados a través del SIGE/SIAE o unidades de estadística. El «Gender Equity Strategic Plan» (Plan Estratégico para la Igualdad de Género) en la educación de Papúa Nueva Guinea se apoya en un tipo de supervisión basada en datos comparativos agrupados según el género de alumnos, docentes, directores y funcionarios de educación, proporcionados anualmente (DoE, Papúa Nueva Guinea, 2009: 13-25). La supervisión periódica debe incluir a los organismos descentralizados responsables de las actividades del plan.
• Los informes periódicos de supervisión elaborados por especialistas en supervisión y evaluación son importantes. Están basados en revisiones regulares realizadas por la unidad o el equipo de supervisión, para los que se han empleado herramientas y directrices consensuadas (por ejemplo, un cuestionario que evalúa los resultados obtenidos, o una lista de control en consonancia con las actividades de implementación). Los informes deben dirigirse a los responsables de la toma de decisiones en cada nivel pertinente, para informarles en tiempo real acerca de las limitaciones y las medidas correctivas recomendadas para realizar los ajustes necesarios al plan de implementación.
• Una revisión anual con las partes interesadas debe estar programada y ser conducida por los responsables de supervisar la implementación del plan junto con los interesados clave: representantes de docentes, alumnos, padres, organizaciones no gubernamentales o sociedad civil. Además de usar los resultados de la supervisión periódica y los informes, el equipo supervisor que realiza la revisión anual debe generar un proceso consultivo abierto que permitiera que las partes interesadas compartan sus preocupaciones y sus éxitos en la implementación del plan y que indicara, de manera crítica, en qué casos deben cambiarse las actividades. Estos comentarios son fundamentales para evaluar la implementación de la política. El informe que surja de la revisión debe ser honesto, e indicar las dificultades e incluso los fracasos, y no debería estar guiado por el deseo de agradar a las personas que ocupan cargos estratégicos o a los responsables de la toma de decisiones o de la elaboración de la política.
• Es necesario elaborar un informe anual general sobre el rendimiento que incorpore los elementos más importantes de las supervisiones anteriores. Este informe servirá como documento básico para la revisión de alto nivel de los logros, las deficiencias y las posibles mejoras. La revisión debe, a su vez, servir como pilar para un plan de acción revisado. Para que sea significativo, debe ser coherente con los objetivos del plan de acción, en cuando a la dimensión de los recursos humanos y financieros clave.

La supervisión puede mostrar cambios en cuanto a los indicadores específicos, tales como la medición de los avances o la falta de estos, pero no necesariamente indica a qué se deben los cambios, de ahí la necesidad de una evaluación que revele lo que sucedió y por qué, y qué cambió (Russon, 2010: 108). Para evaluar la implementación de la política y proporcionar una guía para las futuras aplicaciones, es importante realizar una evaluación de medio plazo y una final (o ambas), que sean llevadas a cabo preferentemente por personal independiente para garantizar la objetividad. Una revisión final puede evaluar los efectos y los resultados, la relevancia, la rentabilidad y la sostenibilidad, así como esbozar las razones del éxito o del fracaso, en particular, extraer enseñanzas para orientar la revisión de la política y los planes futuros (véase el ejemplo de Namibia en el Cuadro 5.4).

El seguimiento y la evaluación eficaces requieren indicadores claros y cuantificables relacionados con los objetivos establecidos. Los principales indicadores deben ser:

• limitados en número y centrados en las prioridades más importantes;
• presentados en un esquema basado en resultados u orientado a los productos, para medirlos de manera significativa;
• formulados para permitir un análisis de las desigualdades o desequilibrios en la implementación de la política (según género, urbana/rural, poblaciones desfavorecidas, etc.);
• consistente y estable a través de todo el ciclo de implementación y, lo que es más importante, fácilmente comprensible para todos los usuarios, desde quienes toman decisiones al más alto nivel hasta los usuarios afectados más directamente, es decir, docentes y alumnos.

En este sentido, es necesario que las partes interesadas y, si es relevante para la implementación de la política, también los socios, estén de acuerdo con los indicadores y los acepten (IIPE y GPE, 2012: 15-18; OIT, 2012: 64, 102, 133-134). A través de los mecanismos de diálogo social apropiados (véase el Capítulo 4), los docentes a nivel escolar y las organizaciones de docentes a otros niveles pueden proporcionar valiosas contribuciones sobre los indicadores que tengan prioridad para los resultados del aprendizaje que sean cuantificables de una forma significativa y equitativa en relación con las realidades del aula, y respeten los requerimientos de consistencia a lo largo del tiempo.

Aunque los diseñadores de un plan de implementación invariablemente necesitarán indicadores cuantitativos para guiar la implementación, una mayor confianza en información cualitativa proveniente de las partes interesadas o investigadores independientes puede ser un suplemento valioso para evaluar el éxito o el fracaso, y así influenciar la política y la planificación estratégica para conseguir un mayor impacto. El enfoque cualitativo es crucial en la evaluación de actitudes y comportamientos de los actores que quizá sean los más importantes en la implementación de la política (los docentes), quienes, por muchas razones relacionadas con sus antecedentes personales y profesionales, experiencias y percepciones de su situación, a menudo se muestran reticentes a la hora de implementar una política en la cual no han realizado casi ningún aporte, o ninguno, durante el proceso de desarrollo (Smit, 2005; Hargreaves, 1994; Hargreaves, 1998).

Además de las percepciones y los comentarios de los docentes y los líderes escolares sobre la implementación del plan y los objetivos generales de la política, la supervisión y la evaluación pueden ser una oportunidad para usar un mecanismo institucional (diálogo social) que asegure un mayor aporte de los maestros en el proceso a nivel escolar, si ese aporte no está ya presente en otras etapas de la política (véanse los Capítulos 2, 3 y 4) (OIT, 2012: 216-217).

Cada vez se proponen más enfoques desde la base (en lugar de verticales) en la evaluación y la supervisión del diseño y la implementación de la política:

• Una investigación en China ha mostrado una división entre la valoración de los docentes y las autoridades sobre el éxito de la política de movilidad de docentes desde el centro urbano a las zonas rurales. Se identificaron debilidades en el sistema de incentivos, los mecanismos de evaluación y el sistema de apoyo del gobierno local, que requerían un trabajo adicional para que la política tuviera éxito. Una de las recomendaciones de cambios que surgieron del análisis de la política fue brindar más oportunidades para que los docentes recibieran consultas, proporcionaran comentarios y participaran en el diseño de la política (Liu, Li y Du, 2014: 78-80).
• Del mismo modo, una evaluación de los planes nacionales de educación de Pakistán desde 1992 a 2010, en la extensa provincia de Punjab, identificó una serie de razones que explicaban los fracasos y la implementación deficiente, relacionados con la administración. Una de las recomendaciones para fortalecer la implementación de los planes de educación fue convertir el mecanismo de implementación en un proceso más activo, responsable y sensato, con un enfoque desde la base, estructurado sobre una mayor implicación de las APD, los docentes y otras partes interesadas (Siddiq, Salfi y Hussain, 2011: 294).
• Finalmente, el análisis de las experiencias de los docentes con la implementación de la política educativa inclusiva en dos distritos en Ghana evidenció que los docentes tenían conceptos limitados y a menudo distorsionados de la política y las innovaciones requeridas en su práctica. Para que tenga éxito, el proceso de implementación de la política debía haber sido más claro y más inclusivo, para que las partes interesadas pudieran comprender el propósito de la agenda política y aceptarlo (Alhassan, 2014: 127).