CARLOS CHIANG BERNAL

LA GERENCIA SOCIAL

Desde los albores de la creación, la evaluación nació el séptimo día de la Creación, cuando Dios miró todo lo que había creado y declaró “Es bueno.” 1 Con esa sola frase, Dios se convierte en el primer evaluador del mundo. No obstante, la evaluación nacida en los cielos resultaba para algunos insuficiente y demasiado subjetiva. Por tanto, al escuchar la evaluación de Dios (autoevaluación, por cierto), el diablo objetó e insistió “¿cómo sabe que es bueno? ¿Cómo lo midió? ¿con qué indicador juzgó la bondad de su creación? ¿con qué lo comparó?” Y, así, nace la evaluación.
Planificar que la evaluación ha sido percibida en los sectores sociales como un deber gigantesco impuesto a gestores y ejecutores sin que ellos sientan ningún amor por el proceso ni perciban que tenga ninguna utilidad directa a sus procesos gerenciales o decisorios.
La evaluación se ha tenido que esperar como tarea que hay que hacer, por haber sido impuesta por exigencia Jurídica, por tecnócratas del Ministerio de Economía y Finanzas con aportes de por agencias financieras. Los que ven rasgos en el proceso evaluativo, típicamente han sufrido evaluaciones sofisticadas, cuyos resultados se plasman en grandes informes de evaluación o de los informes anuales que obran en la bibliotecas Institucionales o algún tecnócrata, sin hacer mayor aporte al diseño o la gestión de la iniciativa evaluada.
Cuestionando estas percepciones negativas de la evaluación han disminuido en diversos momentos, particularmente en algunos tiempos de escrutinio del rol apropiado del Estado y de juicio social sobre la eficacia y eficiencia de la gestión pública. Por ejemplo, en los Estados Unidos hacia final de los setenta, se plantea que “en la medida que los llamados por eficiencia aumenten, hay presión por incrementar el ‘accountability’ de los gerentes. Esto permite que periódicamente sean utilizados los procedimientos evaluativos para medir el cumplimiento de metas explícitas y específicas. Estos análisis periódicos permitirán a los gerentes hacer ajustes internos en sus iniciativas y al mismo tiempo brindarán a sus subordinados una base para su intervención o, para ‘proveer asistencia técnica’.
En la década de los años noventa en América Latina han traído un profundo cuestionamiento del rol de la eficacia y de la eficiencia del sector público. Dicho cuestionamiento ha abierto la puerta a nuevas iniciativas para diseñar y poner en marcha procesos eficaces de evaluación. Por lo tanto, ha habido mucho discurso y mucha tinta regada sobre la importancia de la evaluación. Se empieza a reconocer y destacar los elementos bondosos del “monstruo” de la evaluación. Por ejemplo, Wiesner Duran (1994) llama la evaluación “el ‘proxy’ del mercado en la administración pública” y considera que la evaluación se puede convertir en uno de los instrumentos más poderosos en la promoción de la modernización de la gestión pública. Guerrero (1993) destaca un rol de la evaluación como “insumo a la reforma de políticas”.
A pesar de lo que ha sido tan hablado y tan publicado sobre la importancia de los procesos
2
evaluativos, aún es poco común encontrar programas o políticas sociales en América Latina que tiene un riguroso y sistemático proceso de evaluación incorporado a los procesos cotidianos de gestión y toma de decisiones. Aunque puede haber cierto avance en construir conciencia sobre la importancia de la evaluación, en la mayoría de los casos la evaluación aún no ha logrado un papel significativo o estratégico dentro del trabajo de diseñar e implementar estrategias, programas o proyectos.
Dicho de otra manera, la evaluación se ha reconocido como importante, mas no se ha convertido en un proceso indispensable que forme parte del proceso de gestión. En efecto, los líderes en el discurso y la promoción de la evaluación han sido mayoritariamente ministerios centrales de planeamiento o de finanzas, interesados en lograr transparencia con respecto a los efectos e impactos del gasto público – sin haber generado convicciones verdaderas y efectivas con respecto a la evaluación en los ministerios y agencias gestores de las políticas y programas sociales.
Donde bien uno podría consolarse con ver evidencias de cierta convicción sobre la importancia de medir, monitorear y evaluar en los sectores públicos, al darse cuenta que dicha convicción no ha conducido a la efectiva implementación de procesos eficaces de monitoreo y evaluación en los sectores sociales, surge la gran duda sobre ¿por qué?. ¿Por qué no se ha logrado una utilización amplia de la evaluación como instrumento o insumo de los procesos de gestión de políticas y programas sociales?
Este trabajo intenta reflexionar sobre las posibles razones por las cuales la evaluación no logra insertarse efectivamente a la gerencia en los sectores sociales y luego propone tres acciones prioritarias que podrían promover el uso gerencial de los procesos evaluativos. La próxima sección examina las definiciones de la evaluación y de procesos relacionados. La siguiente sección analiza las características de los sectores sociales que contribuyen a la perpetuación de la imagen “monstruo” del proceso evaluativo. En las últimas secciones, se pregunta “¿cómo avanzamos?” en la destrucción de la imagen monstruo y la construcción de una alianza entre los procesos evaluativos y los gerenciales y decisorios.
¿Qué es la evaluación?
De acuerdo a la definición de La Real Academia de la Lengua (1992) indica que “evaluación” consiste en “la acción y efecto de señalar el valor de una cosa” y que “evaluar” significa “estimar, apreciar, calcular el valor de una cosa”. De hecho, la palabra “evaluar” viene del Latín valere. María Moliner, en su Diccionario de Uso del Español 1990, señala que “evaluar” consiste en “atribuir cierto valor a una cosa”. Otros diccionarios --tanto del castellano como del inglés-- coinciden en asociar la evaluación con su etimología y asociarla con la asignación de valor.
Según, Michael Scriven (1991) indica que “evaluación” se refiere al “proceso de determinar el mérito o valor de algo” y, por tanto, constituye un proceso que “involucra alguna identificación de estándares relevantes…, alguna investigación del desempeño de lo que se evalúa con base en estos estándares…”.
3
En la práctica del análisis de políticas, programas y proyectos, se ha distinguido en la ‘evaluación de procesos’, frecuentemente denominada el ‘monitoreo’.
El monitoreo permite realizar un seguimiento de las acciones de la iniciativa que se evalúa y los productos de dichas acciones. La UNICEF (1991) define el monitoreo como “un seguimiento sistemático y periódico de la ejecución de una actividad, que busca determinar el grado en que su desenlace coincida con lo programado, con el fin de detectar oportunamente deficiencias, obstáculos y/o necesidades de ajuste de la ejecución”. El BID (1997) agrega que el monitoreo “busca comprobar la efectividad y eficiencia del proceso de ejecución, mediante la identificación de los aspectos limitantes y/o ventajosos…”. El propósito del monitoreo consiste en detectar de manera oportuna las fortalezas y deficiencias de los procesos de ejecución, con tal hacer ajustes para una óptima gestión de las iniciativas, “para optimizar los resultados esperados y responder a las expectativas de la ciudadanía”. (OCED, 1991). Estas definiciones sugieren que el monitoreo, o la evaluación de procesos y actividades, tiene el fin de levantar “banderas rojas”, que advierten a los gerentes oportunamente sobre desviaciones del programa de trabajo.
Así definida, la evaluación de procesos, o el monitoreo, se podría entender como la“evaluación de accountability”, que se dirige a las preguntas siguientes: i) ¿el programa desenlaza las actividades especificadas en su programación? ii) ¿entrega los servicios en la cantidad y calidad esperadas? iii) ¿está llegando a los beneficiarios apropiados? iv) ¿el calendario de ejecución y entrega de servicios se cumple cabalmente? y v) ¿los recursos del programa se utilizan de manera apropiada? En estos análisis, el punto de referencia es el plan de trabajo o plan de acción para el programa y se analiza la ejecución del programa con respecto a dicho plan.
El seguimiento o monitoreo hace un acompañamiento2 de la ejecución de actividades, la entrega de productos y el uso de recursos. Este acompañamiento permite juzgar con transparencia la ejecución del programa, manteniendo el supuesto que el plan de acción pre-programado siga siendo el camino indicado para lograr los objetivos del programa.
La evaluación de objetivos o resultados, o lo que más comúnmente se denomina sencillamente “evaluación”, ha sido definida como un “proceso que procura determinar periódicamente y de manera sistemática y objetiva, la relevancia, eficacia, eficiencia e impacto de un proyecto o programa, a la luz de sus objetivos.”
Cuando revisamos el manual publicado por el Banco Mundial, indican que la evaluación es “una actividad gerencial externa y/o interna que analiza las relaciones de los procesos y recursos con los resultados e impactos.” Así, la evaluación se extiende más allá que el monitoreo porque reconoce que el plan de acción constituye una hipótesis con respecto al camino que nos puede conducir al logro de los objetivos. De hecho, la evaluación consiste en una prueba empírica de esa hipótesis – una verificación de que dicho camino efectivamente está conduciendo a las mejoras en las condiciones de vida que se buscaban promover.
El Comité de Asistencia al Desarrollo de la OECD (1991) señala que “el propósito (de la evaluación) es determinar la pertinencia y logro de los objetivos y la eficiencia, efectividad,
4
impacto y sostenibilidad del desarrollo. Una evaluación debe proporcionar información que sea creíble y útil, para permitir la incorporación de la experiencia adquirida en el proceso de adopción de decisiones”.
Por supuesto, estas definiciones aplicadas representan interpretaciones de lo que constituye el proceso evaluativo. Cabe destacar que ninguna de ellas vuelve a rescatar explícitamente el concepto de “valor” o de “mérito” pues se centran en la verificación del cumplimiento de un plan de trabajo y en el análisis del cumplimiento de objetivos, suponiendo que el plan de trabajo o sus objetivos correspondientes tienen un valor ya reconocido o ya aceptado. Las definiciones aplicadas se basan en la suposición de que el mismo hecho de haber tomado una decisión pública de asignar determinados recursos a una iniciativa con determinados objetivos señala que ya existe un consenso o una aceptación de que dichos objetivos tienen valor para la sociedad.
Un proceso evaluativo consiste en una “análisis cuidadoso y retrospectivo del mérito y valor de la administración, productos e impactos de intervenciones gubernamentales, que tiene por objeto jugar un papel en situaciones futuras de acción práctica”. Esta definición mantiene el enfoque de la evaluación en el análisis sistemático y riguroso de la gestión y los resultados de una iniciativa, con una finalidad práctica de ser útil a los procesos gerenciales y decisorios. La definición rescata el concepto de valor, y así constituye una definición que nos desafía no sólo a verificar el cumplimiento de objetivos, sino también a validar continuamente el valor social incorporado en el cumplimiento de dichos objetivos.
Con el ánimo de rescatar los méritos de las muchas definiciones que hemos analizado y de sintetizarlas, proponemos destacar cinco características clave de los procesos de monitoreo y evaluación aplicados a las iniciativas sociales:
La evaluación propone verificar de manera rigurosa y sistemática el cumplimiento de actividades, el uso de recursos, la entrega de productos o servicios y el logro de los objetivos, de tal forma que el diseño y/o la gestión de la iniciativa se pueda ajustar con el fin de asegurar que genere el valor que la sociedad espere de ella. Como tal, la evaluación no necesariamente involucra. La evaluación forma parte integral del proceso de gestión. Por tratarse de un instrumento, la evaluación sólo llega a cumplir su fin si apoya ya afecta los procesos gerenciales y decisorios. En otras palabras la evaluación no constituye un fin sofisticado en sí mismo; tiene el fin de generar información útil para los gerentes y decisores. La evaluación puede ser una actividad interna o externa de la gerencia. El monitoreo y la evaluación no requiere de complejos sistemas de información o investigaciones que requieren de la intervención de “expertos en evaluación” o “administradores de sistemas de información”. Las evaluaciones de procesos (el monitoreo) y las evaluaciones de objetivos o resultados acompañan el proceso de gestión. Se realizan el monitoreo y la evaluación simultáneamente con la gestión. 3 Por eso mismo, el diseño y puesta en marcha del proceso evaluativo deben iniciar con el mismo proceso de identificar el problema que se quiere enfrentar y
5
conceptualizar posibles soluciones (que tendrán que ser monitoreadas y evaluadas).
El monitoreo y la evaluación
Los procesos de monitoreo y evaluación son complementarios entre sí, ya que el monitoreo permite describir y calificar el cumplimiento del plan de trabajo y la evaluación permite ver si dicho cumplimiento, a su vez, ha conducido al cumplimiento de los objetivos que motivaron el diseño e inicio de la iniciativa. O, visto al revés, en la medida en que la evaluación revela un cumplimiento (o incumplimiento) de los objetivos, el monitoreo genera valiosa información para analizar las relaciones causales entre las actividades de la iniciativa que se evalúa y dicho cumplimiento (o incumplimiento).
El monitoreo es un elemento necesario del quehacer diario de la gerencia de organizacionales sociales enfocadas el la generación de resultados (Freeman y Soloman, 1981). No obstante, el monitoreo sin la evaluación o --lo que es lo mismo, la evaluación de procesos sin la evaluación de objetivos-- sólo nos permitiría juzgar la ejecución de una iniciativa, sin poder concluir nada al respecto a la bondad de la iniciativa y la sensatez de continuarla o suspenderla.
Asimismo, la evaluación de objetivos resulta inviable sin el monitoreo. La evaluación requiere de buena información generada por el monitoreo, pues para juzgar la eficacia y eficiencia de unas determinadas acciones en el cumplimiento de sus objetivos, va a ser indispensable conocer los aspectos cuantitativos y cualitativos de la ejecución de dichas actividades.
En adelante, este trabajo se va a referir al proceso de evaluación, como un proceso integrado y continuo que mide y analiza el cumplimiento en un seguimiento sistemático de acciones, del logro de resultados y de las relaciones entre los dos.
Los paradigmas gerenciales en los sectores sociales: ¿facilitan que la evaluación sea un aliado?
La gerencia de los sectores sociales tradicionalmente se ha caracterizado por un enfoque en actividades: un estilo gerencial orientado hacia la ejecución de planes de trabajo pre-definidos, en los cuales las actividades se vuelven fines en sí mismos. Este estilo se asocia con una “administración” de los objetivos programáticos u operativos de los programas o proyectos. El equipo gestor se orienta por el cumplimiento de actividades y de procesos. El producto máximo de este estilo de trabajo es la entrega de un bien o de un servicio.
Este paradigma administrativo en la gestión solo requiere de información de evaluación de procesos (del monitoreo). El equipo gestor no tendrá ningún interés natural ni ningún incentivo para realizar ni para encargar una evaluación de resultados. La gerencia se vuelve una administración muy encerrada en las actividades fácilmente controlables por el equipo gestor. Facilita así una pérdida de contacto con la población objetivo de las actividades y pierde el enfoque de los cambios que se buscaría promover en la población objetivo.
6
Visto desde la evaluación, este estilo gerencial llega a depender de un supuesto (implícito) que el mismo cumplimiento de procesos o la sencilla entrega de un bien o servicio produzca valor para la sociedad. Basta saber, entonces, que se hayan cumplido dichos procesos o que se haya entregado el producto. El desempeño de los gerentes y del programa se juzga por el cumplimiento del plan de trabajo y no hay ninguna motivación natural por hacer evaluaciones del logro de resultados o cumplimiento de objetivos sociales.
Existen varios estilos en la Gestión Pública el plasmar administrativamente los proyectos que sería equivalente a decir a nuestros hijos que el buen desempeño escolar consiste en ir a la escuela todos los días y en entregar las tareas – sin importar ni evaluar lo que están aprendiendo! Dicho enfoque de la gerencia facilita que programas de instalación de letrinas (supuestamente dirigida al mejoramiento de condiciones sanitarias) sean evaluados como “completos, muy bien llevados”, sin anotar que al cabo de un tiempo muy corto, las instalaciones de las letrinas se hayan convertido en bodegas y la taza sanitaria, en matera. Permite concluir que un programa de vacunación masiva ha sido un gran éxito por haber aplicado 20.000 vacunas en un solo día, sin anotar que la tasa de cobertura efectiva es ínfima, porque la vacuna representa una dosis repetida para la mayoría de los niños que la reciben.
Además, este estilo gerencial permite un deterioro en la explicitación de objetivos, lo que conduce a su vez a la no “evaluabilidad” de las iniciativas del sector. Por supuesto, cuando los objetivos de los cambios sociales no juegan el papel central de orientador de las acciones y la gestión, se pueden convertir en una abstracción, en una meta asociada, pero no vinculada directamente con las iniciativas que se realizan y no responsabilidad directa del equipo gestor. Puede resultar que los objetivos ni siquiera se conozcan a profundidad y se convierten en “justificaciones políticas” del bien o servicio que se entrega. Curiosamente, entonces, resulta que los equipos gestores mismos reconocen que los objetivos sociales ni siquiera sean entendibles – a veces, por tratarse de fenómenos complejos como “exclusión”, “equidad”, “auto-estima” o “logro del proyecto de vida individual”. No resulta sorprendente, entonces, que los equipos de programas sociales objetan a las propuestas para hacer evaluaciones de objetivos o resultados de las iniciativas que administran, argumentando que los objetivos últimos de lo que proponen hacer son ambiguos, simbólicos y no observables.
Los equipos gestores no cuestionan los objetivos máximos de su quehacer y no verifican el cumplimiento de ellos porque, no han sido responsabilizados por el logro de los objetivos, sino de la ejecución de las actividades propuestas para poderlos lograr. Así, no tienen ningún incentivo para apoyar o participar en un proceso de evaluación de objetivos o resultados.
Los procesos de monitoreo/evaluación en los sectores sociales: ¿se han aplicado de manera que facilite que se perciban como ‘aliados’?
Durante las últimas décadas, las evaluaciones en los sectores sociales se han caracterizado por ser externas, hechas por “terceros” (quienes no son actores en la gestión). Frecuentemente han tomado el tono de ser fiscalizaciones, auditorías o controles a los que están diseñando e/o implementando las iniciativas, que frecuentemente resultan en la publicación de un informe que nunca es utilizado en el proceso decisorio o gerencial. En la mayoría de los casos, han consistido
7
en un chequeo del cumplimiento de las actividades programadas y, a lo sumo, de entrega de servicios a una determinada población.
La falta de incentivos para hacer una evaluación obliga a que las evaluaciones sean externas. A la vez, las evaluaciones externas fácilmente se perciben como una intervención externa a la iniciativa. Se convierte rápidamente en un proceso “fiscalizador”, poco “aliado” del equipo gestor.
Por otro lado, los procesos evaluativos convencionales se realizan en momentos que obstaculizan su uso para retroalimentar o para educar la gestión de las iniciativas. Frecuentemente, las evaluaciones son ex-post realizadas cuando ciertas actividades han terminado y no hay ninguna posibilidad de reacción o ajuste por parte del equipo gestor. En este momento, la evaluación fácilmente se puede convertir en un ejercicio de búsqueda de culpables o de alabar a algunos que poco tuvieron que ver con sus éxitos. Indudablemente, se convierte en un aprendizaje que no puede ser aplicado inmediatamente y, en el mejor de los casos, será utilizado en la formación de futuras políticas y programas (si existe una adecuada difusión de los resultados evaluativos).
Podemos concluir entonces, que las aplicaciones convencionales de la evaluación en los sectores sociales han limitado la posibilidad de que sea percibida como aliado del proceso gerencial.
La naturaleza de las iniciativas sociales: ¿resulta viable un proceso de monitoreo/evaluación?
Las iniciativas del sector social, por definición, están dirigidas al cambio en las condiciones de vida de un determinado grupo de individuos y/o familias. Inciden sobre las condiciones en que las personas se desarrollan como individuos, como miembros de familia y/o como ciudadanos. Esta característica de “lo social” implica que las relaciones entre determinadas acciones y sus correspondientes consecuencias van a ser particularmente sensibles al entorno, en todas sus dimensiones – cultural, económica, social, laboral, climática, epidemiológica, entre otros. Así, el logro de objetivos sociales se asocia con lo que Sulbrandt (1993) denomina “las tecnologías blandas” de los programas sociales.
Una tecnología “dura” sería la que combina un determinado conjunto de insumos en una forma específica y resulta con un determinado resultado o producto con casi cien por ciento de certidumbre. En contraste, una tecnología “blanda” significa que una determinada combinación de insumos y acciones no necesariamente conduce al mismo resultado. En estos casos, cuando vamos a seleccionar las estrategias, programas o proyectos que se proponen para lograr un determinado objetivo social, nos vemos obligados a basarnos, en el mejor de los casos, en unas hipótesis de relaciones causales. Suponemos, con base en antecedentes, o experiencias en otros contextos, o en una conceptualización de relaciones causa-efecto, que lo que proponemos hacer pueda conducir al cumplimiento de los objetivos. No obstante, sabemos de antemano que muchas variables introducen incertidumbre en dicha relación.
La sensibilidad a múltiples contextos o variables del entorno implica que las variables asociadas con los resultados esperados de las iniciativas sociales pueden ser afectadas por múltiples iniciativas y dinámicas en cualquier momento determinado. Esta característica implica que la
8
atribución de cambios en dichas variables a las acciones de la iniciativa que estamos evaluando se vuelve particularmente difícil.
El carácter de los objetivos en los sectores sociales tiene otra dimensión de complejidad: la temporal. Muchos de los objetivos buscados en los sectores sociales se consiguen en un plazo relativamente largo, frecuentemente mucho después de haber realizado las acciones que supuestamente los causan.
La complejidad de los objetivos sociales y su sensibilidad a tantos elementos y condiciones del entorno han contribuido al desarrollo de una “mística de complejidad” alrededor de la evaluación. Esta mística, a su vez, contribuye al desarrollo de una resistencia a la evaluación y la medición.
La complejidad de los objetivos sociales y la aplicación de tecnologías blandas efectivamente hacen que la evaluación en los sectores sociales resulte difícil. Sin embargo, no implica que resulte menos importante evaluar en los sectores sociales. Tampoco significa que resulte imposible. Sencillamente, nos genera un desafío: en la medida que exista un papel importante de la evaluación en una gerencia enfocada en la generación de cambios en el bienestar social, habrá que superar las complejidades o dificultades del proceso evaluativo.
Hacia un uso gerencial del monitoreo y evaluación : ¿Cómo avanzamos?
La gerencia social moderna depende de la evaluación. El cambio del paradigma de la gerencia social requiere, a su vez, de un cambio del paradigma de la evaluación en los sectores sociales. Nos obliga a superar las dificultades de la evaluación y la imagen de “monstruo”.
La gerencia social moderna consiste en una gerencia adaptativa de resultados, una gerencia de modificaciones de condiciones de vida, que tiene los rasgos de ser participativa, adaptativa, descentralizada y enfocada en los objetivos que motivaron su propia existencia – los objetivos de cambiar determinadas condiciones de vida de un determinado grupo.4 Con un estilo y paradigma de gerencia social de esta naturaleza, las iniciativas se juzgan por el cumplimiento de sus objetivos sociales y los gerentes tienen incentivos naturales para manejar información sobre el cumplimiento de dichos objetivos. Tienen interés en establecer, esclarecer y negociar indicadores no ambiguos, verificables y fidedignos de los objetivos sociales del programa y dependerán de información sobre el cambio en condiciones de vida para pautar y guiar sus actividades gerenciales. Este paradigma gerencial obliga a los gerentes a enfocar sus esfuerzos (tanto gerenciales como evaluativos) a donde van a significar algo para el desarrollo social: hacia las poblaciones cuyas vidas deben mejorar como consecuencia de las iniciativas sociales.
Por tanto, la evaluación resulta ser un instrumento sine qua non de la gerencia adaptativa y enfocada en resultados. En dicha gerencia, la evaluación deja de ser un instrumento de control, supervisión y auditoría implementado por “expertos en evaluación” o impuesto por terceros y se convierte en un proceso estratégico realizado por los equipos gestores de la iniciativa . Se
9
convierte en un aliado del equipo gestor, quien necesita de la información generada por el proceso evaluativo para poder cumplir las responsabilidades de su gerencia.
En el trandcurrir del Proyecto en la Gerencia Social – un proceso de maduración paulatina y de largo plazo – trae consigo incentivos naturales para convertir el proceso evaluativo en un aliado. Así, en la medida que las leyes, los programas, los contratos y la asignación de recursos empiezan a enfocar la gerencia en el cumplimento de objetivos, habrá mecanismos naturales para fomentar el nuevo imagen del monitoreo y evaluación como aliado del equipo gestor.
No por eso estamos insinuando que debemos esperar la maduración de nuevos estilos de la gerencia social para fortalecer los procesos de monitoreo y evaluación. De hecho, se observa en América Latina que uno de los mecanismos que se está utilizando para fomentar nuevas estrategias gerenciales es el mismo proceso evaluativo. La buena información brindada por un buen proceso evaluativo puede facilitar el compromiso de los equipos gestores con el seguimiento y el logro de los resultados máximos de las iniciativas sociales.
A continuación, vamos a identificar y discutir cuatro desafíos que deben ser enfrentados de manera prioritaria para ir construyendo un proceso de evaluación para una iniciativa social. Luego se concluirá con la propuesta de un modesto conjunto de recomendaciones para promover y facilitar la superación de la imagen “monstruo” de la evaluación.
Cuatro desafíos para facilitar la Gerencia Social
El anterior análisis de las características de los sectores sociales permite plantear cuatro desafíos, que pueden ser enfrentados como pasos prioritarios para empezar a convertir el proceso de evaluación en un verdadero aliado del gerente social para que forme parte de la caja de herramientas utilizadas en el quehacer diario de la gerencia social. Se recomienda priorizar el avance sobre lo siguiente:
La especificación de un marco conceptual de la política, programa o proyecto que se propone monitorear y evaluar, para indicar claramente los resultados esperados y explicitar las relaciones causales supuestas. La superación de la brecha --tanto real como percibida-- entre lo “cuantitativo” y lo “cualitativo” en la especificación de objetivos y la evaluación. La identificación y concertación de indicadores e informaciones relevantes, tomando en cuenta el marco conceptual y las diversas perspectivas e intereses asociados con los resultados y las relaciones causales esperados. La definición y manejo efectivo de flujos de la información generada por el proceso evaluativo y la introducción de estrategias e incentivos que promueven el uso de dicha información.
Primer desafío: especificar un marco conceptual de la iniciativa que se va a evaluar
Alicia, al encontrarse perdida en el país de las Maravillas, pregunta al gato de Chechire por el camino que debe seguir. El gato le pregunta ¿hacia dónde quiere ir? Alicia responde que
10
realmente no importa. Contesta el sensato gato, “Si no sabe a dónde quiere ir, no importa qué camino toma para llegar.” Esta respuesta se ha convertido en la “bandera” de los que argumentan que la definición clara y explícita de objetivos delimitados y no ambiguos constituye el primer requisito para poder construir un proceso evaluativo. Si no sabemos el norte de la iniciativa que vamos a evaluar, no vamos a conocer el camino que tenemos que analizar en los procesos de monitoreo y evaluación. Si no sabemos lo que queremos lograr, va a ser muy difícil hacer un análisis de su logro!
Bastante evidente, no?
Sin embargo, uno de los mayores obstáculos a la evaluación en los sectores sociales ha sido una falta de claridad o de consenso con respecto a los objetivos de las iniciativas y los resultados esperados de las iniciativas sociales que evaluamos. Se requiere de una visión clara de lo que se quiere lograr, de la forma en que se propone lograrlo y de las relaciones causales (hipotéticas o concretas) entre ellas – sencillamente, un marco conceptual.
Marco conceptual: definición y especificación
En su forma más básica, el marco conceptual de una iniciativa social parte de la definición de una transformación deseada que se ha definido a partir del contraste en un detallado conocimiento y análisis de la situación existente y la concertación de una situación mejorada, deseada y viable. La transformación promovida por las iniciativas sociales típicamente se relaciona con algún aspecto de las condiciones de vida de un determinado grupo poblacional.
El contraste de la situación existente con la situación deseada nos define la transformación esperada que, a su vez, podríamos denominar el objetivo final (o máximo) de nuestra iniciativa. La transformación promovida por las iniciativas sociales típicamente se relaciona con algún aspecto de las condiciones de vida de un determinado grupo poblacional.
Para lograr el objetivo final, nos basamos en un conjunto de conocimientos teóricos y conceptuales y con un bagaje de experiencias acumuladas para plantear una hipótesis causal: que algún servicio, algún conocimiento o algún cambio en el comportamiento o actitud de la población objetivo podría conducir al logro del objetivo final. Así, definimos unos objetivos intermedios relacionados con la participación de la población en una actividad o el consumo por parte de dicha población de un determinado bien o servicio. Nos basamos en un raciocinio que el logro de dicho objetivo intermedio va a provocar el logro del objetivo final.
A su vez, avanzamos sobre la planificación de la iniciativa proponiendo las inversiones y estrategias necesarias para lograr los objetivos intermedios. Dichas inversiones y estrategias nos esbozan los objetivos operativos de nuestra iniciativa.
Siguiendo con esta lógica, el logro de los objetivos operativos requiere del cumplimiento de unas tareas y acciones, del uso de unos insumos y recursos que, a su vez, causan ciertos costos.
11
Resumiendo, se puede sugerir que la estrategia para definir el marco conceptual parte de la especificación de la transformación o cambio social que se busca lograr y luego consiste en preguntar en forma iterativa: ¿cómo vamos a lograr ese objetivo? ¿Cómo vamos a provocar el logro del objetivo anterior? Así vamos estableciendo una cadena de objetivos relacionados en forma causal entre sí. La cadena de objetivos estipula los medios y los fines que se proponen para poder conducir, en últimos, a la transformación social deseada (el objetivo final).
La Figura 1 ilustra y resume esta visión del marco conceptual, que nos permite entender el raciocinio de la iniciativa social en términos de un conjunto de objetivos interrelacionados, derivados los unos de los otros.
Figura 1: Una visión genérica del marco conceptual
La Terminología del Marco Conceptual
Los términos utilizados para describir los diferentes eslabones de una cadena de objetivos son múltiples. Diferentes autores denominan de manera distinta los conceptos básicos asociados con los elementos del marco conceptual.
La Figura 2 brinda ejemplos de terminología alternativa para el marco conceptual. Cohen y Franco (1992) sugieren que los elementos de una cadena de objetivos interrelacionados se podrían denominar “impactos”, “efectos”, “productos” y “procesos”. Estos autores definen:
Situación existenteSituacióndeseadaObjetivo finalObjetivo(s) intermedio(s):cambio en algún comportamiento,actitud o acción, en la poblaciónobjetivoObjetivos operativos:estrategias e inversionesActividades,tareasInsumos,costosInterpretación de la transformación deseada
12
Impactos: el resultado de los efectos…., las alteraciones en el grupo meta que pueden atribuirse a la iniciativa; Efectos: todo efecto o acontecimiento que ha sido influido por algún aspecto de la iniciativa; Productos: los resultados concretos de las actividades de la iniciativa, asociados típicamente con bienes producidos o servicios entregados; Procesos: el conjunto de actividades que se realizan para tratar de alcanzar el objetivo máximo.
Otra terminología para los diversos eslabones de la cadena de objetivos – o “jerarquía de objetivos” – viene de la literatura sobre el Marco Lógico
Fin: el objetivo máximo al cual va a contribuir la iniciativa; indica cómo la iniciativa va a contribuir a la solución de un problema o satisfacción de una necesidad; Propósito: el impacto directo o resultado de la utilización de los componentes, el encuentro de la oferta de la iniciativa con una demanda efectiva y sostenida de la población objetivo; Componentes:5 las obras, servicios, información o capacitación ofrecido por la iniciativa; Actividades: las acciones y tareas principales que deben realizarse para generar los componentes.
Otras presentaciones del marco conceptual proponen una cadena alternativa. Por ejemplo, en muchas aplicaciones de los gobiernos estadounidenses la cadena solo tiene tres eslabones: “insumos”, “outputs” (productos) y “outcomes” (objetivos intermedios y/o finales, según el caso).
No obstante, los conceptos son consistentemente iguales: el objetivo máximo, de modificar determinadas condiciones de vida de un determinado grupo de personas, nos conduce a definir un conjunto de objetivos subordinados, cada vez más operativos, que se relacionan en una cadena medios-fines o causa-efecto.
Ninguna de las alternativas de terminología ni ninguna de las presentaciones de la cadena resulta “más correcta” que las otras y un esfuerzo por unificar o consensuar una terminología “preferida” puede resultar frustrante y semántica. La cadena tiene que entenderse en forma flexible. Por tanto, consideramos importante desarrollar una conciencia sobre las múltiples terminologías que se utilizan y las diversas formas de definir la cadena. El número de eslabones y los nombres que se les asignan pueden variarse, siempre y cuando se mantenga lo importante: el concepto de objetivos interrelacionados y encadenados.
La bondad del ejercicio de construir el marco conceptual radica en obligarnos a explicitar lo que se propone lograr, la forma en que se propone lograrlo y las relaciones esperadas entre fines y
13
medios. Así, nos permite examinar la racionalidad y viabilidad de lo que se propone y facilita un seguimiento que contribuye a la explicación del desenlace de los éxitos y fracasos de las iniciativas.
El marco conceptual se convierte en el mapa del proceso de monitoreo y evaluación. Nos indica los fenómenos que tenemos que analizar y seguir y guía nuestra definición de necesidades de información.
Figura 2: La “Jerarquía de Objetivos”: terminología alternativa para el marco conceptual.
La cadena, visto al revés
Hasta ahora, nos hemos referido a la cadena visto desde la definición de la transformación deseada y de allí, procedemos a la definición de objetivos asociados con la entrega de productos o servicios, y a la definición de objetivos cada vez más operativos. Podemos verla al revés también:
Se va a realizar un conjunto de actividades para lograr ofrecer unos productos, los cuales a su vez permitirá lograr los objetivos intermedios que, luego permitirá lograr los objetivos finales que representan la misma razón de ser de la iniciativa.
Situación deseadaSituaciónexistente IMPACTO (Fin) EFECTO (Propósito)PRODUCTOS(Componentes o Resultados)PROCESOS(Actividades, insumos)
14
En resumen, el marco conceptual de una iniciativa se ilustraría de esta manera:
Actividades  Productos  Objetivos intermedios  Objetivos finales
En este marco, si nos ubicamos al lado izquierdo estaríamos metidos en la gestión intramural del programa, política o proyecto, donde el logro del cumplimiento de los objetivos asociados de actividades y productos resulta muy sujeto al control directo del equipo gestor. En la medida que nos desplazamos hacia la derecha, nos sometemos más y más a una multiplicidad de factores y dinámicas que incidan sobre el éxito en el logro de los diferentes eslabones. Nos movemos a depender no sólo de las acciones del equipo gestor, sino de la población objetivo y de las diversas dinámicas que puedan incidir sobre los comportamientos de esa población y de las variables que representan el logro de los objetivos intermedios y finales.
A manera de ejemplo, consideramos una iniciativa para mejorar los resultados de los estudiantes de las escuelas públicas de todo el territorio nacional en pruebas estandarizadas de matemáticas. Para poderlo lograr, se propone modificar los métodos pedagógicos que se utilizan en aulas para enseñar las matemáticas. El programa, para lograr incorporar los nuevos métodos en aula, va a hacer una masiva campaña de capacitación docente y de dotación de materiales docentes. Así, la cadena que refleja el marco conceptual sería algo parecido a lo siguiente:
Actividades 
Productos 
Objetivos intermedios 
Objetivos finales
Diseño de la capacitación
Desarrollo y reproducción de materiales para capacitación
Capacitación de capacitadores
Promoción de la capacitación
Selección de nuevos materiales
Adquisición de materiales docentes
Distribución de materiales docentes
Capacitación de todos los docentes en servicio al nivel primario en el territorio nacional
Distribución de un determinado conjunto de materiales a todas las escuelas primarias en el territorio nacional
Adaptación sostenida de nuevos métodos pedagógicos en aulas
Mejoramiento de los resultados de los estudiantes del nivel primario en los exámenes estandarizados de matemáticas.
Observe que aunque la simplificación gráfica de la cadena ilustra cada eslabón de manera sintética, cada uno puede conformarse por múltiples acciones o logros. Múltiples actividades se combinan para generar un determinado número de productos, que pueden conducir al logro de uno o más propósitos que, a su vez, contribuyen al logro de uno o más fines.
Los eslabones de la cadena: objetivos bien especificados
Cada componente del marco conceptual o, lo que es lo mismo, cada eslabón de la cadena de objetivos, debe expresarse de tal manera que sea conforme con las características mínimas de un
15
objetivo evaluable. Por tanto, cada eslabón de la cadena debe expresar un objetivo que sea:
claro verificable, medible viable específico, particularmente en sus aspectos cualitativos delimitado en el espacio y el tiempo.
Esta exigencia contrasta significativamente con la forma en que muchos objetivos han sido típicamente explicitados en los sectores sociales. Ha habido una tendencia de expresar los objetivos de tal forma que no pueden ser objetados pero tampoco resultan interpretables de manera no ambigua ni verificables. Por tanto, resultan ser objetivos que no se prestan a la evaluación. A manera de ejemplo:
Objetivo final de un programa de atención preventiva para adolescentes vulnerables: “Permitir que los adolescentes socialmente vulnerables tengan la oportunidad de desarrollar más plenamente su proyecto de vida.”
Objetivo final de una iniciativa de inversiones sociales focalizadas: “Mejorar la equidad de la entrega de los servicios sociales.”
Estos objetivos – ambiguos y ambiciosos – se caracterizan por una retórica que dificulta cualquier oposición en la discusión sobre su importancia o valor. No obstante, no son objetivos evaluables, porque no han sido interpretados de tal manera que sean verificables de manera objetiva. Para hacer que sean evaluables, resulta necesario interpretar lo que quiere decir “tener la oportunidad de desarrollar su proyecto de vida” o “equidad en la entrega de servicios sociales”. Tenemos que concretar cada objetivo con alguna forma concreta y objetiva de verificar su éxito.
Dos elementos de particular interés
Las particularidades de las iniciativas sociales hacen pensar que valdría la pena examinar dos elementos de este marco conceputal con especial interés:
especificación del objetivo final: la especificación del objetivo final obliga a interpretar el contraste de la situación existente y la situación deseada, y la consecuente visión de una transformación deseada. Este paso requiere de una lectura de la realidad y la elaboración (preferiblemente consensuada) de la visión de una situación mejorada y alcanzable (no utópica). El resultado de ese contraste debe ser una transformación deseada, que podríamos especificar en forma de un objetivo bien delimitado.
El paso de la interpretación de la transformación deseada a su expresión en un objetivo bien delimitado resulta, a veces, abismal. Las transformaciones deseadas frecuentemente se expresan con una terminología que requiere de mucha interpretación y análisis para convertirse en un objetivo. Por ejemplo, “reducir la exclusión social” podría ser transformación deseada en muchos países actualmente. La conveniencia de expresar el fenómeno de esa manera radica en
16
lo atractivo moral, político y ético de apoyar un objetivo aparentemente tan meritorio. Rápidamente se genera apoyo detrás de esta expresión.
No obstante, al preguntar ¿cómo reconoceremos el éxito de haber disminuido la exclusión social? Nos damos cuenta que falta claridad sobre el significado de este fenómeno. Si vamos a disminuirla, tenemos que poder observar modificaciones en el grado o magnitud de la exclusión. Por ende, nos vemos obligados a explicitar nuestra interpretación de un concepto que podría entenderse de múltiples maneras.
Las transformaciones deseadas en los sectores sociales frecuentemente presentan estas dificultades de interpretación. Consideremos los siguientes ejemplos:
aumentar la calidad educativa al nivel primario contribuir al fortalecimiento institucional de los gobiernos locales fortalecer la estrategia de atención primaria en salud
Los tres ejemplos tienen las mismas características que el deseo de “reducir la exclusión social”: primero, se proponen de tal manera que generan apoyo fácilmente; segundo, son lo suficientemente ambiguos que no queda claro cómo reconocer el éxito del logro del objetivo; y tercero, pueden ser interpretados o entendidos de múltiples maneras, hecho que crea la necesidad de consensuar un entendimiento del fenómeno.
¿Cómo manejamos este tipo de objetivo en la construcción del marco conceptual? Sus enunciados tienen una fuerza persuasiva que mobiliza apoyo público y, por lo tanto, puede identificarse como objetivos atractivos. Podríamos considerarlos objetivos sombrilla -- una propuesta amplia y emotiva que no brinda la visión de una causa común. No obstante, para generar un marco conceptual que guia la gerencia y la evaluación de una iniciativa social, será necesario avanzar más allá que los objetivos sombrilla, interpretarlos y traducirlos en objetivos verficables de impacto, efecto, producto y proceso.6
especificación de las hipótesis causales: los elementos representados con flechas en el marco conceptual son relaciones causa-efecto o medios-fines. Por tanto, el proponer un
6 Es este paso que conduce a que la evaluación sea acusada de ser un ejercicio de reduccionismo. “Reduce” un objetivo complejo, multi-dimensional y multi-causal a un objetivo verificable. Donde bien existe elementos de reduccionismo, nos engañamos si pensamos que ocurre por el proceso evaluativo. El reduccionismo ocurre en el mismo momento que tratamos de utilizar estrategias físicas y programáticas para acercarnos a una solución del problema. Ocurre cuando planteamos que entendemos el objetivo complejo no suficientemente bien como para proponer una manera en que nos podemos atrever a proponer una estrategia para su logro.
El proceso evaluativo nos obliga a especificar las interpretaciones del objetivo complejo, multi-dimensional que hemos utilizado en nuestro proceso de formular dicha estrategia. En otras palabras, nos obliga a proponer un conjunto de acciones para lograr nuestros objetivos más complejos por haber incurrido en algún reduccionismo. Es el momento de la especificación del marco conceptual para la evaluación que nos obliga a revelar nuestra estructura mental de causalidades esperadas y nos obliga a demostrar al mundo las interpretaciones implícitas que hemos dado al fenómeno tan complejo que buscamos afectar.
17
objetivo intermedio para lograr un objetivo final básicamente consiste en proponer una hipótesis causal entre los dos elementos. De igual forma, proponer una estrategia, representada por unos objetivos operativos para lograr un determinado objetivo intermedio es lo mismo que proponer la hipótesis de que dicha estrategia sea capaz de conducir al logro de los objetivos intermedios.
A manera de ejemplo, cuando proponemos una campaña de educación o concientización de mujeres sobre rehidratación oral con el fin de reducir la morbilidad infantil por enfermedades diarreicas, estamos proponiendo dos hipótesis: primero, que la adecuada aplicación de rehidratantes sea capaz de afectar significativamente la morbilidad infantil por enfermedad diarreica; y, segundo, que una campaña educativa/informativa sea suficiente para lograr que las madres no sólo aprendan a utilizar los rehidratantes sino que sea suficiente para promover que las madres efectivamente los utilicen.
Algunas de las hipótesis causales que utilizamos en los marcos conceptuales son de alta certidumbre: por ejemplo, que la vacunación de niños menores de cinco años que hasta entonces no han sido inmunizados reduce la morbi-mortalidad por enfermedades inmuno-prevenibles. Otras van a ser más inciertas: por ejemplo, que una campaña callejera de vacunación vaya a atraer a los niños menores de cinco años que hasta entonces no han sido inmunizados. Podemos haber probado experimentalmente unas de las hipótesis: por ejemplo, que una determinada metodología pedagógica ha sido efectiva en la superación de fracaso en lectura básica en niños entre 10 y 15 años. Otras hipótesis habrán sido menos probadas: que una determinada capacitación dé a los maestros las habilidades necesarias para efectivamente aplicar dicha metodología.
Las relaciones causales en las iniciativas de los sectores sociales son particularmente complejas, porque son afectadas por una amplia gama de elementos del entorno (económicos, culturales, sociales, epidemiológicos, climáticos), como ya discutimos en nuestra referencia a las tecnologías blandas (inciertas) de las iniciativas sociales.
Figura 3: Marco conceptual: monitoreo y evaluación como seguimiento y prueba de las hipótesis sobre relaciones causales esperadas
TransformacióndeseadaActividadesObjetivos operativos(Productos)Objetivos intermedios (Efectos)Objetivo final(Impacto)
18
El marco conceptual como mapa del monitoreo y evaluación
Combinando las dos perspectivas de la cadena, podemos esbozar un mapa para el monitoreo y la evaluación tal como aparece en la Figura 3. Esta presentación gráfica tiene la bondad de permitir diferentes entendimientos de la progresión de la cadena, siempre relacionando los elementos de la cadena con la transformación social que se desea provocar. La presentación de la Figura 3 en forma circular nos obliga a explicitar que nuestra interpretación de la transformación conduce a la definición de unos objetivos interrelacionados (jerarquizados) y la gestión de las actividades y
objetivos operativos solo llega a tener en un contexto amplio, relacionado con la transformación deseada.
La especificación del marco conceptual constituye el primer paso de la evaluación.7 Esta especificación nos da el mapa de lo que vamos a evaluar.
La explicación de la cadena de objetivos y su presentación en una forma transparente nos permite realizar una revisión crítica de la conceptualización de la iniciativa que vamos a evaluar. Nos permite revisitar la relevancia y prioridad de la transformación deseada que la iniciativa propone promover y la revisión del raciocinio de las relaciones causales propuestas. Así, el proceso evaluativo siempre deja abierta la posibilidad de proponer modificaciones en los eslabones de la cadena, bien sea porque se observa que la dinámica social hace que la transformación deseada deja de ser pertinente o prioritaria o bien sea porque la experiencia de gestión de la iniciativa indica que las relaciones causales esperadas no se están produciendo.8
Proponemos las siguientes recomendaciones para la construcción del marco conceptual (o “cadena”):
La explicitación del marco conceptual nos arroja una guía de los fenómenos que se van a analizar en los procesos de monitoreo y evaluación. Ya hemos dicho que debemos entender la cadena de objetivos en forma flexible. Los modelos ilustrados en las Figuras 1, 2 y 3, que incorporan cuatro eslabones, son meros ejemplos. No hay ninguna obligación a que el número de eslabones sea concretamente cuatro.
A su vez, cada elemento del marco conceptual tiene que expresarse de tal forma que sea observable y evaluable. Como tal, tiene que ser expresado en elementos objetivamente verificables. Este requerimiento es particularmente desafiante para el objetivo final (o máximo) que refleja una interpretación de la transformación social deseada.
En la construcción del marco, la especificación del “objetivo final” resulta particularmente crítica, ya que da las pautas con respecto al juicio máximo al cual vamos a someter la iniciativa. Debemos tener en cuenta que el objetivo máximo es una interpretación observable de la transformación deseada. Por tanto, el objetivo máximo debe reflejar el cambio social que se desea promover. Esto hace difícil aceptar que un objetivo final podría ser la puesta en marcha o la continua oferta de un determinado programa o la entrega no interrumpida de un determinado servicio. El objetivo máximo no podría ser “ofrecer un programa de
19
educación a distancia”, porque el programa (o el servicio) no es un fin en sí. No deseamos el programa como una transformación social en sí, sino porque modifica algún comportamiento o alguna condición de vida de algún grupo poblacional.
El criterio que tiene que primar en la especificación del objetivo final de la cadena es uno de valor: el objetivo final nos indica el punto hasta donde vamos a evaluar y, por ende, la especificación del objetivo máximo involucra un juicio que el cumplimiento de dicho objetivo representa la generación de valor para la sociedad. Si eligiéramos que el objetivo final fuese “ofrecer un programa de educación a distancia” estaríamos señalando que la mera existencia del programa representaría un valor para la sociedad. De hecho, estaríamos diciendo que el programa en sí (aunque no se produjera ninguna otra consecuencia) genera un valor suficiente como para justificar el uso de los recursos necesarios para ejecutar el programa.
El objetivo máximo que se especifica en el marco conceptual para el proceso evaluativo no necesariamente tiene que ser el último beneficio que se espera de la iniciativa que proponemos evaluar. Puede haber otras consecuencias esperadas, y se elige por determinados motivos, no entrarlos en el proceso evaluativo. Por ejemplo, un fondo de financiamiento de proyectos de infraestructura social a los municipios de menor desarrollo relativo cuyo objetivo final aumentar el acceso a escuelas y servicios médicos para la población de dichos municipios podría en realidad estar aportando al logro de un amplio conjunto de objetivos de mayor jerarquía: la mayor escolaridad y el mejor estado de salud de la población objetivo; el desarrollo eficaz y equitativo de capital humano; la apertura de oportunidades de futuro empleo, entre otros.
La definición del objetivo máximo del marco conceptual sencillamente nos delimita el proceso evaluativo. Nos indica hasta dónde vamos a evaluar. La única respuesta generalizable sería que el objetivo final seleccionado tiene que incorporar valor en sí mismo.
Supongamos una iniciativa que promueve un aumento de la escolaridad de niñas pobres. La iniciativa podría considerarse beneficiosa porque cumple con el derecho garantizado a la niña de tener una educación de calidad y/o porque mejora su potencial productivo para su futura participación en el mercado laboral y/o porque afectará el número de hijos que llega a tener y la salud y educación de sus hijos. Genera unos beneficios encadenados:
Mayor escolaridad de la niña Más aprendizaje Mayor productividad futura Mayores ingresos futuros Menor pobreza futura
Mayor escolaridad de la niña Hijos de mayor nivel educativo y mejor estado de salud
Uno podría extender las cadenas, teniendo en cuenta los impactos intergeneracionales:
Hijos de mayor nivel educativo y mejor estado de salud Más aprendizaje por parte de los hijos Mayor productividad futura Mayores ingresos futuros Menor pobreza futura Nietos de mayor nivel educativo y mejor estado de salud Más aprendizaje por parte de
20
los nietos Mayor productividad futura Mayores ingresos futuros Menor pobreza futura
Evidentemente, aquí la pregunta relevante consiste en ¿hasta dónde extender la cadena?, teniendo en cuenta que nuestro propósito consiste en generar valiosa información para educar los procesos decisorios y gerenciales. ¿Hasta dónde verificamos que efectivamente se hayan producido los beneficios esperados?
Para responder estas inquietudes, necesitamos volver al concepto de valor. Es necesario extender la cadena hasta aquel punto donde podamos decir que habría un consenso que el logro de ese objetivo incorpora valor por si mismo, aunque no se produjera otro impacto o consecuencia.9 Por tanto, cabría en la mente pensar que sería suficiente verificar que efectivamente hay mayor escolaridad de niñas, ya que la escolaridad es un derecho que la sociedad garantiza a todos sus ciudadanos. O, alternativamente, se podría argumentar que no es suficiente que haya mayor escolaridad, sino que queramos que hay mayor aprendizaje, lo que nos obligaría a verificar el aumento en aprendizaje asociado con la mayor escolaridad.
En otras palabras, no hay una respuesta “correcta” a la pregunta de ¿hasta dónde extender la cadena? La respuesta tiene que depender de una reflexión sobre lo que la sociedad apreciaría como “valioso”.
Una vez construido el marco conceptual, hay que someterlo a un análisis crítico que examina la sensatez de las hipótesis planteadas. De esa manera, el diseño y desarrollo del marco conceptual del proceso evaluativo educa el mismo análisis y diálogo con respecto a posibles alternativas de solución para un determinado problema o desafío. La información recopilada y generada en la evaluación permitirá verificar el logro de las relaciones causales esperadas. Asimismo, indicará relaciones causales que aparentemente no se están produciendo, para motivar el repensar de esas relaciones y los ajustes necesarios a la luz de la falta de logro con respecto a esa relación causal.
Al construir el marco conceptual, resulta importante distinguir la evaluación de la iniciativa de la evaluación del gerente o del equipo gestor. Claramente el programa o la política debe ser “accountable” con respecto a la generación de los impactos y efectos esperados, y su evaluación tiene que seguir toda la cadena de resultados esperados hasta aquel punto donde se determina que se produzca un valor para la sociedad. La evaluación del gerente y/o del equipo gestor no necesariamente obedece a las mismas pautas. Es claro que la evaluación del gerente o del equipo gestor comparte una parte del marco conceptual con la evaluación de la iniciativa. Eventualmente la evaluación del gerente y del equipo gestor incluye los elementos “intramurales” del marco conceptual, concentrados en las actividades y los productos. ¿Es el gerente responsable y “accountable” por una deficiencia en el logro de los impactos
21
esperados, que se atribuye a una equivocada conceptualización del problema existente? ¿Es el equipo gestor responsable por la falta de éxito en la generación de compromisos y de participación por parte de la población objetivo, que eran indispensables para lograr los efectos e impactos esperados?
Al mismo tiempo, ¿el equipo gestor no tiene ninguna responsabilidad o accountability frente a la no participación de la población objetivo? ¿el gerente no debe reaccionar frente a la evidencia de que las iniciativas programadas, aunque muy bien gestionadas, no están generando los impactos esperados?
Es nuestro pensar el equipo gestor y el gerente deben ser evaluados en un esquema que juzga su desempeño en la gestión del lado izquierdo de la “cadena” de objetivos jerarquizados – las actividades y productos, en el monitoreo y la evaluación de la “cadena” en su conjunto y en su capacidad de informar y reaccionar frente a las evidencias de la generación o no generación de los efectos e impactos esperados. El equipo gestor debe ser responsable por la recopilación y discusión de información sobre los efectos e impactos de lo que están produciendo, con el fin de asegurar que sus labores están siempre vinculadas con un esfuerzo por vincular actividades concretas con la generación de valor social.
Esta propuesta responsabiliza a los gerentes sociales no sólo de la buena “administración” de un plan de trabajo o, sea, del buen desenlace de un programa de actividades. Además les responsabiliza por una conciencia continua del vínculo de sus actividades cotidianas con la generación de los efectos e impactos sociales deseados. De no producir dicho vínculo, se convierte la responsabilidad del gerente en la responsabilidad de informar y de abrir un dialogo sobre la bondad de continuar las actividades y de redefinir o reajustar, con tal buscar mecanismos que efectivamente produzcan los efectos e/o impactos deseados.
Segundo desafío: superar la brecha entre lo “cuantitativo” y lo “cualitativo”
Las discusiones sobre la evaluación en los sectores sociales suelen caer rápidamente en un debate “cualitativo-cuantitativo”. Frecuentemente se citan diferencias abismales entre los enfoques y/o métodos de estas dos orientaciones, y se atribuye a dichas diferencias alguna parte de la falta de voluntad o viabilidad para poder evaluar en los sectores sociales. En años recientes, el debate “cuantitativo-cualitativo” ha tomado dimensiones exageradas.
Indudablemente, el fervor por buscar rigor en los procesos evaluativos ha generado una sobre-promoción de aplicaciones cuantitativas. Al extremo “cuantitativo”, algunos esfuerzos por aplicar el análisis costo-beneficio a la evaluación de iniciativas sociales generaron un rechazo que se ha extendido (en algunos contextos) a todo esfuerzo de cuantificar y/o medir en los sectores sociales. Este fervor, a su vez, alimenta una posición que a veces toma tonos radicales, en contra de todo esfuerzo por medir o aplicar indicadores de manera sistemática para fines evaluativos.
Ahora bien, el desafío que proponemos enfrentar con el fin de convertir el proceso evaluativo en un aliado de los gerentes sociales, consiste en superar las brechas exageradas entre “lo
22
cuantitativo” y “lo cualitativo”. Para irnos acercando a esta superación, vamos a iniciar con un análisis de tres líneas de pensamiento con respecto a las diferencias y posibles incompatibilidades entre lo “cuantitativo” y lo “cualitativo”.
Los tres argumentos más frecuentemente citados para explicar la brecha entre lo “cualitativo” y lo “cuantitativo” son los siguientes:
los fenómenos afectados por las iniciativas sociales son de “naturaleza cualitativa” y, por ende, no se prestan al análisis o evaluación cuantitativa; los métodos cualitativos de recolección de datos son más idóneos para la exploración de las iniciativas sociales; el enfoque del análisis cuantitativo se basa en una forma de entender y explorar el mundo profundamente diferente de la forma que el enfoque cualitativo lo entiende y lo explora. Por tanto, son irremediablemente separados.
La primera línea de argumentación que postula y explica una brecha cuanti-cualitativa indica que la evaluación tradicional (que claramente ha tendido a favorecer lo cuantitativo) ha resultado muy limitada para manejar la verificación de los objetivos de las iniciativas sociales, que suelen ser de “naturaleza cualitativa”. Se argumenta que los fenómenos que se proponen afectar por medio de las iniciativas sociales tienen una naturaleza compleja, multi-dimensional y, por ende, no se prestan a la cuantificación.
Típicamente la “naturaleza cualitativa” resulta ser en realidad un eufemismo por la naturaleza ambigüa de algunos de los objetivos que proponemos o unos de los efectos que esperamos generar. Se argumenta que los impactos “intangibles” o “simbólicos” no se prestan al análisis cuantitativo. Frecuentemente, el impacto no es ni intangible, ni simbólico, sino no ha sido intrepretado o definido de manera que resulte gerenciable y evaluable. Para estos casos, la superación del primer desafío, consistente en la especificación del marco conceptual, conducirá a la definición más concreta de los objetivos e impactos esperados y, por tanto, a la superación de lo que equivocadamente se identificaba como una brecha cuantitativa-cualitativa.
Los fenómenos sociales, o los impactos o efectos sociales, generalmente tienen dimensiones tanto cuantitativas como cualitativas. En este sentido, se parecen al crecimiento económico, al desarrollo de infraestructura productiva y a las preferencias de consumo-- que también tienen elementos tanto cuantitativos como cualitativos. Los indicadores e informaciones seleccionados para entender y analizar estos fenómenos tendrán que capturar las dimensiones cuantitativas y las cualitativas también.
Por supuesto, tenemos que reconocer que los cambios generados por las iniciativas sociales frecuentemente se manifiestan en cambios intangibles en conocimiento, valores, comportamiento, actitudes y/o otros fenómenos intangibles. Son cambios cuya dimensión cualitativa es clave. Muchos de los cambios propuestos sólo se producen plenamente en un largo plazo. No por ser intangibles o de naturaleza cualitativa o de largo plazo resultan ser no medibles o no verificables.
23
Por tanto, resulta limitada esta primera línea de argumentación que parece sugerir una incompatibilidad entre lo cuantitativo y cualitativo. El argumento sólo nos conduciría a concluir que en cualquier evaluación, es necesario profundizar en las dimensiones y características tanto cuantitativos como cualtitativos de los diversos fenómenos que se proponen analizar.
El segundo argumento que se suele citar para justificar o explicar una “brecha” entre lo cuantitativo y lo cualitativo se relaciona con los métodos de recolección de datos. Los análisis cuantitativos aplican métodos para recopilar datos con el fin de analizar o probar un modelo, una teoría o una hipótesis. Dichos métodos tienden a sintetizar información mediante indicadores originados en los datos e informaciones provenientes de encuestas, estadísticas y registros. Los métodos cuantitativos frecuentemente dependen del uso de un “grupo control” (experimental, quasi-experimental o estadístico) para determinar el efecto o impacto atribuible a la iniciativa que se está evaluando. En contraste, los análisis orientados por el enfoque cualitativo, proponen desarrollar conceptos e ideas mediante la identificación de patrones o tendencias en los datos. Por tanto, los métodos cualitativos tienden a ser más flexibles y menos mecánicos. Dependen de técnicas de entrevistas, sesiones de grupos focales, observación participante, análisis de contenidos, estudios de casos y otros métodos asociados con la etnografía.
Podemos concluir, en síntesis, que los métodos cualitativos y los cuantitativos son muy diferentes. No obstante, la diferencia no implica que existe una brecha entre lo cuantitativo y lo cualitativo. Al contrario, quizás en la diferencia surge las oportunidades de generar complementariedades y sinergias. En una determinada evaluación se pueden aplicar métodos cuantitativos y también cualitativos, para generar diferentes tipos de información que, en su conjunto, responden las diferentes preguntas propuestas por el proceso evaluativo. Por ejemplo, los métodos cuantitativos podrían dimensionar un determinado problema, cambio o impacto y los métodos cualitativos podrían ayudar a entender por qué se presentan, teniendo en cuenta las características y condiciones del contexto y las características y comportamientos de los actores involucrados.
El tercer argumento que justifica o explica una brecha entre lo cuantitativo y lo cualitativo lo hace con base en diferencias en el enfoque epistemológico. No hay duda que el abordaje cuantitativo a un análisis o investigación tiene diferencias de fondo con el abordaje cualitativo. Por tanto, esta línea de argumentación delimita bien las diferencias – o brechas – de las cuales tenemos que estar sensibles y conscientes.
El abordaje o enfoque cuantitativo se asocia con la teoría o paradigma positivista, que surgió en las ciencias naturales y agrícolas y se empezó a aplicar en las ciencias sociales al final del siglo XIX y comienzos del siglo XX. El positivismo pretende identificar los hechos y las causas del fenómeno social; trata los fenómenos sociales como eventos o sucesos que influyen o afectan a las personas. El enfoque cuantitativo cuenta con el análisis de variables y estadísticas para sintetizar y describir la dinámica social.
En contraste, el enfoque cualitativo tuvo su origen en la antropología social y la sociología. Se alinea con las perspectivas interpretivistas y fenomenológicas, que proponen entender los fenómenos sociales desde la perspectiva de los diversos actores involucrados o interesados. Los
24
análisis cualitativos son inductivos, holísticos y humanísticos.
Por supuesto, tanto el enfoque positivista como el fenomenológico presenta sus propias ventajas como sus limitaciones. No corresponde a este texto delinear las ventajas y limitaciones de cada una. Cook y Reichardt (1979) presentan diferentes reflexiones sobre los dos enfoques.
Sí, cabe destacar que el positivismo lógico y deductivo “puro” ha sido severamente cuestionado. Se ha criticado la estrechez de entendimiento del “conocimiento” en el positivismo puro. De hecho, el primer argumento de Howe contra la teoría de incompatibilidad (Howe, 1985) propone que la caída del positivismo puro diluye la obligación de elegir entre uno de los dos paradigmas epistemológicos que supuestamente definen la brecha cuantitativa-cualitativa.
El proceso evaluativo promovido por este texto claramente se caracteriza por muchos atributos del enfoque positivista, sin ser una aplicación positivista estrecha o “pura”. Al haber definido el marco conceptual como la propuesta de unas hipótesis causales y el proceso evaluativo, como la prueba de dichas hipótesis o como el seguimiento de la “cadena” de relaciones causales, nuestro enfoque se alinea claramente con la orientación positivista. La “forma de ver el mundo” asociada con el marco conceptual propuesto es lógica y deductiva y, por ende, asociada con el paradigma cuantitativo.
Ahora bien, al seleccionar dicho enfoque para guiar el proceso evaluativo no quiere decir que no hay ningún espacio para un análisis fenomenológico en el proceso o en los procesos interrelacionados de formación y gestión. De hecho, estos procesos benefician profundamente de los análisis cualitativos. Dichos análisis resultan ser la herramienta idónea para el entendimiento de un determinado problema social, la exploración de posibles causas o de posibles caminos de solución y el análisis de diversas perspectivas, entre otras cosas.
Ahora, volviendo a nuestro proceso evaluativo orientado por las premisas del enfoque cuantitativo, queda una duda por resolver: ¿el análisis del proceso evaluativo así definido y orientado tiene que limitarse al uso de métodos cuantitativos de recopilación y análisis de datos?
Nuestra respuesta – contundente, por cierto – sería que “no”. La orientación cuantitativa del proceso evaluativo da una cierta marca y orientación al tipo de preguntas que vamos a proponer. No nos indica ni nos limita los métodos que debemos aplicar para responder dichas preguntas. Por tanto, proponemos un proceso originado en un paradigma asociado con el positivista, usuario de métodos tanto cuantitativos como cualitativos.
Algunos autores y académicos han argumentado en favor de lo que Kenneth Howe (1988) denominó “la tesis de incompatibilidad”: que los paradigmas positivistas e interpretivistas o fenomenológicas proveen la base epistemológica para los métodos cuantitativos y cualitativos, respectivamente, y dada la incompatibilidad de los paradigmas, resultan también incompatibles los dos tipos de método. Estos académicos, que incluyen a Guba (1987), Smith y Heshusius (1986) y Parlett y Hamilton (1972), consideran que cualquier compatibilidad entre los métodos es meramente superficial e ignora dificultades profundas de naturaleza epistemológica.
25
Howe (1988) descarta la teoría de incompatibilidad y propone la “teoría de compatibilidad” que aboga por la combinación de métodos cuantitativos y cualitativos, negando la incoherencia epistemológica propuesta por los incompatibilistas. Examina los cuatro componentes básicos de investigación: datos, diseño, análisis e interpretación. Concluye que al nivel de los datos la distinción cuantitativa-cualitativa es ambigüa y al nivel de diseño, análisis e interpretación, los elementos cuantitativos (“mecánicos”) y los cualitativos (“no mecánicos”) son interdependientes e inseparables. Sería imposible imaginar un estudio sin elementos “cualitativos” en el diseño, análisis e interpretación, ya que son esos elementos que caracterizan y definen la exploración cuantitativa.
Esta conclusión entrega el golpe fatal a la existencia de una brecha entre lo cuantitativo y lo cualitativo. Es consistente con el cuestionamiento, ya de larga data, del positivismo lógico puro, y con las tendencias observadas en las prácticas investigativas actuales que combinan atributos de los diferentes paradigmas epistemológicos.
Esta superación de la brecha nos borre una excusa por no evaluar en los sectores sociales y por ser poco riguroso en nuestras evaluaciones. Nos abre el camino para combinar los mejores atributos de diferentes escuelas del pensamiento y de diferentes métodos investigativos, con el fin de definir un proceso evaluativo enriquecido y riguroso.
Tercer desafío: identificar y concertar un conjunto relevante de indicadores e informaciones
El proceso de monitoreo y evaluación sintetiza información relevante sobre las actividades, los efectos e impactos y las relaciones entre ellos. El elemento de síntesis facilita el análisis y el posterior diálogo al respecto.
Un instrumento importante del proceso evaluativo, utilizado para facilitar la síntesis, es el indicador. Los indicadores se diseñan y se seleccionan de tal forma que contribuyan al entendimiento del desempeño de la iniciativa que se evalúa y que sean útiles en el contexto del dialogo de políticas. Tiene valor descriptivo y explicativo, que contribuye al análisis y dialogo sobre los logros de las políticas, programas y proyectos.
Un indicador se puede entender como una expresión que sintetiza información cuantitativa y/o cualitativa sobre algún fenómeno relevante. El indicador “indica” o “señala”. Permite caracterizar los fenómenos (acciones, actividades, logros, efectos) que necesitamos describir en un proceso de monitoreo y evaluación.
En los sectores sociales, se presenta cierta resistencia al uso de indicadores, pues muchos indicadores resultan limitados para el análisis de fenómenos complejos, cualitativos y multi-dimensionales. No obstante, esta resistencia confunde la bondad del indicador – la de facilitar una síntesis de información abundante y valiosa – con una superficialidad de tratar los fenómenos que intentan describir. No hay ninguna limitación intrínseca de los indicadores para describir fenómenos cualitativos o complejos. Por supuesto, aquellos indicadores que miden exclusivamente las dimensiones cuantitativas o fácilmente observables de los fenómenos que
26
queremos entender o describir resultan insuficientes para muchos de los análisis necesarios en un proceso evaluativo de una iniciativa social.
En general, un indicador no se limita a un mero “conteo”. Por tanto, en lo que sigue, vamos a entender las referencias a “indicadores” como las expresiones que reflejan un análisis y una síntesis de datos tanto cuantitativos como cualitativos relevantes para nuestro propósito.
Ejemplos de los indicadores que se pueden utilizar en los procesos evaluativos incluyen ejemplos clásicos de tasas recopiladas con métodos tradicionales cuantitativos: la tasa anual de mortalidad infantil en un Estado; el número de niños de edad escolar en una Región que no se han matriculado en escuela durante el último año escolar o el porcentaje de niños menores de seis años cuyo perfil peso-talla-edad está inferior al estándar. Otros ejemplos menos clásicos de indicadores podrían ser: razón predominante citada por las mujeres de no utilizar anti-conceptivos o factores que conducen a las comunidades a recomendar el despido del director de su escuela.
Un buen indicador se caracteriza por los siguientes rasgos:
es preciso: puede ser interpretado de manera clara, de tal forma que sea plenamente entendible; es relevante para los usuarios de la información: refleja elementos o fenómenos que forman parte de lo que se busca entender; en el caso del proceso evaluativo, se relacionan con algún aspecto del marco conceptual de la iniciativa que se evalúa; es apropiado por los usuarios de la información: los usuarios se identifican con el indicador; tienen confianza que está reflejando fielmente información relevantes; es sensible a ser afectado por las iniciativas que se están evaluando; es práctico: el costo de recopilar los datos y producir la información a ser sintetizada por el indicador es razonable.
Los indicadores relevantes para el proceso evaluativo tienen que definirse teniendo en cuenta tres dimensiones del proceso evaluativo:
el marco conceptual de la iniciativa que se evalúa; los criterios de evaluación, que deben incluir, como conjunto mínimo de criterios, la eficacia, eficiencia, equidad y sostenibilidad los diversos actores y sus correspondientes perspectivas y demandas de información.
El flujo de la cadena de objetivos que constituye el marco conceptual puede ser resumida con indicadores. Por tanto, habrá:
indicadores que describen las actividades e insumos indicadores que describen los productos indicadores que describen el logro (o no) de los objetivos intermedios indicadores que describen el logro (o no) de los objetivos finales
En este contexto, el uso de una construcción mental matricial para la construcción de
27
indicadores, que podría tener la siguiente conformación:
Actividades  Productos  Objetivos interm.  Objetivos finales
Indicadores que describen:
Eficacia
Eficiencia
Equidad
Sostenibilidad
- cantidad y calidad de los
insumos y actividades
- costos unitarios
y totales de insumos y actividades
- distribución de costos
por tipo de insumo o
actividad
-distribución por región,
décil de ingreso, grupo
de población
-fuentes y montos de
recursos financieros
-grado de susceptibilidad
a decisiones políticas
-evidencia de elementos de sostenibilidad del flujo
oportuno de insumos
- cantidad y calidad de servicio ofrecido cantidad y calidad de la ejecución de componentes
- costo por unidad de “capacidad instalada”
- indicadores de eficiencia técnica
- discriminación de costos por rubros relevantes
-evidencia de puesta en marcha para incorporar a todos los grupos relevantes
-distribución de la oferta por región o por grupo relevante
- evidencia de puesta en
marcha de estrategias
para lograr la sostenibilidad
- utilización del servicio por la población objetivo
- costo por persona o
familia atendida
-indicadores de eficiencia”interna”: permanencia, uso servicios
- utilización sostenida del
servicio, por región décil de ingreso, u otro grupo.
- evidencia de participación
comunitaria y solidaridad
comunitaria, con respecto al
programa
- cambios en el bienestar de la población objetivo
- indicadores de “eficiencia externa”
- costo por unidad de
“impacto”
- cambios en los indicadores del bienestar, por región,
décil de ingreso
- evidencia de sostenibilidad del impacto
Es importante recordar que hay una tercera dimensión que se debe tomar en cuenta: la de los múltiples actores de los procesos de monitoreo y evaluación: tanto los demandantes de la información como los que toman roles en la recopilación y registro de datos. Los indicadores deben definirse tomando en cuenta las perspectivas de estos actores, sus intereses en la información y sus interpretaciones del marco conceptual.
Cuarto desafío: definir y manejar flujos de la información generada por el proceso evaluativo e introducir estrategias e incentivos que promueven el uso de dicha información
La evaluación llega a servir de verdadero herramienta de la gerencia social en la medida que se utilice para educar los procesos gerenciales y decisorios. Por tanto, los flujos efectivos de la información y las estrategias para promover el uso de la información constituyen componentes clave del diseño y manejo de los procesos de monitoreo y evaluación.
28
El diseño y la construcción de flujos de información deben guiarse por la definición de las necesidades de información por parte de los diferentes interesados en el proceso evaluativo. El flujo de información debe asegurar que cada actor tenga información de buena calidad para guiar y enriquecer el papel que juega en la iniciativa.
Como consecuencia, resulta lógico que un flujo de información tenga su base en los puntos de entrega de los servicios o los puntos de encuentro con la población objetivo. Por tanto, los flujos de información se pueden conceptualizar inicialmente con flujos que surgen desde abajo para arriba. Los gestores en los puntos más descentralizados o más cercanos a los afectados claramente tienen oportunidades para generar y/o recopilar datos y producir informaciones que alimentan todo el proceso evaluativo.
No obstante, hay un gran peligro en pintar flujos de información meramente “de abajo hacia arriba”. Donde bien los gestores más en contacto con los afectados y con el entorno donde se entrega el servicio o donde se desenvuelve la iniciativa pueden generar mucha información, no toda la información que podrían generar es relevante para sus responsabilidades en la gestión del programa. Por ejemplo, en un programa de hogares comunitarios para el cuidado de niños de edad pre-escolar, las madres comunitarias podrían facilitar algunos datos para facilitar el análisis del desarrollo nutricional de los niños bajo sus cuidados. Asimismo, podría facilitar la recopilación de datos sobre la participación de los padres de familia en la gestión del hogar o en el mercado de trabajo. Estas informaciones podrían ser de interés a aquellos actores responsables por generar impactos o efectos en la nutrición, en la participación ciudadana o comunitaria y sobre el empleo y los ingresos familiares. No obstante, típicamente son elementos que se consideran “más allá” de las responsabilidades de las madres comunitarias, quienes se responsabilizan por la alimentación, la estimulación temprana y la actividad cotidiana del hogar y de los niños atendidos. En la medida que vamos a pedir a las madres comunitarias facilitar los datos o la información sobre algunos de los posibles efectos o impactos de su gestión, tenemos que generarles incentivos o motivaciones para ese trabajo. De no proveerles las adecuadas motivaciones, se corre el peligro de no contar con los datos de manera consistente y oportuna y/o de contar con datos de dudosa confiabilidad.
Este riesgo se presenta porque la percepción de irrelevancia o de poca importancia del dato hace que el sencillo acto de mandar alguna información baste para cumplir con el “requisito”, sin importar el cuidado de la calidad del dato. Si los que proveen la información no ven la relevancia y no ven ningún beneficio directo de participar en la recopilación de datos, poca motivación van a tener para invertir esfuerzos en la recopilación y el registro.
Por tanto, es necesario definir y manejar motivaciones para incentivar el trabajo en la recopilación y/o el registro de datos necesarios para los procesos evaluativos que deben despertar alguna identificación de la relevancia de la información para los gestores quienes estén participando en dicho trabajo. Las motivaciones, entonces, no consisten en un pago por el dato entregado. Mas bien, consisten en algún incentivo relacionado con la información misma.
Los mismos flujos de información pueden ser motivadores, siempre y cuando sean bi-direccionales o multi-direccionales. Es decir, la provisión de información que sea de interés o de
29
utilidad para los gestores puede por si mismo incentivarles para que continúen participando en el registro o recopilación de datos de buena contabilidad. Si los gestores más cercanos a la población objetivo registran datos y los remite a un nivel de gestión más agregado, ese nivel puede agregar los datos, analizar la información y volverla a remitir a los establecimientos más desagregados, para que éstos puedan comparar los indicadores sobre su gestión en relación con los de otros establecimientos, en relación a sus gestiones pasadas y/o en comparación con algunos estándares. Esta información de alguna forma les sirve de retroalimentación y les indica caminos para mantener y/o fortalecer su gestión. A su vez, le señala que los datos que recopilan tengan algún uso o interés y les motiva a continuar y/o mejorar su recopilación.
Otra motivación que promueve y enriquece una percepción de la relevancia de los datos recopilados en el proceso evaluativo consistiría en una retroalimentación por parte de los gestores más centralizados hacia los gestores más locales, con base en la información proveniente de dichos datos. Si existe una fluida comunicación que indica lo que se está concluyendo sobre el diseño, la gestión o la dinámica de la iniciativa, con base en el análisis y la comparación de datos, los gestores inmediatamente perciben la utilidad de los datos y suelen ser más comprometidos con la recopilación. Por supuesto, esta comunicación, a su vez, puede estar orientada a la introducción de mejoras en el programa, por medio de dialogo y asistencia técnica. El diálogo resultante puede introducir nuevas percepciones o perspectivas a los procesos de análisis e interpretación de los datos evaluativo. Así, la incorporación de flujos bi-direccionales o multi-direccionales de información pueden facilitar que la evaluación brinde sus frutos inmediatos por medio del enriquecimiento del programa y también sus frutos indirectos, por medio de la mejora de los compromisos en los procesos de recopilación, remisión y análisis de datos.
La Figura 4 ilustra un flujo de información de esta naturaleza: los datos recopilados al nivel de establecimiento (además de retroalimentar directamente al establecimiento) se remiten al nivel local, donde pueden ser analizados, agregados y/o comparados con los provenientes de otros establecimientos en la misma localidad. Los resultados de estos procesos se devuelven a los establecimientos, con el fin de guiar o fortalecer la gerencia y, a su vez, motivar el enriquecimiento de la información. La localidad puede basarse en los resultados señalados por los datos locales para reconocer éxitos, para ofrecer asesoría o para ajustar sus estrategias con respecto a los establecimientos. Los datos locales fluyen también a los niveles regionales, donde pueden ser analizados, agregados y/o comparados con los que provienen de otras localidades. Las regiones, a su vez, remiten datos a los gestores del nivel nacional y también devuelven información valiosa para los gestores locales. Esta retroalimentación también se produce en el nivel nacional, en sus esfuerzos para apoyar a los niveles regionales.
De los flujos bi-direccionales o multi-direccionales de información, lo que esperamos promover en un uso efectivo de la información generada en el proceso evaluativo. Si vamos a implementar efectivamente un paradigma de gerencia que está enfocado en el logro de mejoras eficientes y equitativas en las condiciones de vida, indudablemente los gerentes necesitan contar con una herramienta que les permite conocer continuamente el estado de las actividades y productos que están manejando, los logros sociales que pueden estarse produciendo y las relaciones entre los dos. Es decir, el gerente requerirá de un proceso continuo de monitoreo y evaluación.
30
Figura 4.
Un gerente totalmente comprometido con este nuevo paradigma tendría incentivos naturales para usar un proceso evaluativo. De hecho, este uso conduciría a los gerentes a introducir consecuencias distinguibles para resultados evaluativos diferentes: ciertas consecuencias para aquellas iniciativas que indican que se logran los objetivos buscados y otras consecuencias, claramente diferentes, para aquellos que indican que no se logran los objetivos buscados.
La cultura gerencial que facilitarían y promovería el efectivo uso de la evaluación, como instrumento aliado del gerente, tendría por lo menos cuatro características particulares:
Sería una cultura gerencial que permita la equivocación y el ajuste. Una cultura gerencial moderna, orientada a logro de cambios sociales eficientes y equitativos, incentivaría la flexibilidad y la innnovación, como mecanismos para asegurar el logro de los objetivos máximos deseados. Permitiría a los equipos gestores probar estrategias que parecen ser caminos idóneos para el logro de las transformaciones deseadas, siempre y cuando hubiera instrumentos que les indican de manera oportuna la efectividad y eficiencia de los resultados. Por supuesto, puede haber una tolerancia a la equivocación siempre y cuando haya la capacidad de reconocer una estrategia no eficaz, para hacer cambios y ajustes sobre la marcha. La cultura gerencial que promueve innovación dinámica, entonces, no sólo promueve el uso de la evaluación, lo demanda como instrumento indispensable de la gerencia. Sería un contexto gerencial en que los que reciben la información tengan autoridad dentro de la organización para utilizarla y hacer las modificaciones del caso. ¿Por qué pedir a los
Establecimiento de entrega del servicio(escuela, puesto de salud, etc)Nivel local(núcleo, municipio, etc)Nivel regional(estado, provincia, departamento,región)Nivel nacionalDatos regionales, locales y/o de establecimientoDatos locales y/o de establecimientoDatos recopilados al nivel de establecimientoInformación, análisis y/o comparación de datos recopilados al nivel de establecimiento. Asistencia técnica para reaccionar y ajustar.Información, análisis y/o comparación de datos recopilados al nivel local y de establecimiento. Asistencia técnica para reaccionar y ajustar.Información, análisis y/o comparación de datos recopilados al nivel regional y/o local. Asistencia técnica para reaccionar y ajustar.
31
directores de escuela evaluar al desempeño de los docentes, si no tiene capacidad o autoridad para implementar cambios, para exigir modificaciones en el desempeño e, incluso, para no renovar el contrato del docente? ¿Por qué pedir a las madres comunitarias pesar y medir a los niños en su cuidado, si ella no cuenta con la flexibilidad de recursos y de asignaciones para modificar la alimentación de los niños, con tal promover el crecimiento de todos? Un contexto gerencial que promueva el uso de la información también permite que los que tengan la información pueden actuar sobre ella, siempre en función de los objetivos deseados. Sería un contexto en que los incentivos organizacionales y gerenciales favorezcan la utilización de información. Los contextos gerenciales siempre tienen incentivos – explícitos o implícitos. Hay incentivos en forma de premios o pagos por mérito o logro; hay incentivos en forma de reconocimientos. De no existir incentivos de esta naturaleza, hay incentivos “por omisión”, que típicamente incentivan comportamientos no consistentes con los objetivos organizacionales. En un contexto gerencial moderno idóneo para las iniciativas sociales, los incentivos – sean monetarios, o de reconocimientos, o en forma de los criterios que se utilizarán en las evaluaciones de desempeño – promoverán el uso de las informaciones generadas en los procesos evaluativos. Los incentivos marcarían hitos o valores meta o reconocerían logros en función de datos o informaciones generados por el proceso evaluativo. De esta manera, enfocarán a los equipos gestores en lo que realmente importa – el cumplimiento de diferentes objetivos especificados en el marco conceptual del proceso evaluativo. Finalmente, sería un contexto gerencial en que existan mecanismos de ajuste. Usar la información generada en el proceso evaluativo sólo resulta viable si hay mecanismos de ajuste o, sea, que hay flexibilidad suficiente para facilitar que los gerentes utilizan la evaluación para reconocer que hay necesidad de redefinir caminos y que efectivamente los pueden redefinir. Esto implica mecanismos que permitiría la reasignación de recursos humanos, físicos y financieros; implica autoridad para redefinir las estrategias operativas y/o para modificar las características del bien, servicio o información que se está ofreciendo, con tal lograr los objetivos deseados. Este contexto gerencial se caracteriza por regulaciones muy diferentes a las que típicamente han caracterizado las administraciones públicas de finales del Siglo XX.
Ahora bien, sabemos que el cambio en los paradigmas gerenciales no se producen de la noche a la mañana. La cultura gerencial va a cambiar paulatinamente, particularmente en el sector público donde sigue siendo rígidamente reglamentada. ¿Debemos esperar, entonces, que haya un cambio en las actitudes y en las reglamentaciones y convenciones gerenciales-administrativas, para luego responder a las demandas de procesos evaluativos rigurosos?
Nuestra respuesta sería un contundente “no”. En lugar de esperar que se produzcan cambios gerenciales de fondo para luego avanzar sobre los procesos evaluativos, podríamos utilizar los mismos procesos evaluativos para promover profundos cambios gerenciales. Procesos evaluativos en que participan múltiples involucrados y que generan valiosa información para mejorar la gestión podrían ser fuerza motivadora de otros cambios. La fuerza de la información generada podría ser utilizada para aplancar cambios de fondo en los reglamentos y en las prácticas cotidianas de la gerencia en los sectores sociales.
32
Por tanto, recomendamos utilizar la evaluación como un instrumento que motive y facilite cambios gerenciales de mayor profundidad. No obstante, esto implica que va a tener que haber esfuerzos proactivos por parte de individuos y organizaciones convencidos y comprometidos, para promover el uso de la evaluación – o más específicamente, el uso de la información generada por la evaluación. Es decir, mientras que la transformación gerencial avance lo suficiente para que una nueva cultura gerencial demande evaluación como instrumento indispensable, se debe tomar medidas específicamente diseñadas para promover el uso de la información evaluativa. Entre las posibles medidas que se podrían considerar figuran las siguientes:
Definición de valores objetivos y valores de referencia: Una primera dificultad para el uso de la información se presenta cuando no hay experiencia en trabajar con un dato o un indicador específico. En ese caso, los usuarios de la información (los gestores y/o los interesados en la iniciativa que se evalúa) requieren de referencias que les faciliten la interpretación de la información. Estas referencias pueden venir en forma de estándares especificados por algún referente técnico o por experiencias previas. Los valores de referencia para datos sobre costos se podrían venir en forma de un rango determinado con base en los costos de experiencias previas en la implementación de estrategias parecidas.
Vínculo de los indicadores o informaciones con los procesos decisorios: Los datos o indicadores utilizados en los procesos decisorios adquirirían una relevancia inmediata en la medida que formaran parte del dialogo conducente a la toma de decisiones con respecto a los recursos asignados a las iniciativas. Por tanto, en la medida que los equipos gestores demanden datos sobre ciertos fenómenos o ciertas actividades, su monitoreo va a adquirir una relevancia “automática”. En la medida que los decisores estipulen que van a prestar atención a la evolución de ciertas actividades o ciertos resultados, van a animar a los gestores a prestar atención también.
Especificación de puntos de decisión: Para concretar el vínculo de los datos o la información con los procesos gerenciales y decisorios, se pueden especificar algunos “puntos de decisión”, fijados por plazos de tiempo o por valores objetivo de ciertos indicadores. Por ejemplo, se podría decir que de no lograr reducir el costo de pavimentación por metro cuadrado en un 20% dentro de los siguientes 90 días, habría que reconsiderar las tecnologías aplicadas. Asimismo, se podría decir cuando los costos lleguen a bajar en más de 20%, se reabriría el debate sobre la extensión contractual. Igualmente, se podría decir que si no se observa un aumento en la satisfacción de los padres de familia al cabo del próximo año escolar, se suspenderá la nueva iniciativa de estudio independiente en lecto-escritura.
Definición de pactos, contratos de gestión o desempeño. El pacto o contrato de gestión ( o de desempeño) puede comprometer a los gerentes o al equipo gestor en el logro de determinadas metas, medidas por datos incluidos en los procesos evaluativos.
Reconocimiento, incentivos para el cumplimiento de objetivos: Se pueden definir reconocimientos o incentivos vinculados con datos o indicadores incorporados en los
33
procesos evaluativos. A manera de ejemplo, la administración de las pensiones de seguridad social en el estado de Sao Paulo ha fijado un conjunto de cuatro o cinco indicadores para monitorear la eficiencia administrativa en la tramitación de pensiones. Periódicamente, publica los valores que cada municipio ha registrado para cada uno de los indicadores y destaca el municipio de mejor gestión y el municipio que más ha mejorado su gestión de las pensiones.
Desincentivos en caso de no cumplir: En la misma forma de incentivar el cumplimiento, se puede desincentivar o sancionar el incumplimiento de ciertos objetivos. Nuevamente, la explicitación de expectativas y las consecuencias de incumplir las expectativas puede conducir a los equipos gestores a guiar sus esfuerzos por un seguimiento sistemático de los fenómenos que se desean afectar.
Conclusiones
El Proceso evaluatorio en la Gerencia Social, la evaluación en un aliado en la gestiòn. Es más, el proceso que tantas veces se ha considerado como diabólico puede, en sí, enriquecer y promover la modernización de los paradigmas y procesos gerenciales. Como tal, ha llegado la hora para la evaluación tome un papel no sólo importante sino indispensable en los procesos de gerencia de las políticas, programas y proyectos sociales.
En este texto, se ha propuesto que las iniciativas sociales (llámense políticas, programas, planes o proyectos) consisten en hipótesis causales que proponen realizar un conjunto de inversiones y/o actividades de tal forma causen un conjunto de modificaciones deseadas. Visto así, el monitoreo y evaluación son procesos que hacen un seguimiento sistemático de los esfuerzos de invertir y de gestionar actividades y prueban la hipótesis causal.
Visto así, el monitoreo y la evaluación son procesos que nos permiten aprender: aprender lo que está resultando y lo que no resulta. Aprender que en determinados entornos, una determinada relación causa-efecto se produce, mientras que en otros entornos, no se produce. Nos permite detectar los ajustes que hay que hacer para facilitar que las actividades se hagan de manera oportuna, en forma eficiente y con la calidad esperada. Identifica los ajustes o las actividades adicionales que tienen que incluirse, con tal producir los efectos esperados. En síntesis, la evaluación permite enriquecer los procesos gerenciales con un aprendizaje dinámico. Lejos de ser un monstruo diabólico, entonces, la evaluación se puede tomar una nueva imagen, la de un tutor aliado.
Para facilitar la transformación de la evaluación en un aliado que promueve el aprendizaje y fortalece la gerencia, el primer desafío que tenemos que enfrentar consiste indudablemente en explicitar lo que queremos lograr (y, por tanto, explicitar lo que queremos evaluar). La especificación del marco conceptual de la iniciativa social que se propone evaluar, en forma de una jerarquía de objetivos interrelacionados, no sólo permite definir los procesos evaluativos, sino también constituye un insumo clave para orientar la gerencia de las iniciativas. La superación de ese primer desafío, por si solo, consolida y fortalece los procesos gerenciales y evaluativos.
34
Una vez superado el desafío de la explicitación de lo que se propone lograr, el proceso evaluativo se fortalece en la medida en que superemos los demás desafíos: la eliminación de la brecha cualitativa/cuantitativa; la concertación de indicadores e informaciones necesarios para el proceso evaluativo y la introducción de estrategias e incentivos que asegurar flujos relevantes de la información y que promueven su uso. Al avanzar en estas áreas, se puede ir construyendo un proceso evaluativo que nutre y apoya el proceso gerencial y que alimenta al proceso decisorio de valiosa información.
35