Herramientas para la evaluación: Trascendiendo la separación
entre lo cuantitativo y cualitativo ®
Por la Dra.
Myrna Rivas Nina, psicóloga social y Presidenta de Én·fa·sis,
22 de
agosto de 2002, Ponencia Presentada en el 2do Encuentro de Johnson & Johnson
con
Organizaciones Aliadas: “Evaluamos la Evaluación”, celebrado en la Universidad
del Turabo
(Se puede
citar esta ponencia siempre que se dé el crédito a su autora. Para más
información se pueden comunicar con la Dra. Rivas en el teléfono (787) 724-7278
o a través de enfasis@caribe.net)
Varios estudios señalan que en Estados Unidos y
Europa se ha duplicado en los últimos diez años el número de instituciones
donantes que han asignado a una persona a tiempo completo o han creado
departamentos para desarrollar diversos tipos de evaluaciones. Por ejemplo, en
1992 se creó Grantmakers Evaluation Network con el apoyo del Consejo de
Fundaciones que quiere aumentar la capacidad de las organizaciones como
consumidoras y productoras de las evaluaciones y promover estándares para el
desarrollo de mejores trabajos de evaluación.
Antes de entrar a ver los tipos de evaluaciones
que se pueden realizar, quiero hacer un paréntesis para presentar brevemente
una visión histórica de las evaluaciones en el sector sin fines de
lucro, especialmente en Estados Unidos y en cierta medida en Puerto Rico. Todo
indica que fue en la década del sesenta cuando las agencias federales comenzaron a desarrollar de manera más sistemática procesos para medir y
comprobar la efectividad de proyectos sociales y comunitarios sin fines de
lucro ante las críticas de sectores opuesto a asignarle fondos.
Al analizar esas evaluaciones, se observa como
la perspectiva financiera o financial accountability, que busca
medir cómo las organizaciones han gastado sus fondos, fue la corriente
dominante y sigue siéndolo. Además predominaron los esfuerzos por medir
cuantitativamente los productos (outputs) del programa en términos de
número de actividades desarrolladas, de servicios prestados y personas
servidas, corriente también muy frecuente en nuestros días.
Entrados en los 70’s, la preocupación de muchos donantes por la
calidad de los servicios prestados y el nivel de preparación de personal de
las organizaciones sin fines de lucro llevó al desarrollo de una corriente de
estudios para elaborar indicadores de calidad. Fue en este periodo que
comenzaron a establecerse protocolos de servicios y las certificaciones de las
organizaciones para la prestación de los servicios esto se vio más dentro de
los servicios sociales y de salud.
Ya en los 80’s comienzan a ser más frecuentes las evaluaciones que
tienen como objetivo conocer las necesidades de los participantes o
clientes de los proyectos, así como su satisfacción. También en los 80’s, con
la incursión de firmas de contabilidad en este campo, se refuerzan los trabajos
dirigidos a medir el desempeño de las organizaciones a partir de los recursos
disponibles y el costo total de los proyectos, los llamados análisis de
costo-efectividad y costo-beneficio.
En los 90’s comienzan a coger más fuerza entre
los donantes los estudios de impacto, encaminados a conocer los
beneficios y logros alcanzados por las organizaciones comunitarias. Estos
buscan responder a una pregunta cada vez más frecuente dentro de las Juntas de
Directores de las entidades donantes: ¿Las organizaciones y proyectos que
apoyamos están realmente consiguiendo cambios en la gente y en la comunidad,
vale la pena seguir apoyándolos?
Pero ¿cuál ha sido la tendencia
dentro de las propias organizaciones sin fines de lucro? Hay pocos estudios
al respecto, pero todo apunta a que sólo alrededor de una tercera parte dispone del tiempo y el
personal para documentar y evaluar de forma sistemática todos sus actividades y
logros, pocas son las que pueden asignar recursos internos periódicamente para
autoevaluarse o contratar un consultor que pueda apoyarlos en estas tareas.
A muchas organizaciones se
les hace difícil incluso documentar a nivel interno el trabajo que se está
realizando. A veces cuando llego a evaluar una organización o programa, ya sea
contratada por un donante o por la propia organización comunitaria, me
encuentro haciendo un trabajo casi de recopiladora histórica o armadora de un
rompecabezas. Una de las principales dificultades que tenemos los
evaluadores es que sabemos que en la mayoría de los casos se ha hecho el
trabajo, que se ha llegado a mucha gente, pero los documentos y los informes no
siempre reflejan todo ese esfuerzo.
Me parece necesario en este momento mencionar diversos
tipos de evaluaciones, algunas ya las he ido mencionando. Muchas veces la
dificultad de los donantes y de las organizaciones reside también en identificar
que es lo que quieren evaluar. En concreto, quiero resaltar las evaluaciones
organizacionales, las evaluaciones de programas (que son
con las que ustedes se deben sentirse más familiarizados) y las evaluaciones de
impacto. A continuación quiero dar una mirada rápida a las tres, pero
enfocándome en algo diferente en cada una.
Es importante destacar que en una evaluación
organizacional, el objeto de análisis es la organización como un todo, ya
sea su estructura, su funcionamiento, sus procesos y dinámicas internas. Estas
requieren muchas veces que los evaluadores analicen varios de los aspectos que
enumero a continuación: las certificaciones y reglamentos, el organigrama, la
misión, el personal, su capacitación y supervisión, el desempeño de la Junta de
Directores, el sistema de monitoría y evaluación interna de los programas, las
operaciones administrativas, los aspectos contables y financieros, las
obligaciones y controles fiscales, la recaudación de fondos, proyectos de
autosuficiencia, planificación a corto y largo plazo, colaboración con otras
instituciones, las alianzas y la promoción de la organización y sus servicios,
entre otras áreas.
Si en un momento estas evaluaciones integrales
las utilizaban más las instituciones donantes en el momento previo a otorgar
fondos, actualmente las podemos encontrar con más frecuencia a mitad de una
asignación de fondos para confirmar su continuidad o las vemos iniciadas por la
propia organización sin fines de lucro, las llamadas autoevaluaciones
organizacionales.
Siempre le recomiendo a las organizaciones
comunitarias que al menos una vez al año, durante varios días, reflexionen
cómo están en cada uno de estos temas, se autoevalúen. Lo ideal es que
este proceso incluya al personal, a la Junta de Directores, consultores y otras
personas allegadas. Les exhorto a que vean la autoevaluación como un valor
añadido, un instrumento de reafirmación y fortalecimiento y de presentación
hacia el exterior, una inversión. Que no esperen a que otra institución llegue
a evaluarlos para ponerse en el último momento a ver como están en estos temas.
Deben que hacerse periódicamente preguntas: ¿Cómo está nuestra misión?, ¿Es
momento de repensarla?, ¿Cómo funciona el sistema de contabilidad? ¿Han
aumentando las fuentes de fondos? ¿La Junta tiene cubierta todas las vacantes?
¿Mis programas responden a unas necesidades reales? ¿Qué opinan las personas
servidas? ¿Contamos con un manual de empleados? ¿Cómo está la capacitación?
Etc.
Pasando a las evaluaciones de programas o proyectos, con
las que ustedes estarán más familiarizados, saben que las mismas se pueden
llevar a cabo antes de un programa (evaluación de contexto y evaluación de
planificación), durante el transcurso de un programa (evaluación de proceso o
formativa, el llamado avaluo), al término (evaluación de producto o sumativa) o
pasado un tiempo (evaluación de impacto). Lo que más quiero resaltar es que
como evaluadores de programas buscamos responder tres preguntas básicas.
El programa:
¿Es idóneo? –
se corresponde con la realidad y sus posibilidades, con los recursos
existentes, con las oportunidades y las necesidades
¿Es eficaz? –
consigue los resultados deseados, cumple con las metas y objetivos previstos,
las actividades son coherentes con los objetivos propuestos
¿Es eficiente? –
obtiene el mayor provecho de los medios y recursos de los que dispone
Es importante la combinación de estos tres elementos. A veces tenemos
programas muy eficaces, pero que han tenido que invertir el doble de recursos
humanos y económicos previstos inicialmente, por tanto no son eficientes. Otros
pueden tener un alto grado de eficacia y de eficiencia, pero no han sido
idóneos ya que sus objetivos no se han adecuado a las necesidades de esa
población a la que se interesa llegar o a la realidad que buscaban impactar.
Pero ojo, la forma de abordar la evaluación de
un programa es muy diferente según el momento en que se haga, si queremos
evaluar un proyecto que todavía no ha terminado, que está en proceso, podríamos
hacernos las siguientes preguntas para elaborar luego los indicadores
evaluativos:
·
¿Se está ejecutando el programa de acuerdo a lo
previsto?
·
¿Qué modificaciones hay que ir introduciendo
sobre la marcha?
·
¿Existe una buena integración entre medios,
métodos y actividades?
·
¿Se desarrolla un volumen de trabajo
equilibrado y suficiente?
·
¿Qué grado de implicación de los participantes
se está consiguiendo?
Pero
si quisiéramos evaluar un proyecto que ya terminó podríamos hacernos preguntas
como:
·
¿Qué resultados –positivos, negativos,
previstos o imprevistos- se han conseguido?
·
¿En que grado se han llegado a cumplir los
objetivos?
·
¿Se ha llegado a las personas previstas?
·
¿Qué valoración hacen estos de la calidad de
los servicios recibidos y su accesibilidad?
·
¿Ha funcionado adecuadamente el equipo de
trabajo?
El ultimo tipo de evaluaciones del que les quiero hablar son las evaluaciones
de impacto, yo prefiero llamar evaluaciones de logros, son las que más
fuerza están cogiendo dentro de los donantes, están encaminadas a conocer los
beneficios y logros alcanzados por las organizaciones. Y es que a fin de
cuentas, una persona, institución o corporación que da un donativo para una
causa que entiende justa y meritoria le interesa palpar el impacto o la
repercusión que están logrando, pero no sobre el papel, sino en el mundo real.
La evaluación no se limita a conocer el número de actividades o personas que
participan. Y es que insisto, la nueva preguntando es: “¿cómo las aportaciones
están logrando cambios?, en lugar de la vieja pregunta, ¿qué se ha hecho?”
Estos estudios de impacto trabajan mayormente desde un modelo que busca
entender en las relaciones entre:
·
los recursos disponibles (inputs) – por ejemplo, dinero, personal, voluntarios, facilidades,
equipos, etc.;
·
las actividades que
se realizan para cumplir con la misión y objetivos;
·
el volumen o productos que se registran (outputs) – por ejemplo: numéro de participantes, de
conferencias, de consejerías, de material distribuido, etc.; y
·
los logros
alcanzados (outcomes) – por ejemplo: más conocimiento, nuevas destrezas, cambio
de actitudes y valores, modificación de conducta, mejoramiento de sus
condiciones, etc.
Los logros pueden ser iniciales, intermedios o a largo plazo,
incluso pueden haber logros no anticipados o no intencionados. Este puede ser
el caso de un programa dirigido a la educación sexual y prevención el embarazo
en niñas en zona de alto riesgo que logra bajar la incidencia de embarazos en
adolescentes, pero también logra que estas se animen a estudiar más, se
organicen, mejoren sus relaciones dentro de sus familias y se tracen metas
vocacionales y profesionales, etc. Esa información les interesa mucho a los
donantes, saber como el donativo se multiplica más allá de los objetivos
iniciales. Las evaluaciones de impacto son una herramienta que ustedes pueden
tener para hacer constar esos logros.
Este tipo de evaluación requiere que el evaluador salga de la mera
revisión de documentos y sobre todo requiere trascender la dicotomía o
separación entre lo cuantitativo y cualitativo. Se deben utilizar diversos
métodos de investigación, esto permitirá
la triangulación o contraste de los hallazgos y, por lo tanto, una mayor
confiabilidad y validez en el análisis.
Aprovecho en este momento para abordar un tema
muy en voga dentro del mundo de las evaluaciones, y que creo que las
organizaciones comunitarias deberían conocer y manejar más para sacarle
provecho, son los llamados indicadores evaluativos, que he mencionado en
varios momentos de esta presentación. Los indicadores permiten delimitar y
fijar las dimensiones de aquello que se pretende evaluar. Nos concretan y
traducen en términos medibles las cuestiones o criterios en los que se
fundamenta una evaluación.
Al mencionar indicadores mucha gente piensa en
números, en por cientos o en escalas numéricas, pero existen tanto indicadores
evaluativos cuantitativos como cualitativos. Yo en mis evaluaciones me gusta
combinar ambos tipos para darle mayor amplitud y profundidad al análisis.
Mientras unos, los cuantitativos, permiten calcular la cantidad de aquello que
se evalúa, los otros, los cualitativos ayudan a calcular la calidad de lo
evaluado, estimándola en términos de apreciaciones, relaciones y categorías.
Las
organizaciones pueden establecer sus propios indicadores de logros que mostrar
a sus donantes, a otras instituciones y a la comunidad en general. Para tener
buenos indicadores es necesario tener claros los objetivos del trabajo que se
hace y eso las organizaciones lo conocen muy bien. Por ejemplo, un programa
cuyo propósito es que sus participantes alcancen un estilo de vida saludable y
realiza charlas y otras actividades en diferentes comunidades pueden definir
estilo de vida saludable como no fumar, mantener un peso, una presión sanguínea
y unos niveles de colesterol recomendados, hacer determinadas horas de
ejercicio, etc. Esa organización puede recopilar cada cierto tiempo información
cuantitativa a través de una pequeña encuesta a una muestra de personas en esas
comunidades para ver los cambios en sus conductas, pero también pueden
combinarlo con la recopilación testimonios de algunas de estas personas que
fueron impactadas positivamente por el programa.
Otro ejemplo, un programa dirigido a dar
tutorías a niños de comunidades marginadas, aunque su indicador principal
pudiera ser el aumentar su desempeño académico y que obtengan mejores notas,
otros indicadores de logros pueden ser la disminución de la deserción en las
escuelas de la zona, el número de graduados, la participación de padres en el
proyecto, menor incidencia de consumo de drogas entre menores, mejores
relaciones familiares, nuevos intereses de los estudiantes por las artes y la
mayor responsabilidad y puntualidad de los niños en todas las actividades que
desarrollan, entre otros. Como ven en este ejemplo no importa tanto cuantas
tutorías y a cuantos niños, sino cómo ha cambiado la dinámica comunitaria a
raíz de un proyecto. Después podríamos hablar de otros ejemplos relacionados a
los proyectos que ustedes desarrollan.
Como ven en las evaluaciones de impacto es muy aconsejable
recoger la perspectiva de las personas servidas y de la comunidad, pero la
pregunta de fondo no es si le gustó o no el programa, algo que ya se hace, sino
cómo ese programa impactó su vida, lo cambió, le sirvió, le educó, le cambió su
forma de pensar y de hacer.
De igual forma también es importante reflejar el impacto que el proyecto
ha tenido en la vida misma de la organización, en su personal y en sus otros
programas. A los donantes, por ejemplo, les interesa mucho saber cómo las
organizaciones establecen colaboraciones y alianzas, o si diversifican sus
fuentes de fondos y buscan en cierto modo la autosuficiencia.
Por eso les recomiendo a las organizaciones
comunitarias que cuando reciban evaluadores no se centren sólo en
facilitarle informes y documentos administrativos y técnicos. Si hay tiempo es
recomendable que les lleven a conocer algún proyecto de la organización y a la
comunidad con la que trabajan. También les exhorto a que le preparen un
portafolio con folletos, boletines y material informativo o educativo que hayan
preparado, recortes de prensa donde se haga referencia a la organización o al
proyecto, listado de actividades de capacitación donde han participado y
eventos donde han presentado el proyecto; así como afiches (posters), fotos y
cintas de video de actividades, conferencias, cursos y campañas. También los
animo a que siempre que tenga alguna actividad importante inviten a sus
donantes, aunque no siempre éstos puedan ir se mantienen al tanto de que
ustedes están moviéndose.
Aclaro que aunque durante las evaluaciones de
impacto como en cualquier otro tipo de evaluación se maneja una gran
cantidad de información, es dispensable que los informes sean documentos prácticos, concisos, con formatos atractivos y lenguaje
accesible que sirvan de base para presentaciones a otros sectores de la
sociedad, en caso de ser necesario. Un informe puede integrar desde indicadores
de logros cualitativos y cuantitativos hasta citas de entrevistas a
participantes de los programas, líderes de la comunidad y personal de la
organización; y fotografías y material audiovisual. Hay que evitar caer en lo
meramente técnico, pero también hay que evitar caer en lo muy anecdótico.
Antes de terminar quería aprovechar para recomendarle
a las instituciones donantes que estén presente que al momento de realizar las
evaluaciones organizacionales y evaluaciones de programas que aclaren bien
ustedes mismos que es lo que quieren evaluar y también que le expresen desde un
principio a las organizaciones aquellos aspectos que serán evaluados, la
metodología que se utilizará y los criterios o indicadores de los cuales se
parten. Siempre hay cosas que se pueden cambiar sobre la marcha, pero es
importante no caer en megaevaluaciones innecesarias que entren a evaluar temas
por evaluar. Podemos acabar quitando mucho tiempo de las organizaciones,
acumulando mucha información innecesaria y terminar con un documento poco útil
para la toma de decisiones.
Además es fundamental que se garantice la
confidencialidad en el proceso, y sobre todo que sean evaluaciones útiles,
participativas, motivadoras y de aprendizaje para ambas partes. Elementos como
la prudencia, la diplomacia, el diálogo, la cooperación y la apertura deben ser
parte integral de cualquier evaluación. No podemos olvidar que la evaluación conlleva
a fin de cuentas una valoración, si el proceso ha sido abierto y trasparente
esa valoración será mejor apreciada.
Yo personalmente no estoy de acuerdo con las
visitas sorpresa o con informes unilaterales. Creo que es bien saludable para
todas las partes la claridad del proceso y que según el caso las evaluaciones
puedan ser devueltas a la organización evaluada.
Ya para terminar reconozco que existen
múltiples obstáculos, que yo prefiero llamar retos para hacer del proceso evaluativo
un elemento más integrado a la realidad de las organizaciones sin fines de
lucro en Puerto Rico. Estos pueden ir desde:
·
la falta de tradición y familiaridad por
determinados tipo de evaluaciones tanto de quien la solicita como de la parte
que es evaluada;
·
hasta la complejidad del contexto en el que
trabajan las organizaciones comunitarias, cada
organización tiene una trayectoria de trabajo que la hace única; la diversidad de programas, niveles de actuación y objetivos, por tanto
de los criterios de evaluación;
·
por el tipo de trabajo que hacen muchas
organizaciones los logros o cambios no se pueden ver de un día para otro, a
veces tienen que pasar años antes de ver algo;
·
el poco tiempo disponible para realizarlas (que
impide a veces la realización de entrevistas al equipo que trabajo en el
programa o a los participantes);
·
la poca tradición de las organizaciones de
documentar experiencias y actividades de forma sistemática y por escrito;
·
la poca disponibilidad de profesionales
preparados en diversos marcos teóricos y metodológicos; y
·
la falta de recursos
económicos que pueden utilizar las organizaciones para evaluación, sabemos que
muchos de los fondos se dan para proyectos y no se incluyen partidas para
evaluación, entre otros retos.
Es pero que pueda esta presentación pueda ser
útil para ustedes, que les haya sonado familiar y al mismo tiempo les haya dado
una nueva visión de las evaluaciones. Gracias y estoy a la disposición para
preguntas.