Читать книгу Prevención del delito y la violencia - Franz Vanderschueren - Страница 10
ОглавлениеCapítulo II
¿Qué aprendemos de las evaluaciones para una prevención más efectiva?
Patricio Tudela P.
Resumen
Para la prevención y control de la criminalidad no solo es importante saber qué intervenciones son exitosas o fracasan, sino que también por qué. En Chile casi no se examina el contexto en el que se ejecutan intervenciones y probablemente es por ello que seguimos trabajando con escasos resultados. El enfoque de prevención basada en la evidencia y la ciencia de la implementación ponen acento en la importancia de una mirada de segundo orden: examinar reflexivamente sobre cómo trabajamos, es decir, sobre las prácticas metodológicas. La carencia de evidencia empírica y la debilidad de las herramientas para planificar, implementar y evaluar limitan la efectividad. Tampoco hay resultados cuando no hay capitalización de conocimiento a partir de desaciertos anteriores (antes) y supervisión durante la ejecución. La escasa capacidad de aprendizaje, para adoptar y adaptar, y la urgencia de un fortalecimiento institucional acompañado de sistemas de evaluación sitúan la profesionalización de la prevención como una prioridad. Ambos deben colaborar en generar conocimiento criminológico aplicado orientado a mejorar la gestión pública. El análisis de las políticas y programas de prevención es fundamental y la generación de capacidades efectivas reduciendo brechas es una prioridad.
Introducción
Aun cuando el objetivo de la prevención de los delitos y las violencias despierta acuerdos y motiva esfuerzos mancomunados, no todo emprendimiento logra resultados positivos. En la implementación de estrategias, programas o intervenciones hay dificultades de diversa naturaleza. Por una parte, luego de varias evaluaciones se arriba a la conclusión de que no se trata de replicar intervenciones “adecuadas”, sino también de la “gestión de programas”, es decir, de ejecución.
En efecto, si bien existen varias y distintas propuestas de modelos de intervención a partir, por ejemplo, de la promoción de estrategias de construcción de capital social, el desarrollo de la comunidad y la prevención comunitaria, las pocas evaluaciones muestran que muchas no logran los resultados buscados o bien no pueden simplemente demostrarlos, ¿por qué muchas de ellas no funcionan?, y ¿qué impide llevarlas a la práctica o que funcionen?
Sin duda, no es suficiente la voluntad y tampoco una innovación con algún argumento criminológico. Más bien se trata de identificar un programa efectivo, cuyos resultados sean conocidos, a partir de evaluaciones sólidas hechas por terceros. Pero, también se trata de un programa adecuado y de una implementación fiel a los componentes validados, esto es, aprovechar los hallazgos de investigaciones conducentes a construir programas “basados en evidencia científica” y “basados en la ciencia de la implementación”.
La prevención del delito puede ser más exitosa si se sostiene en esfuerzos que se benefician de la experiencia de otros que han intentado resolver problemas similares, que aprovechan el conocimiento que se alcanza con la evaluación de intervenciones sistemáticas y aplican los aprendizajes que arrojan la revisión de la planificación y ejecución de programas.
¿Cuál es el problema?
En Chile se han destinado significativos fondos públicos en programas con importantes limitaciones técnicas y dificultades para mostrar resultados, mientras que otros han fracasado definitivamente. Los responsables de la ejecución de proyectos actúan a ciegas, guiados por la intuición y buenas intenciones.
Los informes técnicos sobre los pocos programas evaluados, impulsado por la Dirección de Presupuesto (Dipres) del Ministerio de Hacienda y con un enfoque de eficiencia más que de efectividad (Plan Comunal de Seguridad Pública 2017, Fondo Nacional de Seguridad Pública 2016, Apoyo a Víctimas 2015, Plan Cuadrante 2014, Barrio en Paz 2012, Fondo de Gestión en Seguridad Ciudadana 2011, Programa de seguridad y participación ciudadana de municipalidades, programas comunales y de barrio 2010, entre otros7), coinciden en advertir que hay errores en el diseño, debilidad en la congruencia (lógica) del diseño y formulación de un proyecto (fundamentación de las relaciones de causalidad) y, especialmente, falencias en el alcance-tipo de evaluación y el diseño-tipo de indicadores de resultado/impacto. Es decir, no es posible determinar si el proyecto había causado efectos mensurables. No se trata aquí de un análisis orientado a afirmar qué hacer ante un problema específico, sino de cubrir un vacío sobre cómo incrementar la probabilidad de éxito en las intervenciones plurianuales.
Cualquier esfuerzo público inteligente se traduce en ahorro de recursos y augura mayor probabilidad de éxito. Nos moviliza la convicción de que es más costo-efectivo para la prevención aprovechar la experiencia de otros en similares situaciones. El objetivo aquí es poner de manifiesto que en la última década hay aprendizajes, que se ha identificado un conjunto de claves y directrices en la ejecución de programas y otras que sencillamente deben evitarse. Esto obedece a la necesidad de hacernos cargo de los primeros resultados de las evaluaciones de programas en Chile.
La crisis de efectividad de los programas de prevención en las últimas dos décadas, especialmente en países anglosajones, al igual que en Chile, obedece al escaso esfuerzo en examinar, comprobar y demostrar científicamente los logros de la política pública, para producir incrementos en cobertura, eficacia y calidad de la oferta pública. Si bien hay esfuerzos para introducir la práctica de la evaluación y la metodología de medición de impacto (diseños cuasi experimentales), no menos relevante es el estudio del cómo se implementan o ejecutan los programas. Hay una debilidad institucional, que afectan a los gestores en territorios, y una necesidad de mejorar de manera urgente la base de conocimiento respecto de las intervenciones.
El problema, así formulado, no es tan solo saber qué intervenciones son exitosas o fracasan, sino que también saber responder a la interrogante de por qué lo son.
Prevención basada en el conocimiento y la evidencia
La información es uno de los ejes operativos clave en la búsqueda de soluciones efectivas y sostenibles. La prevención de la criminalidad y la violencia busca reducir la incidencia de factores que aumentan la probabilidad de que individuos cometan delitos y/o utilicen violencia, o bien sean víctimas. Por ello, se ha transformado en un conjunto de acciones cada vez más extensivo, intensivo, técnico, especializado e integral. Está sujeta a teorías criminológicas, busca modificar situaciones en forma sistemática, enfocándose en problemas crónicos e involucra un enfoque multisectorial e inter-agencias.
En las decisiones para abordar la prevención suelen prevalecer otras convicciones por sobre el conocimiento basado en observaciones directas de la praxis. El estudio de las intervenciones puede enseñar mucho. Cualquier acción bien motivada no es por sí misma óptima y eficaz. Los programas de prevención siguen directrices relativas a objetivos, actores y complementariedad. Esos estándares son conocidos y no es aquí donde es necesario mejorar.
Se trata de subrayar cómo se hace prevención eficaz. Dos líneas de análisis se hacen cargo de las hipótesis más convincentes del fracaso. El problema radica presumiblemente tanto en la naturaleza y/o tipología de las intervenciones como en el escaso sustento de algunas decisiones estratégicas (evidence based) y, al mismo tiempo, también en cómo se ejecutan las intervenciones (science of implementation). Más allá del diagnóstico o de evaluación de la situación local, la selección de un programa es un desafío técnico: ¿qué programa funciona en función del problema priorizado? y ¿por qué?
Este énfasis deriva de un primer llamado de atención que hace Naciones Unidas en el 2002, cuando recomienda la formulación de políticas de prevención y de seguridad “basadas en el conocimiento” (knowledge-based) y subraya que quienes toman decisiones con impacto en prevención deben fundar su rol en “información” científica, aprovechar los “conocimientos” alcanzados y tomar en cuenta las “lecciones” en este campo (Ecosoc RES. 2002/13).
El segundo llamado proviene de la constatación de los fracasos. A modo de ejemplo, puede citarse el caso del programa Scared Straight y otras iniciativas que buscan generar consciencia para la prevención de la delincuencia juvenil. Petrosino et al. (2013: 36) revisan programas similares y confirman que una acción que pretende persuadir, anticipando los riesgos y alertando sobre una sanción, definitivamente no disuade a potenciales delincuentes juveniles.
El enfoque de prevención basada en la evidencia intenta asegurar que se considere la mejor información disponible en cada una de las decisiones propias de la implementación y ejecución de un programa y busca que los resultados de las evaluaciones correctamente hechas (científicas) sean racionalmente integradas en las decisiones tomadas por los formuladores y ejecutores a través de averiguaciones acerca del estado de la evidencia para respaldar las políticas recomendadas; la demostración de que se está usando buena información en las decisiones y que los resultados comprometidos son realistas y factibles.
Esa evidencia puede utilizarse en el desarrollo de intervenciones para abordar los factores de riesgo, enfocados en grupos en y de riesgo (Welsh, 2007; Greenwood y Welsh, 2012; Savignac y Dunbar, 2014). En general, entre las razones para un uso intensivo destaca que:
Los programas basados en la evidencia se apoyan en estudios rigurosos, demuestran que son eficaces y generan resultados positivos.
Si se implementan adecuadamente, con asistencia técnica y fidelidad al diseño, los programas logran mejoras sustantivas y pueden reducir significativamente factores determinantes de la criminalidad en un foco-problema delimitado.
Los programas demuestran ser exitosos, incluso en casos difíciles, generando un cambio significativo para muchas familias vulnerables y comunidades en riesgo. Los beneficios, tanto para los participantes como para las comunidades locales, son mayores.
Un programa con un soporte de esa naturaleza es una inversión, independientemente del área de especialización. Tiene más sentido invertir en un servicio o programa que ya ha demostrado su eficacia, es decir, que favorece la relación costo-efectividad.
Hemos aprendido que las intervenciones –bien diseñadas– pueden reducir la actividad criminal, la victimización y promover la seguridad de las comunidades también. Pero, al mismo tiempo, que es más eficiente aprovechar la evidencia. Existe un cúmulo significativo, proveniente de intervenciones que han tenido resultados positivos (que se origina en evaluaciones de impacto realizadas en Norteamérica y Europa).
En Chile la familiarización con este enfoque es todavía muy reducida. Muy pocos programas públicos incluyen el examen de intervenciones anteriores para alimentar el diseño, la ejecución y, menos aún, concluyen con recomendaciones de innovación. En este contexto, las palabras de Sherman (2012: 4) son aplicables a nuestra realidad: la mayoría de las innovaciones en prevención del delito se ensayan, pero no se comprueban. Se genera poca evidencia para retroalimentar y reorientar las intervenciones.
Así, elegir y diseñar un programa apropiado es todavía un reto técnico. Nos conviene aprender de los fracasos y aprovechar la experiencia y conocimiento, pues se trata de elegir uno que mejor se ajuste a la población beneficiaria y que sea compatible con las condiciones reales de ejecución y del equipo responsable. Pero, esto significa adoptar un programa validado y adaptarlo al nuevo contexto de ejecución.
Ciencia de la implementación
En la evaluación de programas, con características de Safer Cities y orientados a la prevención de robos en residencia, Tilley y Laycock (2002) detectaron –ya en esa época– que muchos esfuerzos en replicar programas fracasaban debido a la poca atención a los mecanismos utilizados y al contexto. El empleo de programas exitosos implica comprender cómo y por qué han trabajado bien, qué es lo que hay que repetir o reproducir, y cuáles son las condiciones mínimas para generar efectos similares. Es decir, adaptar de manera inteligente, pero antes de ejecutar.
La calidad de la implementación es un factor clave en el éxito. Por ejemplo, un programa “prometedor” tiene mayor probabilidad de producir resultados positivos, si la ejecución se acerca al modelo. Sin embargo, los resultados de un programa que muestra poca efectividad probablemente no son generados por errores de diseño o la ausencia de un enfoque integral, sino que por falencias o distorsiones tanto en la implementación, en la ejecución y su evaluación oportuna.
Cada vez más las intervenciones preventivas y sus ejecutores enfrentan un desafío común y frecuente: el uso intensivo del conocimiento para una ejecución exitosa de intervenciones basadas en la evidencia científica. El interés en las cuestiones relacionadas con la aplicación coincide con la constatación de que la mera selección de un programa que demuestra ser eficaz en un contexto no es suficiente y que una experiencia en el terreno puede no alcanzar los resultados esperados, incluso con el aprovechamiento de bancos de buenas prácticas y manuales, protocolos de actuación. Un programa eficaz, combinado con una implementación de alta calidad, aumenta la probabilidad de lograr resultados positivos entre los beneficiarios.
En la última década la prevención del delito se ha visto favorecida con el desarrollo de la ciencia de la implementación. Esta puede describirse como el campo de estudio a partir del cual se han desarrollado métodos y marcos para promover la transferencia y uso del conocimiento para optimizar la calidad y la efectividad de los servicios (Eccles y Mittman, 2006). Esta corriente recurre a la ciencia social y la administración, y se enfoca en el examen de las brechas entre la investigación y la práctica, así como las influencias individuales, organizativas y comunitarias que inciden y que están presentes en la ejecución de una política, programa e incluso una intervención breve.
Se caracteriza como el estudio científico de los métodos para promover la adopción sistemática de los resultados de la investigación y otras prácticas basadas en la evidencia en programas o intervenciones sociales con miras a mejorar la calidad, eficacia, fiabilidad y la prestación de servicios públicos (Eccles et al., 2009). Los resultados de las evaluaciones de procesos de ejecución son hoy una de las principales fuentes de conocimiento sobre las condiciones favorables y los desafíos que rodean la implementación de programas de prevención.
En la práctica, este enfoque pone especial interés en el seguimiento y la evaluación comprensiva de las intervenciones, ya que esto arroja luces sobre cómo, por ejemplo, un programa alcanza al grupo objetivo, selecciona a los participantes adecuados, realiza las intervenciones respetando la gradualidad y la necesaria adecuación sociocultural.
Este enfoque es complementario, entonces, al interés de reconocer los factores e identificar oportunamente el real impacto de un programa (basado en evidencia) en comparación con la forma en que se implementa el programa. La experiencia en este tipo de estudios (Metz, 2007, en Savignac y Dunbar, 2014: 5) lleva al convencimiento de que:
Un programa “prometedor”, que se implementa en forma correcta, tiene una mayor probabilidad de lograr resultados positivos que un programa en el cual el diseño y la implementación se ven afectados por múltiples vacíos de conocimiento y limitaciones técnicas.
Adicionalmente, un programa con efectos o resultados neutros puede ser replicado en condiciones diferentes y obtener resultados positivos, ya que las condiciones de implementación son consideradas un elemento clave en la consecución de los resultados deseados.
De esta forma, no se trata de replicar sin adaptar. La adaptación y la adecuación técnica de un programa es proceso relevante a la hora de su transferencia y de su implementación en un contexto u otro. En consecuencia, no solo debe hacerse hincapié en la elección de programas bien evaluados, sino también en la identificación de condiciones efectivas para su implementación, con un enfoque comprensivo de los factores que inciden en su eficiencia.
Algunos aspectos de la implementación para la prevención provienen de transferencias de otras intervenciones, como la salud y la educación (Wandersman et al., 2008). Ya sea un programa de prevención de la delincuencia o de un campo afín, a la hora de la ejecución son recomendables los mismos principios generales.
A pesar de esto, no todo funciona como se espera. Ciertas condiciones en la implementación de los programas de prevención son particularmente clave en intervenciones dirigidas, por ejemplo, a jóvenes y adolescentes. En la prevención de base social una dificultad es la alta rotación de tutores, la mala relación entre los jóvenes participantes y sus tutores, entre otros, que llevan a decisiones que alejan la ejecución del diseño con consecuencias negativas, como revela la evaluación de programa Supporting Adolescents with Guidance and Employment8. ¿Es esto útil a la hora de diseñar intervenciones similares en algún sector o barrio en Chile?
El hecho de que se dirijan a una población con múltiples riesgos, a veces incluso usuarios con antecedentes penales, enseña –desde la perspectiva de la ejecución y siguiendo la experiencia canadiense (Savignac y Dunbar, 2015)– que el éxito exige flexibilidad, pero que radica en poner atención también en:
La identificación efectiva de potenciales participantes (con el perfil adecuado) en el programa.
La generación de un vínculo funcional, de mecanismos de retención e incentivos para mantener la participación en el programa.
La participación de los demás miembros de las familias y del entorno social más cercano.
El papel de ciertos socios estratégicos.
La incorrecta identificación del participante –beneficiario, una estrategia de reclutamiento débil y una retención fallida (fidelización)– pueden ralentizar la implementación y afectar los resultados. De esta forma, la preocupación por evitar abandonar o no completar el programa, una baja tasa de participación, una alta tasa de deserción o una combinación equívoca de personas en una cohorte-grupo, sin duda, afectan el programa y ponen en riesgo el resultado.
Es interesante constatar que aprendizajes similares y complementarios se alcanzan también a través de la revisión sistemática de la evidencia y un meta análisis. Un ejemplo es el examen de intervenciones en prevención de base social y enfocada en el delincuente potencial en países de ingresos bajos y medios, especialmente en la participación de menores y adolescentes en pandillas, y los esfuerzos para reducir la delincuencia asociada, estudiando la eficacia y su variabilidad en distintas poblaciones (Higginson et al., 2015).
En efecto, de la revisión de 17 bases de datos académicas, ocho revistas científicas y diez repositorios de literatura, en siete idiomas, cuatro estudios aportaron factores clave del diseño e implementación. A partir de esto, se puede afirmar que es más probable que las intervenciones sean exitosas cuando: 1) incluyen una serie de actividades e incentivos atractivos para los jóvenes, 2) consideran un componente que ofrezca continuidad de los lazos sociales fuera de la pandilla, 3) asumen que las conductas violentas en los beneficiarios pueden limitar seriamente la participación activa, y 4) dan cuenta de importancia de los líderes positivos para el buen funcionamiento del programa.
En este contexto, en el nivel más abstracto y de generación de conocimiento, la experiencia canadiense es también muy atractiva, ya que releva la necesidad de poner atención en cuatro ámbitos relacionados, que agregan valor (Durlak y DuPre, 2008; Fixsen et al., 2009; Gray et al., 2012; Savignac y Dunbar, 2014):
La implementación, comprendiendo que no es un evento único, sino un proceso compuesto de varias etapas. Si es de alta calidad, esto es determinante en programas basados en evidencia.
Los componentes clave, reconociendo cuáles son y cómo afectan la implementación de programas y diferenciando aquellos que son más determinantes en una implementación de alta calidad.
Los equipos de implementación, destacando la importancia de contar con personas capacitadas y dedicadas a la ejecución según la programación.
La fidelidad al diseño en la implementación del programa, reiterando la importancia de adherir a un diseño (ya adaptado), identificando los tipos de modificaciones posibles (alternativas de aplicación).
Aun cuando un programa tenga características positivas, los retos técnicos de la replicación e implementación pueden afectar. A modo de ejemplo, si luego de una evaluación los resultados de un programa no son concluyentes, podría implicar que se trata de una intervención ineficaz. Pero, esto no significa necesariamente que los componentes en el diseño hayan sido inadecuados, sino que las dificultades de la puesta en marcha y de la ejecución no se advirtieron y corrigieron oportunamente.
La revisión de informes de la última década sobre programas en distintos contextos9, con el denominador común de que sus evaluaciones no detectan efectos buscados, revela que no se logran resultados positivos cuando no hay capitalización de conocimiento o aprendizaje a partir de desaciertos anteriores (antes) y no hay supervisión oportuna (durante) la ejecución. Estos errores recuerdan el valor de transformar las evaluaciones sistemáticas en una fuente de conocimiento sobre las posibles claves de una buena ejecución. Tiene mucho sentido promover y aprovechar evaluaciones sumativas y comprensivas al momento del diseño y ejecución, especialmente al momento de la replicación de intervenciones.
¿Qué se ha aprendido sobre cómo ser más efectivo en prevención?
Esta interrogante admite dos tipos de respuesta. Se bien refiere a algunos hallazgos fundamentales para la prevención efectiva, la primera respuesta se enfoca en aprendizajes según la tipología de intervención; mientras que la segunda obedecerá a una lectura sobre aprendizajes para la ejecución especialmente en territorios y grupos en riesgo/de riesgo en comunidades urbanas.
Respecto de qué intervenciones son aconsejables, una primera respuesta –construida a partir de la revisión de algunos casos– puede traducirse en las siguientes cápsulas de aprendizaje:
Adolescent Diversion Project, prevención de base social10. Basado en una combinación de distintas perspectivas teóricas, el objetivo del programa fue prevenir la delincuencia fortaleciendo el apego de los jóvenes a la familia y otros líderes pro-sociales, incrementando el acceso de los jóvenes a los medios o recursos comunitarios y evitando la estigmatización de los contextos o ambientes sociales. La prevención es posible si se enfatiza una disuasión proactiva, conducente a tomar consciencia sobre los daños. Habrá resultados positivos, si se destaca el rol y contexto de la familia, la comunidad y el conocimiento sobre funcionamiento de la justicia juvenil.
Aggression Replacement Training, prevención de base social11. El objetivo era reducir la agresión entre jóvenes, proporcionando oportunidades de aprender habilidades pro-sociales. El incentivo y la fidelización de joven con el programa son claves. Cuando esto es efectivo la reducción de la reincidencia en menores y jóvenes potencialmente infractores es mayor, en comparación con casos abordados en tribunales que no ocupan este programa.
Safer Cities-Inglaterra, prevención de base social y enfocada en espacios y situaciones12. Con el objetivo de crear entornos más seguros frente al robo en viviendas y locales comerciales es fructífero construir alianzas para movilizar esfuerzos, focalizar acciones complementarias y multiagencias. Las estrategias más eficaces combinaron elementos de endurecimiento de objetivos y actividades orientadas a la comunidad. El estudio de la victimización repetida ayuda a refinar la focalización, enfatizando la detección temprana y la proactividad.
Positive Parenting Program. Triple P System Population Trial, prevención de base social13. Es un programa integral con el propósito de reducir el maltrato infantil. Entregar herramientas a los padres para desempeñar de mejor manera su rol es más efectivo que interrumpir la relación mediante la pérdida de custodia del menor, además de ser económica y socialmente más rentable.
Operation Peacekeeper Program, prevención de base social y enfocada en el delincuente14. Con el objetivo de reducir la participación de menores y adolescentes en pandillas y de disminuir la violencia con armas entre pandillas urbanas rivales, revela que entregar información y promover conciencia sobre el daño son claves y que la disuasión de conductas antisociales y otros delitos con participación de menores y jóvenes es también útil.
Restricción en venta de alcohol para reducir actividad criminal, Bogotá, Colombia, prevención basada en el delincuente potencial15. La restricción de la venta de alcohol durante las noches incide en la delincuencia y la violencia, reduce muertes y lesiones, pero puede aumentar la violencia doméstica y los abusos.
Kirkholt Burglary Prevention Project, prevención basada en el delincuente potencial, enfocada en la víctima potencial o real y en la privación de los beneficios del delito16. Muestra que si solo se recurre a la vigilancia policial para reducir el robo no hay resultados. Trabaja con víctimas, sus vecinos y posibles infractores, eliminando oportunidades y motivaciones para delinquir, es fructífero. El involucramiento de distintos organismos con injerencia en los territorios es crucial en el éxito de un programa (inclusión de la policía, los servicios de libertad condicional, servicios de apoyo a las víctimas y el departamento de vivienda del municipio, etc.).
Por otra parte, una segunda lectura permite otra respuesta complementaria, poniendo acento en otros aprendizajes sobre cómo hacer intervenciones más efectivas. Puede afirmarse que para tener éxito se debería poner atención en la estructura de ejecución, facilitando:
Una fidelidad reflexiva con el diseño o modelo.
El oportuno seguimiento (continuo) y una ejecución reflexiva respecto del diseño y los componentes de un programa de referencia-modelo son esenciales.
El cumplimiento de los pasos-etapas de la intervención y la adecuada capacitación de los participantes-ejecutores.
La inclusión oportuna y temprana de elementos técnicos para el seguimiento y la evaluación, durante el diseño y ejecución, que colaboran en identificar mejores prácticas que serán útiles a otros.
Sin embargo, para arribar a esto es fundamental tomar consciencia de que el diseño y la ejecución deben dialogar con la evaluación a través de un uso más intensivo, más allá del instrumental y evidente. A la hora del diseño y de la ejecución la no inclusión oportuna y temprana de criterios técnicos para facilitar la identificación de mejores prácticas tiene un costo importante. Hay tres elementos que son esenciales, para reducir la pérdida.
Una es la posibilidad cierta de un seguimiento y evaluación, como un proceso continuo durante su implementación y ejecución. Esto permite, en caso de ser necesario, hacer ajustes para aumentar la probabilidad de alcanzar los resultados deseados (metas). Tanto el seguimiento como la evaluación deben ser oportunos, así se elimina o evita la falsa ilusión de que un programa en ejecución es sinónimo de que está funcionando y está logrando los resultados buscados.
Otra es la coherencia de la evaluación del programa. No se trata de juicios de valor o estimaciones preliminares. Este debe obedecer a un examen de consistencia entre el diseño, la implementación y el sistema de indicadores en cada nivel y proceso principal, esto es, con el fin, de que el propósito y sus componentes (marco lógico) sean factibles, alcanzables y medibles. En esta línea, la evaluación debe ser objetiva y hecha por terceros.
Finalmente, la validación del proceso evaluativo. Las herramientas de la evaluación deben ser adecuadas a la naturaleza y estrategia de intervención del programa. Si bien se ha puesto énfasis en diseños estadísticos, la evaluación comprensiva –que recoge la mirada de los involucrados sobre los distintos procesos y servicios– es más útil, especialmente a la hora de entender el impacto de decisiones y actividades durante la implementación y ejecución, y también de dimensionar –desde la perspectiva los beneficiarios y usuarios– la calidad de los productos y servicios del programa.
Conclusiones y comentarios finales
La carencia de evidencia empírica y de herramientas para planificar, implementar y evaluar limita la efectividad en la gestión de la prevención. El enfoque de programas basados en evidencia científica ayuda a reducir resultados inesperados. El fortalecimiento institucional y el desarrollo de sistemas de evaluación tienen más sentido especialmente cuando contribuyen a generar conocimiento criminológico aplicado a mejorar la gestión pública en prevención. El análisis de las políticas públicas y de los programas de prevención es muy fructífero, pero la generación de capacidades para esto es aún un reto.
Se necesitan conocimientos y competencias para solucionar problemas y para facilitar un aprendizaje colectivo (organizacional). La prevención demanda con urgencia un oportuno aprovechamiento de aprendizajes, transitando de proyectos “prometedores” a intervenciones que no dejan dudas sobre su efectividad. Un nudo crítico está determinado por la capacidad de una ejecución eficiente y la fidelidad al diseño validado.
Los estudios –escasos todavía– se han centrado en gran medida en la presentación de resultados e impactos de los programas (por ejemplo, en términos de reducción de la delincuencia) y solo unos pocos han investigado el proceso de elegir un programa y explicado los motivos de la selección. Esta distinción no es menor, pues nos lleva a advertir que el hecho de que, por ejemplo, un programa tenga en el diseño la mayoría de los componentes comunitarios deseables no es garantía de éxito. Los componentes deben estar alineados y debe haber pertinencia o coherencia entre objetivos-productos/servicios y actividades. La revitalización de la comunidad es una cosa y otra, distinta, es la prevención y control de los delitos.
La revisión de las experiencias enfocadas en grupos vulnerables (de riesgo/ en riesgo) revela que hay decisiones que deben fundarse en experiencias y conocimientos claves. Dado que hay muchas opciones de intervención posibles, la toma de decisiones encaminada a seleccionar un programa pertinente es compleja, exige una inversión significativa de conocimiento y considerar varios factores, entre ellos el contexto local, los recursos y capacidades organizacionales de los promotores, la idoneidad y el alineamiento con el programa (por ejemplo, con la población beneficiaria u objetivo, los factores de riesgo priorizados y las capacidades organizacionales del grupo de interés).
En Chile hay poca investigación sobre el contexto en el que se implementa y ejecuta un programa. Hay que promover una discusión informada, basada en evidencia y la comprobación de resultados. La discusión racional con datos concretos es parte indispensable del proceso de mejora. El éxito radica sustantivamente en la aplicación de criterios de ejecución validados, aquellos que hacen que las intervenciones funcionen, más que en la replicación irreflexiva.
Bibliografía
Durlak, J. y DuPre, E. (2008). Implementation matters: A review of research on the influence of implementation on program outcomes and the factors affecting implementation. American Journal of Community Psychology, 41, 327-350.
Eccles, M. y Mittman, B. (2006). Welcome to implementation science. Implementation Science, 1.
Eccles, M. P. et al. (2009). An implementation research agenda. Implementation Science, 4, 18.
Ecosoc-Organización de Naciones Unidas (1995). Directrices para la cooperación y la asistencia técnica en la esfera de la prevención de la delincuencia urbana (Ecosoc RES. 1995/9).
Ecosoc-Organización de Naciones Unidas (2002). Medidas para promover la prevención eficaz del delito (Ecosoc RES. 2002/13).
Farrington, D. P. (2006). Methodological quality and the evaluation of anticrime programmes. Journal of Experimental Criminology, 2: 329-337.
Fixsen, D. et al. (2009). Core implementation components. Research on Social Work Practice, 19(5), 531-540.
Gray, M. et al. (2012). Implementing evidence-based practice: A review of the empirical research literature. Research on Social Work Practice, 23 (2), 257-266.
Greenwood, P. y Welsh, B. (2012). Promoting evidence-based practice in delinquency prevention at the state level. Criminology & Public Policy, 11 (3), 493-513.
Higginson, A., Benier, K., Y. Shenderovich, La. Bedford, L. Mazerolle y J. Murray, J. (2015). Preventive Interventions to Reduce Youth Involvement in Gangs and Gang Crime in Low-and Middle-Income Countries: A Systematic Review. Campbell Systematic Reviews 2015: 18. The Campbell Collaboration. Oslo, Norway.
Metz, A. et al. (2007). Implementing evidence-based practices: Six “drivers” of success. Brief Research-to-Results, Child Trends, Part 3 in a Series on Fostering the Adoption of Evidence-Based Practices in Out-Of-School Time Programs.
Petrosino, A., Turpin-Petrosino, C., Hollis-Peel, M. y J. Lavenberg (2013). Scared Straight and other Juvenile Awareness Programs for Preventing Juvenile Delinquency: A Systematic Review. Campbell Systematic Reviews 2013: 5. The Campbell Collaboration. Oslo, Norway.
Savignac, J. y Dunbar, L. (2014). Guide on the implementation of evidence-based programs: What do we know so far? Ottawa, ON: Public Safety Canada. Research Report: 2014-01.
Savignac, J. y Dunbar, L. (2015). Guide for Selecting an Effective Crime Prevention Program. Ottawa, ON: Public Safety Canada. Research Report: 2015-R009.
Sherman, L. Gottfredson, D, MacKenzie, D., Eck, J., Reuter, P. y Bushway, D. (1997), Preventing Crime: What Works,What Doesn’t, What Promising. Institute of Justice, Washington.
Sherman, L. (2012). Desarrollo y evaluación de programas de seguridad ciudadana en América Latina. Protocolo para la prevención del delito a partir de la evidencia. Banco Interamericano de Desarrollo. Instituciones para el Desarrollo (IFD). Nota Técnica # IDB-TN-436.
Tilley, N. y Laycock, G. (2002). Working out what to do: Evidence-based crime reduction. Crime Reduction Research Series Paper 11. National Institute of Justice, Office of Justice Programs, US. Department of Justice.
UNODC-Organización de Naciones Unidas (1999). Prevención eficaz del delito: adaptación a las nuevas situaciones. Documento de trabajo preparado por la Secretaría del Xº Congreso de las Naciones Unidas sobre Prevención del Delito y Tratamiento del Delincuente. A/CONF.187/7, diciembre de 1999.
Welsh, B. (2007). Evidence-based crime prevention: Scientific basis, trends, results and implications for Canada. Ottawa, ON: National Crime Prevention Centre, Public Safety Canada.
Wandersman, A. et al. (2008). Bridging the gap between prevention research and practice: The interactive systems framework for dissemination and implementation. American Journal of Community Psychology, 41, 171-181.
