Informe de Evaluación del Proyecto SALES HOY? - Resumen
←
→
Transcripción del contenido de la página
Si su navegador no muestra la página correctamente, lea el contenido de la página a continuación
Índice Resumen Informe de Evaluación del Proyecto SALES HOY?
Índice
Resumen Informe de Evaluación del Proyecto SALES HOY?
Índice Cruz Roja Española © Cruz Roja Española No está permitida la reproducción total o parcial de esta publicación, ni su tratamiento informático, ni la transmisión de ninguna forma o por cualquier medio, ya sea electrónico, mecánico, por fotocopia, por registro u otros métodos, ni su préstamo, alquiler o cualquier otra forma de cesión de uso del ejemplar, sin el permiso previo y por escrito de los y las titulares del Copyright. Edita: Cruz Roja Española, Comunidad de Madrid C/ Muguet, 7 28044 Madrid Elaborado por : Estudio de Investigación y Evaluación Director de la evaluación: Juan Andrés Ligero Lasa Evaluador principal: Óscar Franco Alonso Evaluadoras de apoyo: Ana Pariente Cañamero Ofelia García Gómez Diseño y maquetación: Esquema Graphis, S.L Depósito Legal: 0000000 Nota de estilo: Para evitar la duplicación del masculino y femenino, se adopta el recurso estilístico de decidir a priori el género de los agentes implicados en el informe. Para usuarias se utilizará el género femenino. Para voluntarios, técnicos y mediadores, se utilizará el masculino.
Índice Resumen del Informe de Evaluación del proyecto Sales Hoy? Prólogo CRE, CM tiene como una de sus finalidades prioritarias el lograr una Institución más eficaz y eficiente para atender el compromiso humanitario con las personas vulnerables. Entendemos que el incremento de la capacidad institucional pasa, entre otras cosas, por implementar la evaluación de forma sistemática en todas nuestras intervenciones. Construir, por tanto, una cultura de evaluación supone impulsar la misma dentro de la práctica habitual de la organización y en esta dirección estamos dirigiendo gran parte de nuestros esfuerzos. Por otra parte, una preocupación permanente en nuestro trabajo es la intervención con jóvenes. El trabajo desarrollado y la experiencia adquirida a través de los Proyectos que dirigimos a la población juvenil, nos anima a dar un paso más allá de la prevención e implantar un proyecto que contemple la reducción de riesgos en jóvenes que consumen sustancias en espacios de ocio nocturno. Desde este plantea miento surge la iniciativa, apoyada por el Ayuntamiento de Madrid, a través del Instituto de Adicciones de Madrid Salud, de desarrollar un proyecto piloto centrado en una línea de carácter informativo dirigido a población joven que o bien tiene contacto con las drogas a pesar de no haberlas consumido o ya son consumidores habituales de las misma y es así como surge ¿Sales hoy?. Entendemos que es conveniente después de tres años de trayectoria del proyecto, iniciar un proceso de reflexión que nos permita comprender y aprender de nuestra propia intervención y continuar con el compromiso adquirido de mejora continua de nuestro trabajo. D. Jesús Mora Márquez Presidente de Cruz Roja Española, Comunidad de Madrid.
Índice
Índice Resumen del Informe de Evaluación del proyecto Sales Hoy? Índice Agradecimientos 8 1. Introducción 9 1.1 Acotación del objeto de evaluación 9 2. Proceso metodológico de la evaluación y técnicas empleadas 11 2.1. Elaboración de los términos de referencia 11 2.2. Propuesta y definición de la evaluación 11 2.3. Necesidades informativas, preguntas de evaluación y propuesta metodológica 12 2.4. Elección y diseño de la técnica 12 2.5. Elección metodológica 14 2.6. Análisis y técnicas estadísticas 14 2.7. Análisis cualitativo 15 2.8. Trabajo de campo 16 3. Datos de la evaluación 17 3.1. Resultados y objetivos 17 3.2. Procesos 20 3.3. Elementos estructurales 22 3.4. Pertinencia 23 4. Diseño teórico 23 4.1. Teorías e ideas subyacentes a los programas de prevención 23 4.2. Preceptos generales de la prevención 26 4.3. Hallazgos de las evaluaciones e investigaciones 28 4.4. C uestiones generales: resultados, procesos, elementos estructurales, población destinataria y ámbito de intervención 29 4.5. Situación de Sales Hoy? en relación a los hallazgos y modelos de prevención 33 5. Interpretación 34 Referencias 37
Índice Agradecimientos El equipo de evaluación quiere agradecer a todas las personas e instituciones que de una forma u otra nos han apoyado en la labor de este trabajo. Al equipo de Sales Hoy? por su permanente disposición a colaborar con la evaluación, así como el buen trato y recibimiento dispensado en todo momento. A los programas: Energy Control, Zona Druida, Som.nit, Zona Clave, Creative, Exeo, Testing, Preben Jaia, Servicio de Atención a la Movida y el Rey o Bufón, por abierta y transparente disposición a ofrecer información. A Madrid Salud por la colaboración e interés en la evaluación. A todas las personas que se han prestado a responder a los cuestionarios de forma sincera y desinteresada. Al centro documental del Plan Nacional Sobre Drogas por sus contribuciones bibliográficas. 8
Índice Resumen del Informe de Evaluación del proyecto Sales Hoy? 1. Introducción Gráfico 1. Objetivos/resultados Este documento es el resumen del informe de CAMBIO evaluación del proyecto Sales hoy? (Ligero y • Consumo responsable • Derivación a técnicos (TDP) PRIMER NIVEL otros: 2010). La finalidad de este texto es pro- •R educción del riesgo y el consumo porcionar una visión general de todos los as- • Alternativas de ocio pectos de la evaluación, tanto del proceso de ejecución como de los resultados obtenidos. El desarrollo detallado y exhaustivo de todos los TOMA DE DECISIONES HACER PENSAR SEGUNDO NIVEL O REFLEXIONAR epígrafes se encuentra en el informe completo. (Planificar consumo) (Toma de conciencia) Sales Hoy? es un proyecto de prevención desa- rrollado por Cruz Roja Española Comunidad de PROYECTO Madrid. Su objetivo es la reducción de riesgos TERCER NIVEL DERIVAR A ASOCIATIVO MADRID SALUD asociados al consumo de drogas. Apoyados en (Participación de voluntariado) una carpa itinerante, un grupo de mediadores acude cada fin de semana a lugares de ocio noc- turno para desarrollar las acciones del proyecto. Gráfico 2. Mapa de procesos de implementación La evaluación surge ante el interés de Cruz Roja por saber cuál es la magnitud del impac- to en la población, para validar el marco teó- PROCESO 1: • Intervención con usuarias: juegos, INTERVENCIÓN información, logística, coordinación rico y para identificar posibles mejoras. Se ha PROCESOS CRÍTICOS realizado una evaluación que responde a es- tas demandas, mide el impacto, contrasta el PROCESO 2: • Coordinación, derivaciones DERIVACIÓN marco teórico, analiza la ejecución y los ele- mentos estructurales del proyecto. Para ello se han utilizado técnicas cuantitativas y cuali- PROCESO 3: •C riterios de ubicación, factores LOCALIZACIÓN de éxito, etc tativas y diseños metodológicos que permitan contrastar la información. Lo que se ha pretendido con este trabajo es po- PROCESO 4: • Cruz Roja Juventud •T écnico COORDINACIÓN der comprender y dotar de significado a lo que •V oluntarios ocurre en el proyecto; esto ha permitido pensar PROCESOS DE APOYO en recomendaciones y tomar decisiones que in- PROCESO 5: • Selección de voluntarios, SELECCIÓN perfil adecuado ciden en la mejora. 1.1 Acotación del objeto de evaluación PROCESO 6: FORMACIÓN • Captación y selección •C ursos de formación •F ichas (nº) Para conocer más sobre el proyecto se ha ana- lizado el objeto a través de tres dimensiones: PROCESO 7: • Coordinación y asistencia objetivos/resultados esperados, procesos y ele- PARTICIPACIÓN •R euniones MEDIADORES • Actividades de dinamización mentos estructurales. A continuación se incluyen los gráficos resumen de dichas dimensiones. 9
Índice Cruz Roja Española los que transitan por la vía pública y a los que Gráfico 3. Elementos estructurales se acercan para establecer conversaciones y poder intervenir a través de estrategias RECURSOS como la realización de un breve cuestionario HUMANOS sobre consumo de drogas. MATERIALES IDENTIFICACIÓN Y 4. Se realizan juegos o actividades dentro de POSICIONAMIENTO la carpa con las usuarias (gafas de simula- ción etílica, prueba del alcoholímetro, etc.), como una herramienta que, de forma lúdica, • Folletos posibilite la toma de conciencia. •C arpa • Técnico • Cruz Roja •V •L ehículo ogística: sillas, mesas, •V •C oluntarios ruz Roja Juventud •P rograma Sales Hoy? 5. Siempre que se considere que la usuaria ne- lámparas... cesita una atención más individualizada y es- pecífica, se derivará a otros recursos espe- • Voluntariado y contratados •P resupuesto económico •P rofesionales • Material ordenador, despacho, cañón cializados (como los Técnicos de Prevención del proyecto: 40.000 € • Proyecto asociativo • Identificación proyector videos... de Drogas de Madrid Salud). PROCESOS DE APOYO En el siguiente gráfico se resumen los fases en las que se divide el proceso de intervención con la población objetivo: PRESUPUESTO OFICINA Gráfico 4. Fases del proceso calve de intervención DEBATE INTERNO de Sales Hoy? PROCESO 1: INTERVENCIÓN (1) Contactar/Atención: La intervención del proyecto se articula de la si- •E ncuestas •M ostrador guiente manera: (2) Información y dudas: 1. La carpa como espacio físico donde se reali- • Folletos zan actividades con las usuarias y se concen- • Tarjetas de drogas • Conversaciones: FINALIZA EL PROCESO tra la logística. Juega un papel muy impor- sustancias, riesgos y ocio Se detecta riesgo tante dentro de la escenografía, ya que debe (3) Toma de conciencia: integrarse en el contexto del ocio nocturno y • Juego de gafas • Conversaciones captar la atención de los jóvenes. • Encuestas • Alcoholímetro-llaves 2. Los mediadores resuelven dudas e infor- (4) Demandas de más man sobre el objeto del proyecto. Para ello, información de jóvenes cuentan con un puesto informativo localizado (1) Evaluación: en la carpa con folletos informativos sobre el •D ocumento de Evaluación consumo de drogas. 3. Los mediadores establecen contacto no sola- • Teléfono al TPD mente con las personas que se aproximan a • Pedir teléfono a jóvenes • Derivar a servicios especiales la carpa, sino también con aquellos jóvenes a 10
Índice Resumen del Informe de Evaluación del proyecto Sales Hoy? 2. Proceso metodológico ta o implícitamente, asumen como el meca- nismo necesario para lograr los resultados. de la evaluación y La evaluación orientada por la teoría busca técnicas empleadas identificar las cadenas “lógicas” con las que se trabaja, y así analizar los supuestos de En este capítulo se describe brevemente las prin- causalidad y conocer la eficacia y viabilidad cipales fases de todo el proceso de evaluación. del marco teórico asumido. 2.1. Elaboración de los términos 3. Modelo comprensivo que, más que buscar de referencia juicios últimos y sumarísimos, pretende com- prender lo que ocurre en la intervención para En un primer momento, se recogieron las de- poder mejorarla. Este modelo es compatible mandas principales que Cruz Roja realizaba a la con el establecimiento de juicios. evaluación. De forma resumida, el objetivo de la evaluación ha sido conocer qué resultados es- 4. Modelo participativo: Lograr la participación taba logrando Sales Hoy?, identificar el marco activa de los diferentes agentes o “stakehol- teórico y la teoría del programa, de forma que ders” en las distintas fases de evaluación, lo se pudiera saber el grado de coherencia, clari- que permitirá realmente introducir mejoras y dad y congruencia respecto a otros modelos de que así sea percibido por todos. prevención existentes. Las fases que se definieron fueron las siguientes: También se ha pretendido evaluar la puesta en marcha e implementación del proyecto, la ade- Tabla 1: Fases de la evaluación cuación de las actividades y su pertinencia, así FASES TAREAS CLAVE como posibles problemas o inconveniencias - Organización del equipo. -B úsqueda de bibliografía y estudio de existentes en la ejecución y la valoración de los Estudio y documentación. preparación procesos y de su correcta aplicación. -O rganización del primer trabajo de campo. -P rimeras entrevistas a responsables y 2.2. Propuesta y definición de la personal del proyecto. Diseño de la - Identificación de objetivos, procesos de evaluación evaluación trabajo y necesidades informativas. - Elaboración de matriz. Una vez definidos los propósitos de la evalua- - Diseño de técnicas. ción, se realizó una propuesta caracterizada por - Observación (durante las intervenciones). los siguientes aspectos: - Entrevistas y grupos de discusión. - Aplicación del registro-cuestionario y 1. Evaluación externa, aunque se ha contado grabaciones a usuarias. Trabajo de campo - Estudio bibliográfico. con una estrecha y activa colaboración de - Análisis estadístico de fuentes miembros de Cruz Roja en todas las fases secundarias. del proceso. - Codificación, grabación y transcripciones. 2. Evaluación orientada por la teoría del cam- - Análisis cuantitativo y cualitativo. Análisis, bio (teoría del programa + teoría de la im- interpretación y - Interpretación de los datos. - Enjuiciamiento. plementación), partiendo de la premisa de redacción - Redacción del informe. que todos los programas o servicios tienen Presentación final - R euniones Comisión presentación de una forma de proceder propia que, explíci- de resultados datos. 11
Índice Cruz Roja Española 2.3. Necesidades informativas, preguntas Para cada una de las preguntas se pensó al me- nos en un indicador y método de cómo obtener de evaluación y propuesta metodológica la información. A continuación se puede ver un Como aparece en la tabla anterior, una de las ejemplo para dos preguntas. tareas clave es obtener las necesidades infor- mativas. Para ello, se han combinado dos for- Tabla 3: Ejemplo de matriz de evaluación mas de proceder, el modelo pluralista y la eva- Dimensión Resultados Procesos luación orientada por la teoría. El primer logro es que las preguntas de evaluación surgieron Acotación Cambio Intervención dentro del proceso participativo con los dife- rentes actores implicados en el proyecto, a la ¿Se informa sobre ¿Consumo más vez que se lograba una mayor profundización Preguntas efectos y riesgos del responsable? consumo? y conocimiento de la intervención. Esta primera identificación de las necesidades informativas Incremento de la Verbalización positiva Indicadores vergüenza asociado sobre si se informa fue completada con nuevas preguntas que sur- al consumo o no gían al revisar la teoría del programa y la teoría de la implementación. Elección Medición 1, 2 y 3 Mediadores Con toda la información se elaboró una matriz de Técnica Cuestionario Grupo de Discusión evaluación ordenada según las dimensiones del análisis de la evaluanda. En la tabla siguiente se Te has avergonzado Información que se está proporcionando a presentan algunas de las principales cuestiones Técnicas por haber bebido los jóvenes en relación alguna vez: sí, no, de evaluación que este informe debe responder. NS/NC a efectos y riesgos del consumo Tabla 2: Ejemplo de preguntas de evaluación MARCO TEÓRICO - ¿Existe un marco teórico que sustente la intervención? 2.4. Elección y diseño de la técnica -¿ En qué medida los objetivos de la intervención responden a las necesidades de las destinatarias? Las técnicas utilizadas han sido son las siguientes: ELEMENTOS ESTRUCTURALES 1. Revisión bibliográfica: Sobre drogodepen- - ¿Los materiales y recursos utilizados son los adecuados? dencias, programas de prevención y evalua- -¿ Tienen una influencia directa, positiva o negativa, en la consecución de los resultados? ciones. PROCESOS 2. Análisis de la documentación: Memorias, -¿ La implementación de las actividades está siendo la adecuada y se fichas y registros de Sales Hoy? Se introduje- realiza conforme a lo establecido? -¿ Existen factores (internos o externos) que condicionan o dificultan el ron nuevas herramientas para filtrar y recopi- desarrollo del proyecto? lar la información de interés de manera más OBJETIVOS/RESULTADOS sistematizada. -¿ Permanecen los efectos preventivos una vez finalizada la intervención? -¿ En qué grado se están cumpliendo los objetivos? ¿Se están logrando 3. Entrevistas individuales con los diferentes resultados no previstos? agentes clave. El objetivo era profundizar en PERTINENCIA el conocimiento del proyecto y la teoría sub- - ¿El proyecto se ajusta a una necesidad real? ¿Es percibida así por la yacente. Para cada entrevista se elaboró un sociedad y población objetivo? - ¿Las actividades se adecuan a las necesidades de las usuarias? guión de la información a obtener. Se ha in- cluido un ejemplo de guión de una entrevista. 12
Índice Resumen del Informe de Evaluación del proyecto Sales Hoy? La tabla siguiente muestra la relación de los objeti- Ejemplo de guión de entrevista vos principales con las preguntas del cuestionario: 1. Existencia de reacciones opuestas al programa (asociaciones, vecinos, ciudadanos, usuarias) è Verbalización de la oposición encontrada al proyecto. Tabla 4: Objetivos y preguntas de cuestionario 2. Existencia de factores (internos/externos) que OBJETIVOS ASPECTO INDICADOR condicionan o dificultan el desarrollo del proyec- ¿Cuántos días has consumido las to è Verbalización de factores externos y grado de siguientes drogas? (p 2) sostenibilidad. ¿Cuánto riesgo existe de que alguien se perjudique a sí mismo 3. Medios adecuados o no para lograr los resulta- por…? (p 11) dos è Verbalización de factores externos positivos y ¿Cuántos días te has negativos en la sostenibilidad del proyecto. Consumo emborrachado? (p 8) CAMBIO La última noche que saliste, en caso de que hubieses planificado cuánto querías beber, Las entrevistas, junto con la observación y el ¿conseguiste cumplir con el límite trabajo de campo, han sido herramientas clave fijado? (p 7) Valoración 0-10 preocupación para explicitar y reflexionar sobre los problemas, Riesgo sustancias (p 12) la realidad y los objetivos de Sales Hoy?, más Consumir cannabis puede ser agradable allá de los que están redactados en las memo- Un joven nunca debería probar el cannabis rias y otra documentación. Hay pocas cosas más peligrosas que experimentar con cannabis 4. Grupo de Discusión con voluntarios. El Consumir cannabis es divertido objetivo de esta técnica era conocer la orga- Hay muchas cosas mucho más arriesgadas que probar cannabis nización del trabajo, la adecuación de los re- Todo el que prueba el cannabis cursos, el grado de motivación, el ambiente, acaba lamentándolo Las leyes en materia de cannabis la existencia de metas y objetivos comparti- Actitudes ante deberían ser más estrictas dos y explícitos dentro del equipo, el discurso afirmaciones El uso de cannabis es uno de los (p 5) grandes males del país existente, obstáculos, incidencias u otras in- PLANIFICAR / El cannabis ayuda a la gente a TOMAR tener una experiencia plena de formaciones. la vida. DECISIONES En los colegios se deberían 5. Cuestionarios a usuarias: Una de las activi- enseñar los peligros reales del dades principales de la intervención es pasar consumo de cannabis La policía no debería meterse un cuestionario a la población objetivo de Sa- con los jóvenes que prueban el cannabis les Hoy? (usuarias). El cuestionario tiene dos Probar el cannabis te hace perder finalidades, por un lado es una herramienta el control de tu vida Consumir cannabis puede ser de acercamiento para contactar con las des- agradable tinatarias y por otro lado, permite elaborar un ¿Estás pensando dejar de consumir la droga más habitual? (p 3) primer diagnóstico del riesgo y consumo de La última noche que saliste, ¿habías pensado cuánto querías beber? (p 7) la entrevistada. ¿Has decidido hacer algo con tu consumo? (p 13) Aprovechando que el cuestionario formaba par- ¿Sabes si el consumo de drogas afecta a tu salud? (p 10) te del proceso de intervención, se rediseñó con ¿Te preocupa que afecte? (p10) el fin de que también sirviera a los objetivos de REFLEXIONAR la evaluación, principalmente para medir los / TOMA DE ¿Crees que es necesario cambiar tus hábitos de CONCIENCIA consumo? (p 14) cambios en las usuarias. También se introdu- ¿Te has avergonzado de haber bebido alguna jeron algunas preguntas de otros estudios para vez? (p 15) Número de dudas (p 16) poder contrastar los resultados. 13
Índice Cruz Roja Española El cuestionario fue contrastado con los mediadores. La 1ª medición (M1) fue realizada por los media- También se hizo una prueba piloto con las usuarias. dores del proyecto en el transcurso de su activi- Esto permitió ajustar y validar la herramienta. dad normal. La 2ª medición (M2) se realizó 3 se- manas después aplicando el mismo cuestionario 6. Cuestionarios al equipo de intervención: a las usuarias que habían pasado por el proyecto Se han realizado cuestionarios a los diferentes (previamente se les había solicitado el teléfono y miembros del equipo adaptando las preguntas autorización para contactar). La 3ª medición (M3) a su perfil (voluntarios / coordinadores). se hizo con un grupo de control en localizaciones 7. Grabaciones a usuarias: Para recoger las opi- de Sales Hoy?, pero en fines de semana donde niones y valorar los efectos de la intervención la intervención se realizaba en otro lugar. El error se realizaron también grabaciones a las usua- muestral para el peor de los supuestos y con un rias que habían realizado la fase completa de grado de confianza del 95,5%, ha sido de 7,8% en la intervención (cuestionario + juegos). Fueron M1, 14,36% en M2 y 10,5% en M3. los propios mediadores (para interferir lo menos La comparación M1-M3 ha permitido observar posible en la dinámica del proyecto) quienes que, a pesar de no tratarse de muestras alea- realizaban la pregunta - ¿qué te ha suscitado el torias, los dos grupos comparten bastantes ca- proyecto? -, cuya respuesta se grababa. racterísticas. Sin embargo, en algunos aspectos 8. Observación no estructurada y participante: tiene más riesgos M1 y en otros M3. Las mues- El objetivo de esta técnica fue recoger impresio- tras pueden adolecer de sesgos aunque mantie- nes sobre todo aquello que podía arrojar luz a la nen gran similitud en muchas variables y en la evaluación y proporcionar una información que comparación con otros estudios poblacionales. no siempre es posible obtener con otras técnicas La comparación M1-M2 ha permitido sobre todo más estructuradas. La evaluación ha otorgado medir los cambios de actitudes, percepciones y un papel muy importante a la observación, ya motivaciones con relación al consumo a las tres que ha permitido conocer de primera mano las semanas de la intervención. reacciones, los comportamientos y las inciden- cias en un proyecto tan marcado por los diferen- La medición del cambio se ha completado con tes contextos donde se ubicaba. las apreciaciones de los mediadores, análisis de opiniones orales de las usuarias y la observa- ción. Para la evaluación de otros aspectos del 2.5. Elección metodológica proyecto, la naturaleza de la información a re- Para la evaluación de impacto y de resultados, coger no requería establecer ese tipo de com- se pasó el cuestionario a usuarias en tres mo- paraciones. mentos diferentes, conformando así un modelo no experimental pero con dos tipos de medicio- 2.6. Análisis y técnicas estadísticas nes, longitudinales y transversales. Dado que se trata de análisis con muestras, era Tabla 5: Cuestionario, mediciones y muestras de M1, M2 Y M3 necesario probar si las relaciones observadas eran extrapolables a la población. Por defecto TIEMPO GRUPOS se optó por una probabilidad de error (tipo I) del Antes Después 95%. Sólo en algún caso se flexibilizó el criterio Con proyecto X (M1), n = 167 3 Semanas X’ (M2), n =48 y se amplió hasta el 90% (estos casos se seña- Sin proyecto Y (M3), n = 99 lan en el documento). 14
Índice Resumen del Informe de Evaluación del proyecto Sales Hoy? Las asociaciones no significativas no han sido dependiente tenía más de 2 categorías, se incluidas entre las conclusiones, aunque en al- pedía el análisis de varianzas con la Prueba gunos casos sí han sugerido tendencias que Scheffé. En este tipo de variables, cuando no probablemente fueran significativas con tama- eran normales ni homocedásticas se utilizaba ños muestrales más grandes. el test No Paramétrico de KrusKal – Wallis. En algunas comparaciones M1-M2 se han he- b. Correlaciones de Pearson para variables cho análisis de una cola, por lo que el valor crí- intervales. tico z es 1.65. c. Regresión lineal múltiple. Se han proba- Para la comparación de porcentajes se ha do un par de regresiones aunque no ha sido utilizado: Chi cuadrado, residuos tipificados corregidos y la “d” diferencia de proporciones. relevante las conclusiones que ha aportado. a. Para la comparaciones de medias: T-Test. 2.7. Análisis cualitativo Si las variables no cumplían los supuestos de normalidad ni homocedasticiedad, se con- El análisis de información cualitativa se ha trastaron con la prueba Lilliefors y Levine o llevado a cabo según la siguiente propuesta de de Mann Whitney / Wilcosxon. Si la variable Ligero (2009): Una propuesta para proceder en el análisis del discurso. Discurso producido a través de técnicas semi-estructuradas. 1. Leer las preguntas de investigación y los indicadores. 2. Leer el texto señalando las partes, párrafos o frases que pueden “responder” a cada de pregunta de investigación. 3. Construir “archivos” por cada pregunta, que estarán compuestos exclusivamente por los fragmentos del texto que se considere que tienen que ver con la pregunta. 4. Imprimir los “archivos temáticos”. Hacer una lectura pausada y relajada, dejando espacio para que surjan ideas y significados acerca del texto. Es conveniente releerlo. 5. Disponer un papel grande tipo A3 donde se van anotando palabras, síntesis e ideas surgidas de la lectura. En esta fase es conveniente utilizar palabras resumen o frases cortas que hagan mención a la idea entresacada y que gracias al tamaño pequeño permitan su manipulación. Resulta práctico referenciar en estas anotaciones el lugar del texto donde se mencionan para que con posterioridad pueda ser localizado. El ejercicio de anotar una idea debe ser libre, creativo, con poca censura, salvo cuando lo que realmente se esté anotando haya sido dicho de alguna forma por los informantes. En el caso de dudar si algo es comunicado por los informantes o es una interpretación propia, es adecuado señalarlo con algún signo como un paréntesis, a la espera de contrastarlo con otros fragmentos del texto. 6. En el papel tipo A3 construir, juntando o separando un mapa conceptual con todas las palabras, ideas o significados que se han anotado. El mapa puede realizarse en función de una serie de operaciones cognitivas como por ejemplo: • Campos de ideas / campo semántico. Se agrupan las ideas similares. Para construirlo, puede servir de ayuda buscar las siguientes figuras: - Sinónimos: un significado tiene varios significantes. - Metáforas: cambio del nombre de un objeto por otro con el que se observa alguna semejanza. - Metonimia: designar algo con el nombre de otra cosa con la que guarde algún tipo de relación (p. ej. el autor por sus obras). rdenación y jerarquización de los campos de ideas. Los grupos de ideas se ordenan por relaciones de causa-efecto, de subordinación o • O yuxtaposición. Se pueden utilizar las siguientes relaciones: - Antónimos: Oposición de significados. - Escalar o gradación: Todas las nociones pueden situarse en una escala entre dos extremos (Mounin, Georges). - Estructura jerárquica (de la especie hierba al género vegetal): Se pueden dar 2 relaciones, hiponímia (tulipán subordinado a flor) o hiperonímia (flor está superordenado con relación a tulipán). (Cont.) 15
Índice Cruz Roja Española (Cont.) Cuestiones que es importante analizar: • L as contradicciones/ incongruencias. Pueden manifestar una tensión entre lo que se dice y se piensa, lo que es un buen vehículo de entrada a este discurso menos verbal. En otras ocasiones pueden ser contradicciones aparentes al referirse a aspectos diferentes que hay que saber entender. Se pueden graficar como relaciones antagónicas, pero siempre señalando la supuesta incongruencia. • Ironía: Figura retórica que consiste en dar a entender lo contrario de lo que se dice. Esta licencia de la comunicación denotativa es un “submarino” que lleva directamente y guiado por el emisor, hacia cotas más profundas del discurso. El humor, la risa. Las cuestiones que hacen reír son una buena entrada a los discursos. Según el análisis que recoge Peter Berger, el humor en muchas ocasiones nace de la incongruencia, del choque o la unión de dos elementos que pertenecen a órdenes distintos. Por ello puede haber aspectos graciosos universalmente pero lo más normal es que tenga que ser entendido en un contexto, en el mismo en que se genera el orden cultural. Este fenómeno que evidencia la incongruencia lleva directamente a la categoría inicial de la contradicción y permite ver cuál es el “orden” conceptual que tiene el emisor. • E l silencio/tabú: Aunque son dos aspectos diferenciados, tienen algún elemento en común al aportar información en la ausencia de mensaje. Hay cosas que no se pueden nombrar y otras que es mejor no hacerlo en determinadas condiciones. Las razones que obligan a ello evidencian ese orden oculto o las posiciones del producto del discurso. Una vez construido el mapa conceptual, realizar una redacción del mismo que aporte significado, que describa lo que se está viendo en el “mapa conceptual” y aportar una interpretación del mismo. A la hora de escribir puede ser de ayuda diferenciar “internamente” entre lo que es información y datos expuestos por el informante y la interpretación necesaria hecha por el evaluador. El estilo debe ser claro y concreto. Se puede incluir fragmentos literales del texto de los informantes que refuercen o clarifiquen las ideas expuestas. LIGERO, J.A. (2009). El análisis de contenido de un discurso. Materiales. Magíster Evaluación Programas y Políticas Públicas 2.8. Trabajo de campo El equipo de evaluación ha intentado situar- se en un punto neutro: colaborando y par- El trabajo de campo es una de las fases más relevantes de la evaluación ya que supone apli- ticipando en la medida de lo posible con el car las técnicas de medición y recopila la infor- equipo de intervención, pero al mismo tiem- mación necesaria que será la base para las si- po, adoptando un papel que permitiese ob- guientes etapas de evaluación. servar la dinámica habitual del proyecto con El equipo de evaluación valora de forma muy cierta distancia sin estar sometido a influen- positiva la participación y predisposición mos- cias internas. trada por todos los actores. Además, el trabajo de campo ha permitido de En un primer momento se realizó una primera forma paralela resolver las dudas de los media- fase del trabajo de campo para conocer el ob- dores a la hora de rellenar fichas o cumplir con jeto de estudio y profundizar en la realidad del los protocolos de recopilación de información proyecto. En un segundo momento, se procedió establecidos. a la aplicación de los instrumentos de recogida de información diseñados en fases anteriores. Durante esta fase del trabajo de campo se completó el estudio bibliográfico iniciado an- Para organizar la observación, cada evaluador dispuso de un cuaderno de campo con las pre- teriormente. Se trataba de realizar una inda- guntas a las que se quería dar respuesta, donde gación sobre la literatura especializada so- también se anotaban otras ideas u observacio- bre programas y evaluaciones de reducción nes relevantes. de riesgos. 16
Índice Resumen del Informe de Evaluación del proyecto Sales Hoy? 3. Datos de la evaluación • Grabaciones a usuarias. • Valoraciones del equipo de intervención. Una vez recopilada la información se procedió a un análisis articulado a partir de una serie de • Fuentes secundarias (registros). dimensiones o componentes básicos a evaluar En la comparación M1-M3 hay indicadores po- obtenidos de la teoría de sistemas. sitivos que hablan de cumplimiento de los dos Las dimensiones propuestas se inspiran en el niveles de objetivos. Los porcentajes de cam- modelo sistémico de Donabeidan: resultados, bios oscilan entre el 15% en “Cambio” y entre procesos, elementos estructurales. Además, 18% - 20% en “Planificar”. En “Toma de con- se ha añadido un capítulo de pertinencia, don- ciencia” los logros son menores, entre un 8% y de se analiza el ajuste del modelo a diferentes 9%. Cuando se analiza la relación entre los dos contextos, como las necesidades sociales o las niveles de objetivos, es decir, cuando se quiere teorías de prevención. saber si los objetivos operativos logran el obje- tivo final, se detecta que hay una relación entre Esta articulación ofrece una estructura clara “Planificar” y “Cambio”, con relación del 14,5%. para aglutinar los datos provenientes de las di- ferentes fuentes. De forma gráfica se presentan las principales ideas: Gráfico 5. Perspectiva sistémica de los programas (extraído de: Ligero, 2009) Gráfico 6. Análisis de la teoría del Programa CAMBIO • 15% más De Acuerdo en riesgo consumo •M ás conciencia de riesgo de consumir 4 ó 5 cañas a diario REFLEXIONAR/TOMA PLANIFICAR/TOMA DE DE CONCIENCIA DECISIONES • 9% le preocupa que el • 18,6% Dejar de consumir consumo le afecte a su salud droga más habitual •8 % más se averguenza de •1 9% ha decidido hacer algo haber bebido Dado que en el momento de M1 se ha imple- mentado todavía poco la acción preventiva, se hipotiza que los cambios observados pueden 3.1. Resultados y objetivos ser debidos a la existencia de una predisposi- La medición de los resultados se ha realizado a ción de la población que se acerca a la carpa a través de las siguientes comparaciones: cambiar hábitos relacionados con el consumo. Esto no ocurría en la población M3 porque el • Medición 1 (M1) y Medición 3 (M3). cuestionario se hacía sin el respaldo de la carpa • Medición 1 (M1) y Medición 2 (M2). (fue realizado por los evaluadores). 17
Índice Cruz Roja Española Previamente al análisis de los resultados obteni- Se reduce entre 0,5 días y 1 día a la semana el dos en la comparación M1-M2 (medición reali- consumo (de alcohol y cannabis), y en torno a zada 3 semanas después de la intervención), se 3,5 días al mes. Se incrementa un 14%-18% la ha procedido a comparar entre sí diversas varia- percepción de riesgo de consumir alcohol y ha- bles de clasificación para comprobar la posible chís, indicador que mantiene una correlación in- existencia de sesgos e identificar las variables versamente proporcional al consumo de dichas que pueden estar influyendo en los resultados. sustancias. No se han apreciado diferencias significativas. A continuación se incluye una tabla con los obje- En la comparación entre M1 y M2, se detectan tivos, indicadores y fuerza del cambio, y un grá- cambios sustanciales con relación al consumo. fico resumen de la comparativa M1-M2. Tabla 6: Objetivos, indicadores y fuerza del cambio. M1-M2 OBJETIVOS INDICADOR PREGUNTAS CUESTIONARIO FUERZA DEL CAMBIO - Alcohol/semana: 0.6 días. - Alcohol/mes: 3.5 días. ¿Cuántos días has consumido las siguientes drogas? (p 2) - Hachís/semana: 0.9 días. - Hachís/mes: 3.45 días. - “Probar hachís ocasionalmente”: hay un 19.3% más en M2 que considera que tiene pequeño riesgo. - “Tomar 4 ó 5 cañas casi todos los días”: hay un 9.3% más en M1 que no cree que haya ningún riesgo y un 15.5% en M2 ¿Cuánto riesgo existe de que alguien se perjudique a sí mismo Consumo que considera que el riesgo es moderado. por…? (p 11) CAMBIO - “Tomar 5 ó más copas…”: la tendencia es que en M1 consideran que no hay riesgo o que este es muy grande y en M2 que es pequeño o moderado. En M1 está más polarizada la respuesta. ¿Cuántos días te has emborrachado? (p 8) La última noche que saliste, en caso de que hubieses planificado - No significativo. cuánto querías beber, ¿conseguiste cumplir con el límite fijado? (p 7) - Alcohol: En M2, incremento de 1.78 puntos. Valoración 0-10 preocupación sustancias (p 12) - Cannabis: En M2, incremento de 1.4 puntos de percepción Riesgo de riesgo. Consumir cannabis puede ser agradable… - Hay un 27% más en M2 que no están seguros. Un joven nunca debería probar el cannabis… - Hay un 12.6% más en M2 que están de acuerdo. Hay pocas cosas más peligrosas que experimentar con cannabis… - No significativo. Consumir cannabis es divertido… Hay muchas cosas mucho más arriesgadas que probar cannabis… - Hay un 11.9% más en M2 que no están seguros. Todo el que prueba el cannabis acaba lamentándolo… - No significativo. - Hay un 20.9% más en M2 que no está seguros. Actitudes ante Las leyes en materia de cannabis deberían ser más estrictas… - También hay un 16.3% más en M1 que están totalmente afirmaciones desacuerdo. (p 5) El uso de cannabis es uno de los grandes males del país… PLANIFICAR / El cannabis ayuda a la gente a tener una experiencia plena de la - No significativo. TOMAR DECISIONES vida... En los colegios se deberían enseñar los peligros reales del - Hay un 12.5% más en M2 que no están seguros. consumo de cannabis… - En M1, hay un 14.9% más que están de acuerdo. La policía no debería meterse con los jóvenes que prueban el - Hay un 18.9% más en M2 que no están seguros. cannabis… Probar el cannabis te hace perder el control de tu vida… - No significativo. Consumir cannabis puede ser agradable… - Hay un 27% más en M2 que no están seguros. ¿Estás pensando dejar de consumir la droga más habitual?(p 3) La última noche que saliste, ¿habías pensado cuánto querías beber? (p 7) - No significativo. ¿Has decidido hacer algo con tu consumo? (p 13) ¿Sabes si el consumo de drogas afecta a tu salud? (p 10) Te preocupa que afecte (p10) - No significativo. REFLEXIONAR / TOMA DE ¿Crees que es necesario cambiar tus hábitos de consumo? (p 14) CONCIENCIA ¿Te has avergonzado de haber bebido alguna vez? (p 15) - Hay menos población en M2 avergonzada de haber bebido. Nº de dudas (p 16) - Existe algo más de dudas en M2. 18
Índice Resumen del Informe de Evaluación del proyecto Sales Hoy? Este escenario es coherente con las informa- Gráfico 7. Comparación M1-M2 ciones provenientes de otras estimaciones. Los mediadores del programa consideraban CAMBIO que alrededor de un 37% de las usuarias mos- • Reducción consumo alcohol y cannabis a la semana (0,6 y 0,9 días) y mes (3,5 días) traban motivación para el cambio y que no ma- • Incremento de la percepción de riesgo en alcohol y cannabis (18% y 14 %) nifestaban resistencias. Además, en opinión de los entrevistados y de los mediadores el proyec- to ayuda y cambia actitudes. REFLEXIONAR/TOMA PLANIFICAR/TOMA DE DE CONCIENCIA DECISIONES Si se toman las derivaciones como un posi- • Estás menos seguros ante su • No hay reacciones significativas ble indicador de que hay interés efectivo en actitud hacia las drogas (entre un 12% y un 27%) cambiar algo de su vida, ya que han solici- • Incremento del número de dudas tado recursos concretos o han proporciona- do sus datos personales para que contacten con ellas, se obtiene que un 22% estaría en En relación al análisis de la teoría del progra- situación de predisposición al cambio. No ma, observamos como la toma de conciencia obstante, hay que tener en cuenta que hay (“reflexión”) se ha incrementado. Están menos opiniones discordantes: en la grabación (a seguros con relación a las drogas (hay variacio- usuarias) se recoge alguna opinión sobre nes desde 12% a 27%) y se incrementa el nú- que no se ven resultados al programa. mero de dudas. En el caso del objetivo de la “reflexión” ocurre Por otro lado, se detecta una relación causal entre algo parecido. Los mediadores valoran que en- “reflexión” y “cambio”. Es decir, un incremento de tre un 43% y 68% toman conciencia o formulan la reflexión provoca una disminución entre el 10% dudas. Los informantes explicitan claramente ó 20% en las variables mediadoras de consumo. que el proyecto te ayuda a pensar, a reflexionar, Con “planificar” no se aprecian cambios y por tan- es decir, te conciencia. to tampoco guarda relación con la meta final. En cambio, con la planificación las cosas no Los datos analizados señalan que Sales Hoy? están tan claras. Tiene resultados positivos logra parte del objetivo final “cambio” y que al y significativos en M1-M3 pero hay dudas menos la teoría del programa funciona (entre sobre si dichos cambios son debidos a una un 10 y 20%) con el objetivo de “reflexión” (no predisposición previa, esto no se vuelve a se puede saber si esto ocurriría también con ver en M1-M2. Las valoraciones de los me- “planificación”). diadores dicen que planifican el cambio un 30%, el porcentaje más bajo de valoración. Gráfico 8. Análisis de la teoría del Programa No se han registrado verbalizaciones cuali- tativas sobre que el proyecto logre algo en Se detectan correlacio- nes en algunos indica- dores que van desde CAMBIO este objetivo. r= 0,017 hasta r= 0,205 + (10% ó 20%) Para poder estimar la magnitud del cambio frente a otros programas, se ha utilizado el REFLEXIONAR/TOMA PLANIFICAR/TOMA DE DE CONCIENCIA DECISIONES estadístico tamaño del efecto para obtener + - una estandarización de los resultados. Utili- zando los indicadores de consumo de alco- 19
Índice Cruz Roja Española hol en la última semana y en el último mes, -O bjetivo “reflexión”: Se logra un cambio entre el tamaño del efecto es de 0,27 y 0,43 co- 12%-27%. rrelativamente. En el caso del cannabis, el -O bjetivo “planificación”: No hay datos conclu- tamaño del efecto oscila entre 0,34 y 0,36 yentes sobre el logro. para semana y mes. Cuando se utiliza el in- dicador de percepción de riesgo, por su alta - Además, el incremento de la “reflexión” contri- correlación con el consumo, el tamaño del buye al “cambio” entre un 10%-20%. efecto para alcohol es de 0,6 y de 2,15 para cannabis . Jacob Cohen (Espada: 71) esta- 3.2. Procesos blece tres niveles de eficacia para el tamaño Para analizar esta dimensión se han dividido los del efecto: baja (≥ 0,2), media (≥0,5) y alta procesos en dos categorías: (≥ 0,8). Es decir, Sales Hoy? está logrando impactos bajos y en algún caso medio. • Críticos: Aquellos que guardan una relación directa con la finalidad del dispositivo, como En síntesis, de las informaciones de las cinco son la propia intervención, la localización o la fuentes de estimación se puede concluir lo coordinación con Madrid Salud. siguiente: • De apoyo: Selección, formación, participación - Objetivo “cambio”: Se logra entre un 14%-18% y comunicación interna. y se reduce el consumo entre medio o un día a la semana o tres y medio al mes. 3.2.1. Procesos críticos Tabla 7: Fases de la intervención y herramientas ACTIVIDADES HERRAMIENTAS DERIVACIÓN Mostrador Captación y atención de FASES DE INTERVENCIÓN SALES HOY? Cuestionario usuarias Escenografía: carpa, música, etc. 1ª comunicación: dudas e Folletos Cuando se considere información Conversaciones necesario, se deriva a la usuaria a recursos o servicios más Juegos: Intoxicación Etílica, especializados, como los Toma de conciencia alcoholímetros y otros TPD Conversaciones Demandas de información y Conversaciones dudas en mayor profundidad Folletos informativos Evaluaciones internas: Documentos de evaluación valoración del proyecto 20
Índice Resumen del Informe de Evaluación del proyecto Sales Hoy? En el análisis de la información se ha constata- La localización de la intervención es uno de do el buen funcionamiento del proyecto en las los elementos estratégicos del proyecto, ya que fases iniciales para captar y atraer la atención gran parte del éxito o fracaso depende del acce- de usuarias. so a la población objetivo. En este sentido, los criterios parecen estar más ligados a la expe- Gráfico 9. Canales de captación de riencia acumulada sobre aquellos aspectos que Sales Hoy? facilitan acceder a las usuarias (como paradas de metro, conciertos o fiestas populares). Se 18,5% trata de un proceso guiado por el ensayo, prue- Mostrador 81,5% ba y error. Hay participación en la planificación de las localizaciones de los mediadores y están Encuestas abiertos a las propuestas de instituciones (como Madrid Salud). Sin embargo, no se realizan aná- lisis reales sobre las implicaciones de elegir un determinado lugar, como la posible existencia de sesgos según el barrio de procedencia. En las tablas siguientes se incluye información sobre el distrito de procedencia y la edad media de las usuarias del proyecto. Tabla 8: Distrito de procedencia de usuarias de Sales Hoy? Distrito de % sobre Distrito de % sobre Se detecta una progresiva pérdida de calidad procedencia total procedencia total y efectividad según avanza la intervención en Centro 19,44% Latina 1,39% fases y grado de profundidad. La información Arganzuela 4,17% Carabanchel 5,56% debería adaptarse a los diferentes perfiles de Retiro 2,78% Usera 2,78% usuarias y otras variables, los protocolos de ac- Salamanca 1,39% Moratalaz 2,78% tuación deberían estar más claros y ajustarse al Chamartín 13,89% Ciudad Lineal 2,78% marco teórico, las actitudes de los mediadores Tetuán 1,39% Hortaleza 4,17% tendrían que adaptarse a las necesidades de Chamberí 8,33% Villaverde 2,78% la intervención, especialmente en la captación Fuencarral-El Pardo 12,50% Villa de Vallecas 8,33% de usuarias. Además, debería haber más jue- Moncloa-Aravaca 4,17% San Blas 1,39% gos y actividades que respaldaran los objetivos. Es probable que esto provoque una pérdida de Tabla 9: Usuarias por lugar de intervención de Sales Hoy? usuarias desde la captación al resto de fases. Lugar de intervención Edad media de usuarias Sin embargo, existen momentos de ejemplar Plaza de España 18,7 años funcionamiento general donde la intervención Moncloa 19,1 años es capaz de adaptarse a los diferentes perfiles Chueca 21,7 años y necesidades de las usuarias. Tiene buenos ni- Tribunal 24,7 años veles de derivación a servicios especializados y Lavapies 29,3 años la intervención es valorada positivamente por di- EDAD MEDIA 22,7 años ferentes actores (especialmente las usuarias). 21
Índice Cruz Roja Española Uno de los objetivos del proyecto es derivar a - Recursos humanos: Tanto en el conjunto de aquellas usuarias que precisan de una atención los proyectos de prevención que se han ana- más individualizada a otros recursos especiali- lizado para esta evaluación, como en el dis- zados, en particular a los Técnicos de Preven- curso de los actores implicados se reflexiona ción de Drogas de Madrid Salud (TPD). Sales sobre el papel del voluntariado y la profesiona- Hoy? muestra un gran potencial de captación y lidad. El proyecto es un modelo mixto, donde derivación. Sin embargo, no se ha consolidado el equipo de intervención está compuesto por ninguna de las derivaciones realizadas duran- voluntarios y personal contratado. Dentro del te el año 2009. Parecen existir dificultades en equipo, éstos últimos ocupan un papel clave al la coordinación (horarios distintos, desconoci- ser responsables últimos de la ejecución de la miento o inexistencia de protocolos). Existe la intervención. Dada la variedad de tareas que intención estratégica en ambas instituciones de hay que realizar en el proyecto, habría que de- finir claramente los roles entre los mediadores lograr una coordinación fluida en el proyecto Sa- para evitar sobrecargas de trabajo. les Hoy? como en otras áreas afines. 3.2.2. Procesos de apoyo Gráfico 10. Tiempo medio empleado por tarea durante la intervención En relación al resto de procesos de apoyo y so- porte de la intervención, se ha detectado que al- gunos mediadores tienen carencias formativas, existe la necesidad de mejorar la definición de los diferentes protocolos y que la ejecución se ajuste más al modelo teórico. También sería conveniente asignar y distribuir con mayor nitidez los roles dentro del equipo de intervención, ya que se ha detectado que en ocasiones la asignación de competencias es ambigua. La ejecución de los procesos está te- niendo una influencia clara en el funcionamiento La intervención requiere de un perfil exigente. y resultados del proyecto. La formación es una oportunidad de mejorar la cualificación de los mediadores. 3.3. Elementos estructurales - Recursos materiales: Se trata de los medios Esta dimensión del proyecto se relaciona con imprescindibles para ejecutar las actividades, los recursos utilizados para alcanzar los objeti- como folletos de información, la carpa, vehí- culo de transporte y logística. Los medios con vos, como la organización, el equipo humano o los que cuenta Sales Hoy? se adecuan a las los medios materiales. Se analizan algunos de necesidades existentes, por lo que no tienen sus aspectos clave: una influencia negativa en el desarrollo del - Posicionamiento: Este concepto se relacio- proyecto. Sin embargo, se aprecia un margen na con la identificación del proyecto y de Cruz de mejora (carpa más sencilla de montar y Roja. Existe una buena conexión, ya que Cruz manejable, el vehículo, etc.). Sales Hoy? basa Roja se asocia con neutralidad y salud. parte de su estrategia de captación en la es- 22
También puede leer