DOCUMENTO METODOLÓGICO PARA EL PROCESO AYD (ANÁLISIS Y DIFUSIÓN) COMO PARTE DE LA CADENA DE VALOR DE LA EVALUACIÓN DE LA CALIDAD EDUCATIVA PRIMERA ...
←
→
Transcripción del contenido de la página
Si su navegador no muestra la página correctamente, lea el contenido de la página a continuación
METODOLOGÍA PARA EL ANÁLISIS Y DIFUSIÓN DE Código: AYD -GU003
INFORMACIÓN
ANÁLISIS Y DIFUSIÓN Versión: 001
Clasificación de la X PÚBLICA CLASIFICADA RESERVADA
Información:
Documento metodológico
para el proceso AyD (Análisis y Difusión)
como parte de la cadena de valor de la
evaluación de la calidad educativa
Primera versión
Elaborado por:
Brigitte Bravo
Paul William Cifuentes
Juan Camilo Escandón
Sebastián Henao
Jonnathan Rico
Juliana Rodríguez Naranjo
Yuliana Salas
Cesar Páez
Laura Vargas
Subdirección de Análisis y Divulgación
Este es un documento controlado; una vez se descargue o se imprima se considera NO
CONTROLADO
METODOLOGÍA PARA EL ANÁLISIS Y DIFUSIÓN DE Código: AYD -GU003
INFORMACIÓN
ANÁLISIS Y DIFUSIÓN Versión: 001
Clasificación de la X PÚBLICA CLASIFICADA RESERVADA
Información:
Contenido
Introducción ....................................................................................................................................... 2
Justificación normativa...................................................................................................................... 3
Sistema Estadístico Nacional ....................................................................................................... 3
Legislación colombiana pertinente .............................................................................................. 5
Normativa internacional ............................................................................................................... 8
Justificación teórica ........................................................................................................................... 9
Concepto de análisis .................................................................................................................... 11
Fase de análisis ............................................................................................................................ 13
Difusión ............................................................................................................................................ 17
¿Qué es difusión? ......................................................................................................................... 17
La construcción de un sistema de difusión ............................................................................... 21
Comunicación para la difusión ................................................................................................... 31
Producción digital al servicio de la difusión .............................................................................. 40
Grupos de interés específicos para la difusión .............................................................................. 44
Referencias ....................................................................................................................................... 44
Introducción
Este breve documento pretende proponer las definiciones para los conceptos de análisis y
difusión desde el quehacer de la Subdirección de Análisis y Divulgación del Icfes, pero además
para el trabajo con otras áreas del instituto relacionadas con la cadena de valor del proceso de
evaluación. Las definiciones propuestas son la base para las modificaciones que se proponen
tanto al proceso Gestión de Análisis y Divulgación (GAD), como al Decreto 5014 de 2009, en
Este es un documento controlado; una vez se descargue o se imprima se considera NO
CONTROLADO
METODOLOGÍA PARA EL ANÁLISIS Y DIFUSIÓN DE Código: AYD -GU003
INFORMACIÓN
ANÁLISIS Y DIFUSIÓN Versión: 001
Clasificación de la X PÚBLICA CLASIFICADA RESERVADA
Información:
lo referente a la Subdirección de Análisis y Divulgación y sus funciones. Así mismo, dichas
definiciones pretenden aportar al proceso de certificación que se lleva a cabo ante el
Departamento Administrativo Nacional de Estadística- Dane.
Justificación normativa
Sistema Estadístico Nacional
El Sistema Estadístico Nacional (SEN) fue establecido por la Ley 1753 de 2015, mediante la cual
se expidió el Plan Nacional de Desarrollo 2014-2018: Todos por un nuevo país. Cuatro años
después, este plan fue modificado por la Ley 1955 de 2019, por la cual se expide el Plan Nacional
de Desarrollo 2018-2022: Pacto por Colombia, Pacto por la Equidad.
En las citadas normas, se sostiene que es obligatorio garantizar los mecanismos para
entregarle a la sociedad y al Estado las estadísticas producidas por las entidades públicas
nacionales y territoriales. La ley en cuestión señala, además, que debe procurarse el cumplimiento
de estándares y prácticas de calidad y accesibilidad, como se establece en las normas nacionales
e internacionales. Para ello, se creó el SEN, que constituye la instancia coordinadora entre las
distintas entidades del Estado que producen estadísticas de interés público.
Por su parte, la coordinación del SEN quedó a cargo del Departamento Administrativo
Nacional de Estadísticas (Dane), que define al SEN como:
Un sistema descentralizado conformado por todas las entidades que producen
información estadística o registros administrativos, que busca asegurarle al país
información oportuna, veraz y granular que oriente la toma de decisiones de la sociedad
y promueva la producción de conocimiento basado en evidencia (Dane, 2020, p.8).
Así pues, de acuerdo con el marco legal establecido para el SEN, las entidades que
forman parte de este deben:
Este es un documento controlado; una vez se descargue o se imprima se considera NO
CONTROLADO
METODOLOGÍA PARA EL ANÁLISIS Y DIFUSIÓN DE Código: AYD -GU003
INFORMACIÓN
ANÁLISIS Y DIFUSIÓN Versión: 001
Clasificación de la X PÚBLICA CLASIFICADA RESERVADA
Información:
Implementar los lineamientos, buenas prácticas, estándares y normas técnicas definidos
por el DANE, soportados en referentes internacionales, para la producción y difusión
de estadísticas y para el aprovechamiento estadístico de los registros administrativos con
el fin de garantizar la calidad de las estadísticas oficiales. (Decreto 1743, 2016, Art.
2.2.3.1.6).
Queda claro, entonces, que el Instituto Colombiano para la Evaluación de la Educación
(Icfes) forma parte del SEN, ya que, en su interior, se produce información estadística que
contribuye a la toma de decisiones en la política educativa del país y que, además, proporciona
información útil a la comunidad académica de los establecimientos educativos de preescolar,
básica, media y superior. Vale la pena resaltar, aquí, que esta labor se lleva a cabo tanto a nivel
nacional, internacional, como a nivel regional.
Por lo anterior, el Icfes debe implementar los lineamientos definidos por el Dane para la
producción y difusión de estadísticas oficiales. Estos lineamientos se concretan en la norma
técnica de calidad del proceso estadístico: NTC PE 1000 2020. De acuerdo con ella, la
producción estadística se inscribe en una cadena de valor compuesta por las siete etapas que se
muestran en la Figura 1.
Figura 1. Proceso estadístico dentro del contexto organizacional
Este es un documento controlado; una vez se descargue o se imprima se considera NO
CONTROLADO
METODOLOGÍA PARA EL ANÁLISIS Y DIFUSIÓN DE Código: AYD -GU003
INFORMACIÓN
ANÁLISIS Y DIFUSIÓN Versión: 001
Clasificación de la X PÚBLICA CLASIFICADA RESERVADA
Información:
Nota: Tomado de “Norma Técnica de la Calidad del Proceso Estadístico”, Requisitos de Calidad para la
Generación de Estadísticas, DANE, 2020, P 11.
Atendiendo al marco normativo anterior —y a otros aspectos normativos que se
desarrollan en esta sección—, los acápites 2 y 3 abordarán los conceptos de análisis y difusión.
Legislación colombiana pertinente
Ahora bien, en Colombia, la Ley 115 de 1994 afirma que la evaluación es un proceso que permite
fortalecer la calidad educativa del país. En su en Artículo 4, se dice que “el Estado deberá atender,
en forma permanente, los factores que favorecen la calidad y el mejoramiento de la educación;
especialmente velará por (…) la inspección y evaluación del proceso educativo”. Así pues, los
procesos de evaluación de la educación se consideran, según esta norma, una obligación del
Estado.
Por ello, esta ley exige, en su Artículo 80, que el Ministerio de Educación Nacional cree
un Sistema Nacional de Evaluación de la Educación (SNEE) que facilite el desarrollo de
programas de mejoramiento del servicio público educativo. Es importante tener en cuenta que,
Este es un documento controlado; una vez se descargue o se imprima se considera NO
CONTROLADO
METODOLOGÍA PARA EL ANÁLISIS Y DIFUSIÓN DE Código: AYD -GU003
INFORMACIÓN
ANÁLISIS Y DIFUSIÓN Versión: 001
Clasificación de la X PÚBLICA CLASIFICADA RESERVADA
Información:
de acuerdo con la citada ley, esta entidad (el SNEE) operará en coordinación con el Servicio
Nacional de Pruebas del Instituto Colombiano para el Fomento de la Educación Superior -
ICFES (hoy Instituto Colombiano para la evaluación de la calidad de la educación - Icfes) y con
las entidades territoriales certificadas del país.
El Artículo 80 también precisa que es responsabilidad del SNEE diseñar y aplicar
criterios y procedimientos que permitan evaluar la calidad de la enseñanza que se imparte, el
desempeño profesional de los docentes y de los directivos docentes, los logros de los alumnos,
la eficacia de los métodos pedagógicos, la eficacia de los textos y materiales empleados, la
organización administrativa y física de las instituciones educativas, y la eficiencia de la prestación
del servicio. Si, surtido el proceso de evaluación, se observa que hay instituciones que presentan
resultados deficientes, es necesario brindarles apoyo para mejorar los distintos procesos y la
prestación del servicio educativo. De otra parte, aquellas instituciones que presenten deficiencias
que se deriven de factores internos e impliquen negligencias recibirán sanciones por parte de la
autoridad administrativa competente.
El SNEE, por su parte, es regulado por la Ley 1324 de 2009. El asunto de esta ley dice
que, en ella, “se fijan parámetros y criterios para organizar el sistema de evaluación de resultados
de la calidad de la educación [y] se dictan normas para el fomento de una cultura de la
evaluación”. En el asunto, se añade que estas labores se adelantan con la intención de facilitar la
vigilancia y supervisión de la calidad educativa, tarea que le corresponde al Estado. Además, en
el cuerpo del texto, se dispone que el Icfes administrará “la información resultante de los
Exámenes de Estado, y [además] reportará los resultados a los evaluados, así como al Ministerio
de Educación Nacional, a las entidades territoriales, a las instituciones educativas y el público
general”.
Asimismo, esta ley establece, en relación con el uso de los resultados, que el Ministerio
de Educación Nacional y las entidades territoriales establecerán bancos de proyectos que
Este es un documento controlado; una vez se descargue o se imprima se considera NO
CONTROLADO
METODOLOGÍA PARA EL ANÁLISIS Y DIFUSIÓN DE Código: AYD -GU003
INFORMACIÓN
ANÁLISIS Y DIFUSIÓN Versión: 001
Clasificación de la X PÚBLICA CLASIFICADA RESERVADA
Información:
persigan el mejoramiento de la calidad de la educación y que podrán destinar recursos para su
financiamiento.
Una revisión más detallada de las responsabilidades del Icfes y, más específicamente, de
la difusión de información estadística se establece en los incisos 3, 5 y 8 del Artículo 12 de la Ley
1324 de 2009. Allí, se establece que el instituto debe:
“Diseñar, implementar, administrar y mantener actualizadas las bases de datos con la
información de los resultados alcanzados en las pruebas aplicadas y los factores asociados, de
acuerdo con prácticas internacionalmente aceptadas.
Diseñar, implementar y controlar el procesamiento de información y la producción y
divulgación de resultados de las evaluaciones realizadas, según las necesidades identificadas en
cada nivel educativo.
Impulsar y fortalecer la cultura de la evaluación mediante la difusión de los resultados de
los análisis y el desarrollo de actividades de formación en los temas que son de su competencia,
en los niveles local, regional y nacional”.
el diseño, la implementación, la administración y la actualización de las bases de datos
que contienen los resultados de las evaluaciones realizadas y de los factores asociados; Diseño,
implementación y control del procesamiento de información, producción y divulgación de
resultados; la prestación de asistencia técnica al Ministerio de Educación Nacional y a las
secretarías de educación, en temas relacionados con la evaluación de la calidad de la educación
que son de su competencia; y fortalecimiento de la cultura de la evaluación mediante la difusión
de los resultados de los análisis y el desarrollo de actividades de formación en los niveles local,
regional y nacional”.
Este es un documento controlado; una vez se descargue o se imprima se considera NO
CONTROLADO
METODOLOGÍA PARA EL ANÁLISIS Y DIFUSIÓN DE Código: AYD -GU003
INFORMACIÓN
ANÁLISIS Y DIFUSIÓN Versión: 001
Clasificación de la X PÚBLICA CLASIFICADA RESERVADA
Información:
Normativa internacional
En el ámbito internacional, los principales acuerdos y orientaciones para la producción
estadística se han generado desde organismos multilaterales como las Naciones Unidas. Esta
organización y, en particular, su División de Estadística, promulgó una serie de principios
fundamentales en relación con las estadísticas oficiales. En la Resolución 68/261, aprobada por
la Asamblea General el 29 de enero de 2014, se fijaron estos principios. En el texto de la ONU,
se lee:
Las estadísticas oficiales constituyen un elemento indispensable en el sistema de
información de una sociedad democrática y proporcionan al gobierno, a la economía y
al público, datos acerca de la situación económica, demográfica, social y ambiental. Con
este fin, los organismos oficiales de estadística han de compilar y facilitar en forma
imparcial estadísticas oficiales de comprobada utilidad práctica para que los ciudadanos
puedan ejercer su derecho a la información pública. (Resolución 68/261, 2014, principio
1).
Las Naciones Unidas, la Organización para la Cooperación y el Desarrollo Económicos
(OCDE), la Comisión Europea, el Fondo Monetario Internacional (FMI) y el Banco Mundial,
establecieron en 1999 la Asociación de Estadísticas para el Desarrollo en el Siglo XXI, conocida
como (PARIS21).
El propósito de PARIS21 es promover un mejor uso y producción de estadísticas y
contribuir al desarrollo de la capacidad estadística en el mundo desarrollado. De acuerdo con
PARIS21:
Las estadísticas nacionales son un componente esencial de la formulación de políticas.
Proporcionan la evidencia necesaria para mejorar la vida de los ciudadanos, monitorear
los resultados y hacer que los gobiernos y otros actores rindan cuentas. Acuerdos
internacionales recientes como la Agenda 2030 para el Desarrollo Sostenible y la Agenda
Este es un documento controlado; una vez se descargue o se imprima se considera NO
CONTROLADO
METODOLOGÍA PARA EL ANÁLISIS Y DIFUSIÓN DE Código: AYD -GU003
INFORMACIÓN
ANÁLISIS Y DIFUSIÓN Versión: 001
Clasificación de la X PÚBLICA CLASIFICADA RESERVADA
Información:
2063 para África reconocen el papel central de estadísticas sólidas y poner un énfasis
significativo en las metas, los indicadores y la presentación de informes nacionales. Al
mismo tiempo, los avances tecnológicos están creando una gran cantidad de nuevas
fuentes de datos, algunas de las cuales tienen el potencial de enriquecer los sistemas
estadísticos nacionales y permitir una formulación de políticas más eficaz y receptiva.
En los lineamientos para desarrollo de la capacidad estadística publicados por PARIS21,
se hace énfasis en los cambios que atraviesa el ecosistema estadístico actual, al que es necesario
que respondan los distintos países. Entre los cambios que se señalan está el pasar de un enfoque
basado en la producción de datos a un modo de entrega de información orientado al usuario y
al servicio, haciendo énfasis en algunos aspectos particulares, entre los cuáles se encuentran:
Relevancia: la relevancia, en este contexto, se refiere a que la información cumpla con la
satisfacción de las necesidades de los usuarios. Por lo tanto, la difusión debe involucrar
a los usuarios en la selección de la información que consideran relevantes y en la
evaluación del uso de la información.
Eficiencia: Identificar las necesidades de los usuarios ayuda a identificar soluciones
respecto a los problemas que perciben los mismos usuarios y, por lo tanto, contribuye a
la formulación de políticas basadas en las prioridades de los usuarios.
Confianza: Un proceso de producción de estadísticas transparente y participativo
fomenta la confianza pública en la información oficial y contribuye a que se discierna
qué es confiable y qué es no (por ejemplo, "noticias falsas").
Justificación teórica
En términos generales, los institutos de evaluación de los países tienen como base, para realizar
sus funciones, la normatividad con la que fueron creados. Así se consigna en las páginas web de
diferentes institutos encargados de evaluar la calidad educativa alrededor del mundo, tal como la
Este es un documento controlado; una vez se descargue o se imprima se considera NO
CONTROLADO
METODOLOGÍA PARA EL ANÁLISIS Y DIFUSIÓN DE Código: AYD -GU003
INFORMACIÓN
ANÁLISIS Y DIFUSIÓN Versión: 001
Clasificación de la X PÚBLICA CLASIFICADA RESERVADA
Información:
Autoridad Nacional para la Medición y Evaluación en Educación (Rama) de Israel, el Instituto
Nacional de Estudos e Pesquisas (Inep) de Brasil, el Instituto de Avaliação Educativa de Portugal
o la Agencia de Calidad de la Educación de Chile.
En Colombia, el Icfes es el encargado de la evaluación de la educación en todos sus
niveles. Le corresponde, además, investigar los factores que inciden en la calidad educativa del
país para proporcionar, así, información útil que permita adelantar programas de mejoramiento.
Dicho lo anterior, no es exagerado afirmar que los procesos de análisis y difusión resultan
fundamentales. Por ello, es importante definir estos procesos. Las definiciones que se produzcan
deben estar en línea con las funciones que, normativamente, han sido impuestas a la
Subdirección de Análisis y Divulgación (SAyD). Al mismo tiempo, estas definiciones deben
reflejar el quehacer de la dependencia.
Por ejemplo, la Organización para la Cooperación y el Desarrollo Económicos (OECD)
señala la importancia de definir los conceptos y las actividades de una organización. A su juicio,
una definición clara de los conceptos facilita que el uso de la información producida por los
sistemas de evaluación sea adecuado y de fácil acceso.
Por ello, luego de considerar la importancia de los procesos de análisis de datos y de
difusión de la información, varias autoridades se han dado a la tarea de definir los conceptos de
análisis y difusión. El producto de este trabajo se ha plasmado en recursos como la Enciclopedia
de la Evaluación (Mathison, 2005), la Enciclopedia de la Investigación en Calidad de Vida y el
Bienestar (Michalos, 2014) y el portal Informal Science. Sus definiciones, complementadas por
otras fuentes, se tomarán como guía para el desarrollo y la comprensión de estos conceptos
dentro de la SAyD.
Este es un documento controlado; una vez se descargue o se imprima se considera NO
CONTROLADOMETODOLOGÍA PARA EL ANÁLISIS Y DIFUSIÓN DE Código: AYD -GU003
INFORMACIÓN
ANÁLISIS Y DIFUSIÓN Versión: 001
Clasificación de la X PÚBLICA CLASIFICADA RESERVADA
Información:
Concepto de análisis
Según la Enciclopedia de la Evaluación (Mathison, 2005), el análisis se puede definir como “la
separación de un todo intelectual o material en sus partes constituyentes y el estudio de las partes
constituyentes y sus interrelaciones para formar un todo” (p. 18). En otras palabras, este proceso
requiere del uso de los razonamientos de inducción y deducción. Además, esta enciclopedia
añade que la evaluación de personas requiere identificar y cuantificar aspectos importantes del
evaluado. El análisis, en general, contiene un componente cualitativo (qué es algo) y uno
cuantitativo (qué tanto hay de ese algo).
Las evaluaciones que realiza el Icfes están contextualizadas en el ámbito de las
evaluaciones a gran escala (large escale assessment) en campo de la educación, las cuales proveen
información sobre el logro de los estudiantes en un sistema educativo particular, para un
currículo particular y para una edad o grado particulares, al ser aplicadas a una muestra o a la
totalidad de la población objetivo (Clarke y Luna-Bazaldua, 2021).
Esta evaluaciones, por lo general, se construyen con base en marcos evaluativos
enfocados en el currículo educativo del país, con metodologías estructuradas para la
construcción y desarrollo de los cuestionarios e ítems, empleando métodos psicométricos para
la calibración de ítems y la comparación de resultados y, más recientemente, entregando
información cualitativa sobre los niveles de desempeño, buscando comparabilidad internacional
y recolectando información contextual sobre los estudiantes, sus familias y el entorno escolar
(Cresswell, Schwantner y Waters, 2015).
Dichas evaluaciones tienen como audiencia principal a los hacedores de política, aunque
otros públicos como aquellos encargados de ejecutar y/o hacer seguimiento a la política
educativa, maestros, padres, estudiantes o investigadores también hacen uso de los resultados
para orientar sus actividades, avanzar en el estudio de la educación o informarse sobre los
avances en el campo (Clarke y Luna-Bazaldua, 2021).
Este es un documento controlado; una vez se descargue o se imprima se considera NO
CONTROLADOMETODOLOGÍA PARA EL ANÁLISIS Y DIFUSIÓN DE Código: AYD -GU003
INFORMACIÓN
ANÁLISIS Y DIFUSIÓN Versión: 001
Clasificación de la X PÚBLICA CLASIFICADA RESERVADA
Información:
Las evaluaciones a gran escala proveen una cantidad importante de datos para ser
analizados. Zumbo (2014) sostiene que el objetivo del análisis de datos es obtener información
que vaya más allá de lo que se observa en los datos individuales (p. 1428). Este mismo autor
señala que el análisis de datos comprende tres grandes fases: la producción de datos, el análisis
de datos y la inferencia a partir de los datos. Todos estos procesos, vale la pena recordar, se
llevan a cabo desde los postulados y las metodologías propuestas por la ciencia de datos y la
estadística. La producción de datos, entonces, implica el diseño de un instrumento, el muestreo,
si se requiere pues también se realizan evaluaciones censales como el examen Saber 11° en
Colombia, y la aplicación de estudios de tipo experimental, cuasi experimental y de campo
(estudios de caso, de grupos, etc.). La inferencia estadística se vale de las herramientas de la
estadística inferencial, que permiten derivar conclusiones sobre el comportamiento de los datos
estudiados.
Zumbo (2014) también afirma que, dentro del análisis de datos, uno de los instrumentos
más comunes para la visualización de estos son los diagramas de caja y las gráficas de dispersión.
Asimismo, es necesario tener en cuenta tanto los análisis de frecuencias como los que se basan
en medidas de tendencia central (media, mediana y moda) o de dispersión (asimetría y curtosis).
Este tipo de análisis, de carácter descriptivo, permite conocer el comportamiento de los datos,
principalmente en términos de su distribución. Posteriormente, permiten evaluar la posibilidad
de realizar análisis inferenciales, y determinar los modelos que más se ajustan a los datos.
Los análisis inferenciales, por otro lado, buscan extraer conclusiones sobre una
población considerando las características de una muestra (subconjunto) de esta (Holliday, 2014).
Estos análisis pueden efectuarse atendiendo a tres formas de inferencia: frecuentista,
probabilística y bayesiana (Zumbo, 2014). Cada una de estas formas difiere, entre otros aspectos,
en los supuestos requeridos (condiciones requeridas) para su aplicación y en los parámetros
usados para hacer la inferencia sobre la población estudiada.
Este es un documento controlado; una vez se descargue o se imprima se considera NO
CONTROLADOMETODOLOGÍA PARA EL ANÁLISIS Y DIFUSIÓN DE Código: AYD -GU003
INFORMACIÓN
ANÁLISIS Y DIFUSIÓN Versión: 001
Clasificación de la X PÚBLICA CLASIFICADA RESERVADA
Información:
Sumado a lo anterior, y en línea con lo expuesto en la Norma Técnica Colombiana para
el Proceso Estadístico, el análisis, concebido como una de las fases de la operación estadística,
busca “[examinar] la consistencia y coherencia de la información consolidada y generar los
productos definidos en [la fase de diseño1 del proceso estadístico]” (Dane, 2017, p.8).
Kerlinger y Lee (2002), en el contexto de la investigación del comportamiento humano,
sostienen que, “en la interpretación, se toman los resultados del análisis, se hacen las inferencias
pertinentes a las relaciones de investigación estudiadas y se sacan las conclusiones de estas
relaciones” (p. 172). Esta labor de interpretación es la que, a los ojos del público, le da sentido a
todo el análisis realizado. Los autores también señalan que el investigador puede buscar el
significado y las implicaciones de una investigación siguiendo dos posibles vías: (1) interpretando
la relación de los datos dentro del estudio y (2) buscando relaciones entre los resultados del
estudio que se realiza y los resultados de otros estudios. La primera vía se refiere a las relaciones
entre las variables que se están investigando. De hecho, esta interpretación se da casi en el
momento mismo en que se realizan los análisis estadísticos. La segunda vía, en cambio, exige la
búsqueda de relaciones entre los resultados del estudio que se realiza y los resultados de otros
estudios. Con la ayuda de la teoría y la comparación de resultados proporcionan una
interpretación que va más allá de las relaciones internas que se plantean en la investigación.
Fase de análisis
Cabe destacar que la publicación de resultados que realiza la SAyD sigue, sobre las dos vías de
interpretación planteadas por Kerlinger y Lee (2002). Lo anterior se enmarca en las funciones 1,
2 y 3 que se fijan en el Artículo 25 del Decreto 5014 de 2009:
1 “Fase del proceso estadístico en la que se definen, prueban y documentan los instrumentos y procedimientos para
la ejecución, análisis y difusión” (Dane, 2017, p.8).
Este es un documento controlado; una vez se descargue o se imprima se considera NO
CONTROLADOMETODOLOGÍA PARA EL ANÁLISIS Y DIFUSIÓN DE Código: AYD -GU003
INFORMACIÓN
ANÁLISIS Y DIFUSIÓN Versión: 001
Clasificación de la X PÚBLICA CLASIFICADA RESERVADA
Información:
1. Gestionar, administrar y controlar el análisis y la elaboración de reportes e informes de
resultados de las evaluaciones, y publicar la información relativa a los resultados
agregados de las mismas, para las diferentes audiencias.
2. Definir, gestionar y supervisar estrategias de divulgación de los resultados de las
evaluaciones para informar la toma de decisiones, apoyar el diseño de planes de
mejoramiento y reforzar su comprensión por parte de los distintos actores de la
comunidad educativa.
3. Apoyar la implementación de mecanismos de divulgación de resultados, en pro de la
mejora de la calidad de la educación.
En otras palabras, la interpretación de resultados que se lleve a cabo en la SAyD debe
proporcionar información que permita discutir e implementar acciones con el fin de mejorar la
calidad de la educación y la toma de decisiones, tanto a nivel de política pública orientada al
sector educativo, como a nivel de los establecimientos.
Ahora bien, para esta propuesta se tienen en cuenta, además, las funciones propuestas en el
nuevo proyecto de decreto, que son las que siguen:
1. Analizar los resultados de las evaluaciones, de tal manera que se genere, a partir de
los datos obtenidos, información útil para la toma decisiones en los ámbitos
institucional, local, regional, nacional, internacional y, en general, relacionadas con la
política pública de calidad educativa
2. Verificar la consistencia y coherencia de la información a publicar que realiza el área
a cargo de la custodia de los resultados de los evaluados
3. Identificar y caracterizar a los grupos de interés y sus necesidades, para la
construcción de estrategias de análisis de resultados y su difusión
Este es un documento controlado; una vez se descargue o se imprima se considera NO
CONTROLADOMETODOLOGÍA PARA EL ANÁLISIS Y DIFUSIÓN DE Código: AYD -GU003
INFORMACIÓN
ANÁLISIS Y DIFUSIÓN Versión: 001
Clasificación de la X PÚBLICA CLASIFICADA RESERVADA
Información:
4. Diseñar, construir y gestionar el sistema de difusión de los análisis de resultados,
como insumo para la toma de decisiones y la implementación de acciones de
mejoramiento, que promuevan la equidad
5. Implementar acciones para la comprensión, el uso y la apropiación social de los
resultados de la evaluación de la calidad educativa, por parte de los distintos actores
educativos y la ciudadanía en general
6. Gestionar interna y externamente el conocimiento sobre el análisis y la difusión de
los resultados de las evaluaciones
7. Participar en la identificación, medición y control de riesgos operativos relacionados
con los procesos que se desarrollan en la dependencia
8. Ejecutar las demás actividades que le sean asignadas, de acuerdo con la naturaleza de
la dependencia
Si se considera la primera función de la SAyD, en la propuesta mencionada arriba, se
puede concluir que el tipo de análisis que realiza esta dependencia es el análisis de datos, que
provienen de los resultados de los distintos exámenes diseñados y aplicados por el Icfes.
Dicho lo anterior, se puede afirmar que, aunque la SAyD debe tener en cuenta todo el
proceso de diseño, armado y aplicación de los exámenes del Icfes, su labor se centra, sobre todo,
en los temas de análisis e inferencia de datos. Por ello, las principales herramientas utilizadas por
la SAyD a la hora de elaborar reportes, informes y otros productos que se divulgan al público
provienen de la estadística y la ciencia de datos.
Ahora bien, teniendo en cuenta los lineamientos del proceso de producción estadística,
y el artículo 2 de las funciones expresadas en la nueva propuesta de decreto, la etapa de análisis
incluye acciones orientadas a revisar la coherencia y validar los datos producidos, teniendo en
cuenta las series históricas y otros análisis publicados con anterioridad.
Este es un documento controlado; una vez se descargue o se imprima se considera NO
CONTROLADOMETODOLOGÍA PARA EL ANÁLISIS Y DIFUSIÓN DE Código: AYD -GU003
INFORMACIÓN
ANÁLISIS Y DIFUSIÓN Versión: 001
Clasificación de la X PÚBLICA CLASIFICADA RESERVADA
Información:
Además de analizar estadísticas como la media o la desviación estándar, resulta pertinente
observar la relación entre algunas variables de interés asociadas al objeto de estudio. Esta
información asociada proviene de fuentes de información externa. Vale la pena mencionar, aquí,
tres de los análisis más comunes que permiten comprobar si existen relaciones estadísticamente
significativas entre los datos: las regresiones, los análisis de varianza y los métodos de análisis
multivariado.
La actividad de análisis que realiza la SAyD busca extraer información de los datos que
se recogen por medio de los exámenes. Su labor es, entonces, obtener los insumos necesarios
para el sistema de difusión y, además, verificar la consistencia y la coherencia de la información
que se publica. Esto se materializa en informes, reportes, infografías y otros materiales.
Por último, el análisis no solo se compone de un proceso cuantitativo —que fue
brevemente señalado líneas atrás— sino que, además, implica una interpretación de los
resultados de los análisis estadísticos que se llevan a cabo. La interpretación de resultados es la
base sobre la cual se elaboran los informes, los reportes, las infografías y las otras publicaciones
de la SAyD.
De acuerdo con todo lo anterior, el concepto de análisis se propone como sigue: extraer
información de los datos que se recogen por medio de las evaluaciones para acompañar
la verificación de la consistencia y coherencia de la información que se publica, y realizar
análisis descriptivo e interpretativo para generar mayor utilidad para los resultados de
las pruebas, acorde con las necesidades identificadas de los grupos de interés. Lo
anterior atribuyendo a los datos su valor justo y reconociendo sus limitaciones.
Acorde con lo anterior, la difusión, que corresponde a la SAyD y sobre la que tratará en
el siguiente capítulo, se concentra en los temas relacionados con los datos y la información
estadística sobre la evaluación de la calidad educativa, incluyendo contenidos relacionados con
Este es un documento controlado; una vez se descargue o se imprima se considera NO
CONTROLADOMETODOLOGÍA PARA EL ANÁLISIS Y DIFUSIÓN DE Código: AYD -GU003
INFORMACIÓN
ANÁLISIS Y DIFUSIÓN Versión: 001
Clasificación de la X PÚBLICA CLASIFICADA RESERVADA
Información:
los metadatos y la apropiación social del uso de los resultados o valor social de la evaluación, que
permitan mejorar la comprensión de los resultados de la evaluación de la calidad educativa.
Difusión
¿Qué es difusión?
Según la Norma Técnica de Calidad del Proceso Estadístico (NTC PE 1000, 2020), el
proceso estadístico se entiende como el “conjunto sistemático de actividades encaminadas a la
producción de estadísticas, entre las cuales están comprendidas la detección de necesidades de
información, el diseño, la construcción, la recolección, el procesamiento, el análisis, la difusión
y la evaluación” (Dane e Icontec, 2020, p. 14). En lo que respecta a la fase de difusión, vale la
pena aclarar que se trata de aquella “en la que se pone a disposición de los usuarios la información
estadística, a través de los medios de divulgación establecidos” (Dane e Icontec, 2020, p.14).
Para efectos de este documento se entenderá la difusión como la etapa de la cadena de
valor de la evaluación de la calidad en la que los resultados de las evaluaciones que produce el
instituto se ponen a disposición de los usuarios, desde la publicación de los datos, pasando por
el análisis de la información hasta la apropiación social de la comprensión y uso de los resultados
de la calidad educativa.
Ahora bien, la disposición de información a los usuarios no es solo responsabilidad de
la Subdirección de Análisis y Divulgación (SAyD). Otras áreas corresponsables de la difusión de
los resultados en el Icfes son la Subdirección de Información (SI), la Subdirección de Estadísticas
(SE) y la Oficina de Gestión de Proyectos de Investigación. No obstante, dichas áreas tienen
distintos alcances en el esquema de difusión del instituto y se concentran especialmente en la
producción y publicación de datos, a partir, especialmente, del procesamiento, análisis de ítems
y calificación, entre otros (ver esquema figura 2).
Este es un documento controlado; una vez se descargue o se imprima se considera NO
CONTROLADOMETODOLOGÍA PARA EL ANÁLISIS Y DIFUSIÓN DE Código: AYD -GU003
INFORMACIÓN
ANÁLISIS Y DIFUSIÓN Versión: 001
Clasificación de la X PÚBLICA CLASIFICADA RESERVADA
Información:
Cabe aclarar que la Oficina de Gestión de Proyectos de Investigación, por su quehacer,
es responsable de la disposición de los microdatos anonimizados, pero además de la divulgación
de los resultados de las investigaciones del instituto.
Como se verá más adelante en el esquema de difusión propuesto en este documento, el
alcance de la SAyD inicia desde el nivel de 2 de la difusión (que corresponde al estudio,
ordenación y análisis de consistencia y coherencia) de los datos producidos por la SE y/o la SI,
hasta el nivel 5 (que corresponde a la apropiación social de los datos).
La etapa de difusión se lleva a cabo mediante diversos mecanismos o herramientas de
difusión y acorde con las necesidades de los grupos interesados en la información sobre calidad
educativa. El fin último es contribuir a la apropiación social de la comprensión y uso de los
resultados de la evaluación de la calidad educativa.
A partir de la definición anterior, se puede abordar la diferencia entre los términos
“divulgación” y “difusión”. De manera general, el primer término se relaciona con la
comunicación de información para un público general y, en un contexto científico, divulgación
atañe a la publicación de los resultados de los estudios realizados. En otros términos, la difusión
es la etapa general que forma parte de la cadena de valor de la evaluación de la calidad y se
materializa a través de diferentes medios o herramienta específica, que puede o no encontrarse
en el marco de un esquema de difusión estadística. Sumado a esto, la difusión es una parte clave
e integral del proceso de producción estadística y, de hecho, se trata del término estandarizado
que constituye una de las fases del proceso estadístico.
Lo anterior se relaciona con la labor de la SAyD, en concreto, con la generación de los
productos propios de la difusión estadística. Debido a esto, las características y aspectos de la
etapa de difusión corresponden en buena parte del quehacer de la Subdirección. A continuación,
se hará referencia, de manera general, a los aspectos que confluyen en el proceso de difusión.
Este es un documento controlado; una vez se descargue o se imprima se considera NO
CONTROLADOMETODOLOGÍA PARA EL ANÁLISIS Y DIFUSIÓN DE Código: AYD -GU003
INFORMACIÓN
ANÁLISIS Y DIFUSIÓN Versión: 001
Clasificación de la X PÚBLICA CLASIFICADA RESERVADA
Información:
De acuerdo con la NTC PE 1000 (2020), en el proceso de difusión, la entidad debe
incluir los cuadros de salida, las series históricas, los macrodatos (datos agregados) y los
documentos de referencia, entre otros (Dane e Icontec, 2020, pp. 54-55). También, se pueden
incluir notas técnicas o metodológicas, microdatos anonimizados y herramientas de visualización
de datos que comprenden, a su vez, mapas temáticos, geoportales o servicios geográficos, tablas
dinámicas y cuadros de mando (tableros o dashboard). La NTC PE 1000 (2020) indica que la
entidad debe tener en cuenta la identificación de los grupos de interés y sus necesidades de
información, además de los siguientes aspectos:
1. Los cuadros de salida y demás productos a difundir conforme a las necesidades de los
usuarios y el objetivo de la operación estadística
2. El calendario de difusión
3. Las actividades para la difusión
4. La forma de presentación de la información estadística
5. Las instrucciones para la lectura, interpretación y uso de la información
6. Los canales y los medios de difusión
7. Los metadatos de la operación estadística
8. La asesoría a usuarios de la información estadística
(Dane e Icontec, 2020, p. 44)
En lo que respecta a la definición de las diversas comunidades de usuarios o los grupos
de interés y la demanda de datos que éstos requieren, Paris 21, como parte de las directrices para
la difusión de datos, presenta el siguiente esquema (Figura 1):
Figura 1
Modelo de información y audiencia para los datos ECA y productos relacionados a información y conocimientos
Este es un documento controlado; una vez se descargue o se imprima se considera NO
CONTROLADOMETODOLOGÍA PARA EL ANÁLISIS Y DIFUSIÓN DE Código: AYD -GU003
INFORMACIÓN
ANÁLISIS Y DIFUSIÓN Versión: 001
Clasificación de la X PÚBLICA CLASIFICADA RESERVADA
Información:
Nota: Tomado de Difusión, por Paris 21, 2017 (https://nsdsguidelines.paris21.org/es/node/796)
Con este punto de partida, a partir de la propuesta de Paris 21 se ampliará más adelante
en el tema de grupos de interés.
Por otro lado, cabe tener en cuenta que el documento Recomendaciones para la difusión y el
acceso de información estadística del Dane (2020) insta a “interactuar con otras entidades para
intercambiar buenas prácticas de difusión y a nivel interno realizar comités técnicos para
socializar las mejores prácticas identificadas en el tema” (2020, p. 8).
Por lo anterior, el Icfes también está trabajando en la creación y conformación del
Comité Técnico de Área para el Análisis y Difusión (o Comité de Publicaciones), como una
instancia de aprobación, articulación, acompañamiento y orientación editorial para el análisis y
difusión de los resultados y de la información que se obtiene de las evaluaciones de calidad
educativa que realiza la entidad.
Este es un documento controlado; una vez se descargue o se imprima se considera NO
CONTROLADOMETODOLOGÍA PARA EL ANÁLISIS Y DIFUSIÓN DE Código: AYD -GU003
INFORMACIÓN
ANÁLISIS Y DIFUSIÓN Versión: 001
Clasificación de la X PÚBLICA CLASIFICADA RESERVADA
Información:
Ahora bien, sobre los criterios editoriales para la difusión estadística, estos se relacionan
con la generación de lineamientos para las publicaciones que involucran textos continuos y
discontinuos en cualquier formato, la comunicación de errores y la publicación de metadatos,
entre otros. La SAyD está trabajando en una propuesta para presentar a la entidad sobre estos
criterios.
La construcción de un sistema de difusión
Con el fin de alinearse con los acuerdos establecidos en el SEN y para precisar el quehacer de la
SAyD, dado que es una de las áreas del Icfes que desarrolla actividades orientadas a las etapas
conocidas como análisis y difusión, se proponen ajustes al proceso que desarrolla la SAyD y al
uso del término “difusión”. En concreto, se espera pasar de la denominación GAD (gestión de
análisis y divulgación) a GAD, como gestión de análisis y difusión. Además, se propone sentar
las bases para la construcción de un esquema de análisis y difusión que debe ser valorado de
manera permanente y reestructurado. En efecto, los ajustes deberán partir de las necesidades de
los usuarios y de los cambios de las mejores prácticas en la cadena de valor del proceso estadístico
a nivel nacional e internacional.
Díaz Muñoz y Cordero Valdavida (1992) proponen la construcción por etapas de un
sistema de difusión estadística, el cual debe tener en cuenta dos elementos básicos: objetivos e
instrumentos disponibles para la construcción (p. 184). En lo que respecta a los objetivos, se
identifican los siguientes: 1) crear una nueva demanda; 2) consolidar una imagen que contribuya
a la confianza en las estadísticas; 3) mantener un flujo de comunicación interior, y 4) satisfacer
la demanda cambiante por datos. En el desarrollo de este último objetivo, se señala
especialmente el carácter cambiante de la demanda por datos estadísticos, debido a las
posibilidades tecnológicas que promueven la transición hacia medios de difusión como
Este es un documento controlado; una vez se descargue o se imprima se considera NO
CONTROLADOMETODOLOGÍA PARA EL ANÁLISIS Y DIFUSIÓN DE Código: AYD -GU003
INFORMACIÓN
ANÁLISIS Y DIFUSIÓN Versión: 001
Clasificación de la X PÚBLICA CLASIFICADA RESERVADA
Información:
herramientas de visualización, repositorios para grandes volúmenes de datos y diversas
herramientas digitales, entre otros.
En cuanto a los instrumentos, al igual que en los objetivos, Díaz Muñoz y Cordero
Valdavida (1992) hacen énfasis en la emergencia de diversas tecnologías que pueden formar parte
de un sistema de difusión y clasifican dichos instrumentos desde la demanda y la oferta. De
acuerdo con los autores, dichos instrumentos, adaptados a las necesidades e integrados con los
medios convencionales de forma cohesionada, permiten la construcción de un sistema
estadístico que responda a los objetivos establecidos para la difusión (Díaz Muñoz y Cordero
Valdavida, 1992).
La Figura 2 sintetiza la propuesta de Díaz Muñoz y Cordero Valdavida (1992) para la
construcción de un sistema de difusión por etapas y los instrumentos, medios o herramientas de
dicho sistema:
Figura 2
Construcción del sistema de difusión estadística
Este es un documento controlado; una vez se descargue o se imprima se considera NO
CONTROLADOMETODOLOGÍA PARA EL ANÁLISIS Y DIFUSIÓN DE Código: AYD -GU003
INFORMACIÓN
ANÁLISIS Y DIFUSIÓN Versión: 001
Clasificación de la X PÚBLICA CLASIFICADA RESERVADA
Información:
Este es un documento controlado; una vez se descargue o se imprima se considera NO
CONTROLADOMETODOLOGÍA PARA EL ANÁLISIS Y DIFUSIÓN DE Código: AYD -GU003
INFORMACIÓN
ANÁLISIS Y DIFUSIÓN Versión: 001
Clasificación de la X PÚBLICA CLASIFICADA RESERVADA
Información:
Nota: Tomado de “La difusión estadística. Objetivos, instrumentos y soluciones”, por P. Díaz Muñoz y
M. Cordero Valdavida, 1992, Estadística Española, 35 (130), p. 197.
Como se observa en la Figura 2, el esquema facilita pasar de los datos estadísticos a la
información estadística. El punto de partida son datos estadísticos que, al no estar ordenados o
estructurados, pueden resultar confusos y poco transparentes, dado que no están dispuestos
acorde con las necesidades de los usuarios.
En la etapa 1, se observa el estudio, ordenación y estructuración de datos, mediante la
disposición de datos individuales, registros y datos agregados, por ejemplo, acompañados de
metainformación como cartografía y clasificaciones.
Durante la etapa 2 se dispone la información en bancos de microdatos, directorios y
catálogos que ordenan la información para que los usuarios la encuentren con mayor facilidad y
de manera más comprensible.
En la etapa 3 se busca poner al alcance del público la información estadística, para lo
cual es imprescindible la identificación de las necesidades de los grupos de interés, aspecto que
Este es un documento controlado; una vez se descargue o se imprima se considera NO
CONTROLADOMETODOLOGÍA PARA EL ANÁLISIS Y DIFUSIÓN DE Código: AYD -GU003
INFORMACIÓN
ANÁLISIS Y DIFUSIÓN Versión: 001
Clasificación de la X PÚBLICA CLASIFICADA RESERVADA
Información:
se abordará más adelante en el apartado de grupos de interés. Es así como se disponen las
publicaciones de resultados con valor añadido y en diferentes formatos (por ejemplo,
publicaciones electrónicas), se genera información a la medida y se incorporan distintas formas
de interacción con el público para profundizar en la información.
Así se logra pasar de los datos a la información estadística con las características que se
ven en el diagrama: organizada, integrada, exhaustiva enriquecida, documentada y accesible.
A partir de todo lo anterior, se propone el siguiente objetivo para la etapa de difusión
que realiza el Icfes y para la SAyD: Poner a disposición de la ciudadanía la información
estadística sobre los resultados de la evaluación de la calidad educativa y sus metadatos,
de manera integrada, usable y accesible, a través de diversas herramientas e incentivar
la apropiación social de estos datos.
Con el fin de lograr este objetivo, se propone un esquema de difusión que incluye, como
un componente clave, la producción de contenidos digitales acorde con las herramientas
contemporáneas de comunicación masiva. El sistema también establece opciones para grupos
de interés que requieren de la planeación de herramientas de difusión diferentes, tal como se
evidencia en la Figura 3 y en la Tabla 1. Además, el proceso de difusión incluye a otras áreas del
instituto relacionadas con la difusión, aunque buena parte del sistema de difusión se ejecuta
desde la SAyD.
Con base en todo lo anterior, a continuación, se muestra una propuesta general del
esquema de difusión.
Este es un documento controlado; una vez se descargue o se imprima se considera NO
CONTROLADOMETODOLOGÍA PARA EL ANÁLISIS Y DIFUSIÓN DE Código: AYD -GU003
INFORMACIÓN
ANÁLISIS Y DIFUSIÓN Versión: 001
Clasificación de la X PÚBLICA CLASIFICADA RESERVADA
Información:
Figura 2 . Propuesta esquema de difusión estadística del Icfes
Este es un documento controlado; una vez se descargue o se imprima se considera NO
CONTROLADOMETODOLOGÍA PARA EL ANÁLISIS Y DIFUSIÓN DE Código: AYD -GU003
INFORMACIÓN
ANÁLISIS Y DIFUSIÓN Versión: 001
Clasificación de la X PÚBLICA CLASIFICADA RESERVADA
Información:
Este es un documento controlado; una vez se descargue o se imprima se considera NO
CONTROLADOTambién puede leer
