GUÍA DE DISEÑO, PRODUCCIÓN APLICACIÓN Y CALIFICACIÓN DEL EXAMEN SABER 11 - Colombia 2018 - Icfes
←
→
Transcripción del contenido de la página
Si su navegador no muestra la página correctamente, lea el contenido de la página a continuación
GUÍAS
GUÍA DE DISEÑO, PRODUCCIÓN
APLICACIÓN Y CALIFICACIÓN
DEL EXAMEN SABER 11
Colombia 2018Presidente de la República Directora General
Juan Manuel Santos Calderón Ximena Dueñas Herrera
Ministra de Educación Nacional Secretaria General
Yaneth Giha Tovar María Sofía Arango Arango
Viceministra de Educación Preescolar,
Directora de Evaluación
Básica y Media
Natalia González Gómez
Helga Milena Hernández
Director de Producción y Operaciones
José Giovany Babativa Márquez
Directora de Tecnología
Ingrid Picón Carrascal
Subdirectora de Producción de Instrumentos
Nubia Sánchez
Subdirector de Diseño de Instrumentos
Javier Toro Baquero
Subdirectora de Análisis y Divulgación
Silvana Godoy Mateus
Subdirector de Estadística
Edwin Javier Cuellar Caicedo
Elaboración del documento
César Andrés Vega Pardo
Luis Felipe Dussán Zuluaga
Revisión de estilo
Andrés Felipe Vélez Martínez
Diagramación
Alejandra Guzmán Escobar
Fotografía de portada
http://www.freepik.es/foto-gratis/bombilla-con-el-grafico-de-dibu-
jo_1010172.htm#term=team&page=1&position=28
ISBN: En trámite
Bogotá D.C., mayo de 2018
ADVERTENCIA
Con el fin de evitar la sobrecarga Todo el contenido es propiedad
gráfica que supondría utilizar en exclusiva y reservada del Icfes y es
español “o/a” para denotar uno u otro el resultado de investigaciones y
género, el Icfes opta por emplear el obras protegidas por la legislación
masculino genérico en el que todas las nacional e internacional. No se
menciones de este se refieren siempre a autoriza su reproducción, utilización
hombres y mujeres. ni explotación a ningún tercero.
Solo se autoriza su uso para fines
exclusivamente académicos. Esta
información no podrá ser alterada,
Icfes. 2018. Todos los derechos de autor reservados ©. modificada o enmendada.TÉRMINOS Y CONDICIONES DE USO PARA PUBLICACIONES
Y OBRAS DE PROPIEDAD DEL ICFES
El Instituto Colombiano para la Evaluación de la Educación (Icfes) pone a la disposición de la comunidad
educativa y del público en general, DE FORMA GRATUITA Y LIBRE DE CUALQUIER CARGO, un
conjunto de publicaciones a través de su portal www.icfes.gov.co. Dichos materiales y documentos están
normados por la presente política y están protegidos por derechos de propiedad intelectual y derechos
de autor a favor del Icfes. Si tiene conocimiento de alguna utilización contraria a lo establecido en estas
condiciones de uso, por favor infórmenos al correo prensaicfes@icfes.gov.co.
Queda prohibido el uso o publicación total o parcial de este material con fines de lucro. Únicamente
está autorizado su uso para fines académicos e investigativos. Ninguna persona, natural o jurídica,
nacional o internacional, podrá vender, distribuir, alquilar, reproducir, transformar*, promocionar o
realizar acción alguna de la cual se lucre directa o indirectamente con este material. Esta publicación
cuenta con el registro ISBN (International Standard Book Number, o Número Normalizado Internacional
para Libros) que facilita la identificación no sólo de cada título, sino de la autoría, la edición, el editor
y el país en donde se edita.
En todo caso, cuando se haga uso parcial o total de los contenidos de esta publicación del Icfes,
el usuario deberá consignar o hacer referencia a los créditos institucionales del Icfes respetando los
derechos de cita; es decir, se podrán utilizar con los fines aquí previstos transcribiendo los pasajes
necesarios, citando siempre la fuente de autor, lo anterior siempre que estos no sean tantos y seguidos
que razonadamente puedan considerarse como una reproducción simulada y sustancial, que redunde
en perjuicio del Icfes.
Así mismo, los logotipos institucionales son marcas registradas y de propiedad exclusiva del Instituto
Colombiano para la Evaluación de la Educación (Icfes). Por tanto, los terceros no podrán usar las
marcas de propiedad del Icfes con signos idénticos o similares respecto a cualquier producto o servicios
prestados por esta entidad, cuando su uso pueda causar confusión. En todo caso queda prohibido su
uso sin previa autorización expresa por Icfes. La infracción de estos derechos se perseguirá civil y, en su
caso, penalmente, de acuerdo con las leyes nacionales y tratados internacionales aplicables.
El Icfes realizará cambios o revisiones periódicas a los presentes términos de uso, y los actualizará en
esta publicación.
El Icfes adelantará las acciones legales pertinentes por cualquier violación a estas políticas y condiciones
de uso.
* La transformación es la modificación de la obra a través de la creación de adaptaciones, traducciones, compilaciones, actualizaciones,
revisiones, y, en general, cualquier modificación que de la obra se pueda realizar, generando que la nueva obra resultante se constituya en
una obra derivada protegida por el derecho de autor, con la única diferencia respecto de las obras originales que aquellas requieren para
su realización de la autorización expresa del autor o propietario para adaptar, traducir, compilar, etcétera. En este caso, el Icfes prohíbe la
transformación de esta publicación.CONTENIDO
Presentación ....................................................................................................................... 5
1. Características generales del examen Saber 11 ......................................................... 6
1.1 ¿Qué es? ............................................................................................................... 7
1.2 ¿Qué busca? ........................................................................................................... 7
1.3 ¿Qué evalúa? ......................................................................................................... 7
2. Proceso de evaluación .............................................................................................. 8
2.1 Diseño y producción de instrumentos ....................................................................... 10
2.1.1 Fundamento conceptual ................................................................................ 10
2.1.2 Estructura del examen ................................................................................... 12
2.1.3 Construcción de ítems ....................................................................................... 18
2.1.4 Armado del instrumento ................................................................................ 20
2.2 Aplicación ............................................................................................................ 22
2.2.1 Antes ............................................................................................................ 22
2.2.2 Durante ....................................................................................................... 24
2.2.3 Después ....................................................................................................... 25
2.3 Calificación .......................................................................................................... 25
2.3.1 Análisis de ítem e instrumento ........................................................................ 25
2.3.2 Procedimientos de ajuste ............................................................................... 27
2.4 Análisis y divulgación de los resultados ................................................................... 28
Bibliografía .................................................................................................................... 30
Anexos ........................................................................................................................... 32
Anexo 1. Definiciones generales .................................................................................... 33
Anexo 2. Detección de copia ......................................................................................... 34
Anexo 3. Indicadores estadísticos .................................................................................. 35
Guía de diseño, producción, aplicación y
calificación del examen Saber 11 4PRESENTACIÓN
El Instituto Colombiano para la Evaluación de Esta guía está dirigida a estudiantes, docentes,
la Educación (Icfes) es la entidad encargada de directivos docentes y a miembros de la
evaluar la calidad de la educación en todos los comunidad educativa, y tiene como finalidad
niveles educativos, conforme a los propósitos conocer todo el proceso de construcción y
definidos por el Ministerio de Educación evaluación del examen Saber 11 diseñado por
Nacional (MEN). Para esto se consolida el el Icfes. El proceso consta de cinco etapas, que
Sistema Nacional de Evaluación Estandarizada son: i) diseño, ii) producción, iii) aplicación,
de la Educación (SNEE) que permite evaluar iv) calificación de instrumentos, y, finalmente
a los estudiantes del país dependiendo de su iv) análisis y divulgación de los resultados. La
grado o nivel de formación. correcta articulación entre cada una de las
etapas brinda garantías sobre la pertinencia y
En el caso de la educación media, el instituto confiabilidad en los resultados reportados, y
desarrolla el examen Saber 11 que permite sobre las interpretaciones que de allí se derivan.
valorar el desarrollo de las competencias
obtenidas por los estudiantes que culminaron El presente documento está dividido en dos
o que van a culminar el grado undécimo. secciones, la primera sección describe las
Este examen es importante para diagnosticar características generales del examen Saber 11,
la calidad de la educación que imparten los es decir, ¿qué es?, ¿qué busca? y ¿qué evalúa?;
colegios del país, y para conocer las bases con y la segunda, que responde al objeto de esta
que los estudiantes van a ingresar a la educación guía, contiene la descripción del proceso
superior. Por esto, es fundamental conocer desarrollado por el Icfes, desde los fundamentos
el proceso de elaboración y evaluación del conceptuales hasta el análisis de los resultados
examen, puesto que la información recolectada obtenidos por los evaluados.
debe ser válida y confiable.
Guía de diseño, producción, aplicación y
calificación del examen Saber 11 51. CARACTERÍSTICAS GENERALES DEL EXAMEN SABER 11
Guía de diseño, producción, aplicación y
calificación del examen Saber 11 61. Características generales
del examen Saber 11
1.1 ¿Qué es?
El examen de Estado de la Educación Media, establecimientos educativos indicadores de valor
Saber 11, es un instrumento de evaluación agregado e información relevante para que
estandarizado diseñado por el Icfes, y en conjunto estos implementen procesos de consolidación
con las pruebas Saber 3°, 5° y 9°, Saber TyT y y reorientación de sus prácticas pedagógicas
Saber PRO, conforman el Sistema Nacional de (Decreto 869 de 2010).
Evaluación.
1.2 ¿Qué busca? 1.3 ¿Qué evalúa?
Los objetivos del examen Saber 11 pueden ser Los lineamientos del Ministerio de Educación
resumidos en tres grandes propósitos. El primero, Nacional buscan que los estudiantes del país
busca comprobar el grado de desarrollo de las desarrollen competencias, en lugar de aprender
competencias de los estudiantes que están por contenidos de memoria; es decir, que estén
finalizar o que finalizaron su educación media1, en capacidad de comprender conocimientos
con el fin de obtener resultados oficiales para y utilizarlos dentro y fuera del salón de clase
ingresar a la educación superior y, en este (Ministerio de Educación Nacional, 2006A). En
sentido, también proporcionar información a las este sentido, el examen evalúa el desarrollo de
instituciones de educación superior (IES) sobre las competencias que adquieren los estudiantes
las habilidades y conocimientos de los aspirantes en su paso por el sistema educativo.
a ingresar a sus programas académicos. El Las competencias se pueden clasificar en
segundo está relacionado con la construcción genéricas y no genéricas: las primeras resultan
de indicadores de calidad de la educación que necesarias en la vida cotidiana de todo
permiten diagnosticar y monitorear la prestación ciudadano, independientemente de su oficio
del servicio educativo en el nivel de educación o profesión; y las segundas, corresponde a
media y diseñar políticas educativas nacionales, habilidades y conocimientos específicos que
territoriales e institucionales. Finalmente, el resultan indispensables en profesiones u oficios
tercer propósito consiste en brindar a los particulares.
1 Quienes hayan obtenido el título de bachiller o hayan superado el examen de validación del bachillerato, de conformidad con las
disposiciones legales vigentes.
Guía de diseño, producción, aplicación y
calificación del examen Saber 11 72. PROCESO DE EVALUACIÓN
Guía de diseño, producción, aplicación y
calificación del examen Saber 11 82. Proceso de evaluación
Las evaluaciones que se realizan a través de cabo el armado del instrumento. En la siguiente
pruebas estandarizadas deben basarse en fase, producción de instrumentos, tiene lugar la
instrumentos válidos y confiables; válidos en el diagramación de las preguntas y se consolida el
sentido que las preguntas de la prueba deben banco de ítems. Durante la fase de aplicación, los
guardar coherencia con los referentes definidos evaluados responden el instrumento consolidado
para la evaluación, y confiables en la medida y luego, en la fase de calificación, se procede
que permitan hacer mediciones sobre lo que se a estimar el desarrollo de las habilidades y las
está evaluando. Gracias a estas características es competencias de los evaluados. Posterior a la
posible hacer inferencias sobre los conocimientos, calificación, se entregan los reportes de resultados
habilidades y capacidades de las personas y se brindan estrategias adicionales (informes
evaluadas (Icfes, 2017A). de resultados, guías de uso e interpretación de
resultados, capacitaciones, entre otros) para
La figura 1 resume el proceso de elaboración y analizar los resultados obtenidos.
evaluación del instrumento, es decir, del examen
Saber 11. El proceso inicia con la fase de diseño de Cabe mencionar que todas las fases están
instrumentos, en donde se define la estructura de la articuladas entre sí, y que en cada fase tienen
prueba a partir de los fundamentos conceptuales, lugar varios subprocesos que son abordados a
se construyen los ítems (preguntas) y se lleva a lo largo del documento.
Figura 1. Proceso de elaboración y evaluación del examen Saber 11
Diseño
Fundamentos
conceptuales
Producción
Estructura del Diagramación
examen de ítems
Aplicación Calificación
Construcción Banco de Procedimientos Análisis de ítem
de ítems ítems de aplicación e instrumento
Análisis y
Divulgación
Reportes guías e
Armado del Procedimientos
informes de
instrumento de ajuste
resultados
Capacitaciones
a docentes y
directivos
docentes
Fuente: elaboración propia
Guía de diseño, producción, aplicación y
calificación del examen Saber 11 92.1 Diseño y Producción
El instrumento de evaluación consta de un en lenguas extranjeras3, que tienen el objeto de
conjunto de preguntas o ítems que permiten integrar “al país en los procesos de comunicación
hacer inferencias sobre el desempeño académico universal, en la economía global y en la apertura
de quienes lo responden. En consecuencia, cultural” (Ministerio de Educación Nacional,
la elaboración de la prueba y de los ítems 2006B).
deben cumplir con una serie de propósitos y
características, donde cada pregunta resulta ser Es importante resaltar que no todas las
parte esencial de la evaluación. Esta fase consiste competencias definidas por el ministerio en los
en definir lo que se evalúa desde las directrices EBC son susceptibles de ser evaluadas en una
nacionales y la estructura adoptada. prueba estandarizada de papel y lápiz, pues,
por construcción, el diseño del examen Saber
11 implica algunas restricciones en el número
de preguntas y en el tipo de preguntas que
2.1.1 Fundamento conceptual lo conforman, entre otras. Por esta razón, el
siguiente paso consiste en la coordinación con
El diseño del examen Saber 11, así como de grupos de trabajo, conformados por expertos
las pruebas Saber 3º, 5º y 9°, Saber TyT y de la comunidad académica en las áreas de
Saber PRO, sigue la metodología denominada interés, quienes identifican las competencias que
especificaciones a partir del modelo basado en efectivamente se pueden evaluar y definen las
evidencias (Icfes, 2017A). Esta consiste en alinear especificaciones de las etapas subsiguientes.
las diferentes etapas del diseño y producción del
instrumento, garantizando coherencia entre lo Por ejemplo, la figura 2 muestra los EBC del
que se quiere medir y las habilidades observadas lenguaje para los grados 10° y 11°, e indica los
de los estudiantes (Ver figuras 2 y 3). estándares que se tienen en cuenta a la hora de
formular los lineamientos de la evaluación. Para
La metodología inicia con la identificación del el caso particular de la evaluación del área de
marco de referencia -estándar- de la evaluación, lenguaje en el examen Saber 11, la prueba se
que para el caso colombiano son los Estándares denomina “Lectura Crítica”, ya que solo aborda
Básicos de Competencias (EBC)definidos por los procesos de comprensión e interpretación
el MEN. Allí se establece lo que los estudiantes de textos. Para cumplir con este propósito, la
deben saber y saber hacer con lo que aprenden prueba usa diferentes tipos de textos en los
en las áreas de lenguaje, matemáticas, ciencias que se encuentran los literarios y periodísticos,
naturales, ciencias sociales y competencias permitiendo así abordar dos factores adicionales
ciudadanas2. Del mismo modo, se toman como propuestos en los EBC: Literatura y Medios de
referencia los estándares básicos de competencias Comunicación y Otros Sistemas Simbólicos.
2 A diferencia de las pruebas Saber 3°, 5° y 9° y del examen Saber 11, el marco de referencia para las pruebas Saber TyT y Saber Pro no
son los estándares básicos por competencias, sino que los fundamentos son construidos y actualizados por las asociaciones de facultades
y por docentes expertos.
3 Los estándares básicos de competencias en lenguas extranjeras responden a los niveles de desempeño propuestos por el Marco Común
Europeo de Referencia para las Lenguas del Consejo de Europa: aprendizaje, enseñanza y evaluación (Icfes, 2017C).
Guía de diseño, producción, aplicación y
calificación del examen Saber 11 10Figura 2. Estándares Básicos de Competencias del Lenguaje, Décimo a undécimo
PRODUCCIÓN TEXTUAL COMPRENSIÓN E INTERPRETACIÓN LITERATURA
TEXTUAL
Produzco textos argumentativos que Comprendo e interpreto textos con actitud Analizo crítica y creativamente
evidencian mi conocimiento de la lengua y crítica y capacidad argumentativa diferentes manifestaciones literarias del
el control sobre el uso que hago de ella en contexto universal.
contextos comunicativos orales y escritos.
MEDIOS DE COMUNICACIÓN Y OTROS SISTEMAS SIMBÓLICOS ÉTICA DE LA COMUNICACIÓN
Interpreto en forma crítica la Retorno críticamente los lenguajes Expreso respeto por la diversidad cultural y social
información difundida por los medios no verbales para desarrollar procesos del mundo contemporáneo, en las situaciones
de comunicación masiva. comunicativos intencionados. comunicativas en las que intervengo.
Posteriormente, los expertos formulan las El siguiente paso es la elaboración de las tareas
afirmaciones que se obtienen de cada que representan una actividad específica. A
competencia-componente. Estas hacen referencia través de estas es posible caracterizar la dificultad
a los conocimientos, habilidades y capacidades y complejidad de las preguntas.
que se pretenden inferir a partir de las respuestas
dadas por los estudiantes en la prueba (Icfes, Finalmente, se establecen las pautas para la
2017A), o en otras palabras, lo que se quiere construcción de las preguntas o ítems de una
decir sobre los estudiantes a partir de sus prueba, y se garantiza que la correcta respuesta
respuestas. Además, permiten entender el a las preguntas del examen sea evidencia del
significado y el alcance de los puntajes obtenidos desarrollo de lo que se ha propuesto evaluar.
por los estudiantes en términos de su desempeño.
En suma, el modelo basado en evidencias (MBE)
De cada afirmación se construyen las evidencias muestra que existe un conjunto de preguntas
que son esas acciones observables que permiten que responden a una tarea; un conjunto de
dar cuenta si la afirmación se cumple. Estas deben tareas que responden a una evidencia; y unas
responder a: ¿qué deben hacer los estudiantes de evidencias que dan cuenta de que lo que saben
grado once en el examen para inferir que tienen y saben hacer los estudiantes, de conformidad
determinadas competencias, conocimientos con la política educativa del país (ver figura 3).
o habilidades? (Icfes, 2017A). Las evidencias Además, el MBE garantiza la comparabilidad
permiten al evaluador entender si el estudiante a través del tiempo, en la medida que los
tiene el conocimiento y la habilidad evaluada y, instrumentos de evaluación que se construyen
en ese sentido, son la base para la construcción para cada aplicación parten del mismo marco
de las preguntas de la prueba. de referencia.
Guía de diseño, producción, aplicación y
calificación del examen Saber 11 11Figura 3. Modelo basado en evidencias
Estándar / Marco
Competencia 1 Competencia 2 Competencia 3 Competencia etc.
Afirmación 1 Afirmación 2 Afirmación 3 Afirmación etc.
Evidencia 1 Evidencia 2 Evidencia 3 Evidencia etc.
Tarea 1 Tarea 2 Tarea 3 Tarea etc.
Pregunta 1 Pregunta 2 Pregunta 3 Pregunta etc.
Fuente: Icfes (2017A)
2.1.2 Estructura del examen
El examen está compuesto de cinco pruebas: y sociedad), Sociales y Ciudadanas (incluye
Lectura Crítica (incluye competencias de ciencias sociales y competencias ciudadanas),
lenguaje y filosofía), Matemáticas (incluye e Inglés.
competencias de razonamiento cuantitativo y
conocimientos específicos de Matemáticas de la A continuación, se hace una breve descripción
educación media), Ciencias Naturales (incluye de las competencias y afirmaciones evaluadas
biología, física, química y ciencia, tecnología en cada una de las pruebas4.
4 Para mayor información consulte el documento de Lineamientos generales para la presentación del examen de Estado Saber 11.
Guía de diseño, producción, aplicación y
calificación del examen Saber 11 12Lectura Crítica derivar implicaciones, reconocer estrate-
gias argumentativas y retóricas, relacionar
La prueba de Lectura Crítica evalúa las contenidos con variables contextuales,
competencias necesarias para comprender, etcétera. Esta competencia es propiamente
interpretar y evaluar textos que pueden crítica y, como tal, exige un ejercicio adecuado
encontrarse en la vida cotidiana y en ámbitos de las dos anteriores.
académicos no especializados. Evalúa tres
competencias que recogen, de manera general, Para evaluar estas competencias, la prueba de
las habilidades cognitivas necesarias para leer Lectura Crítica utiliza dos tipos de textos. Los
de manera literal, inferencial y crítica: primeros son los continuos, que se caracterizan
por ser leídos de manera secuencial y ser
• Identificar y entender los contenidos locales organizados en frases, párrafos, secciones,
que conforman un texto: se refiere a la capítulos, etc. Los segundos son los textos
capacidad de comprender el significado de discontinuos que no son leídos secuencialmente
las palabras, expresiones y frases que se e incluyen cuadros, gráficas, tablas, etc. Algunos
encuentran explícitamente en el texto. No ejemplos de textos continuos son la novela,
indaga por conocimientos sobre gramática, el cuento, la poesía, el ensayo, la columna de
pero sí por la comprensión de las relaciones opinión y la crónica; mientras que la caricatura,
semánticas que existen entre los diferentes el cómic, la infografía, la tabla, el diagrama, el
elementos que constituyen una frase. En aviso publicitario, el manual y el reglamento son
ausencia de esta competencia, no es posible ejemplos de textos discontinuos.
contar con las dos siguientes.
• Comprender cómo se articulan las partes Matemáticas
de un texto para darle un sentido global: se
refiere a la habilidad de comprender cómo La prueba de Matemáticas evalúa el uso que
se relacionan, formal y semánticamente, los se hace de las matemáticas en función de
elementos locales que constituyen un texto, de tres dimensiones de evaluación (ver figura 4).
manera que este adquiera un sentido global (a De esta forma, evalúa lo que los estudiantes
nivel del párrafo, sección, capítulo, etcétera). aprendieron en estadística, geometría, álgebra
Las preguntas correspondientes a esta y cálculo -contenidos-; y cómo esto les permite
competencia involucran elementos locales de interpretar y representar, formular y ejecutar,
un texto y exigen reconocer y comprender su y argumentar -competencias-. Los estudiantes
articulación. Esta competencia es necesaria se pueden enfrentar a situaciones puestas en
para contar con la siguiente. contextos laborales, científicos, profesionales
o matemáticos. El cuadro 1 resume las
• Reflexionar a partir de un texto y evaluar su competencias y las afirmaciones de la prueba de
contenido: se refiere a la capacidad de evaluar Matemática.
la validez de argumentos, advertir supuestos,
Guía de diseño, producción, aplicación y
calificación del examen Saber 11 13Figura 4. Dimensiones de evaluación de la prueba de Matemáticas
Competencias
Dimensión de evaluación
Contenidos Contextos
Fuente: elaboración propia
• Interpretación y representación: se refiere a la la pertinencia de soluciones propuestas a
habilidad para comprender y transformar la problemas determinados, y analizar estrategias
información presentada en distintos formatos, de solución desde diferentes ángulos.
como tablas, gráficas, conjuntos de datos,
diagramas o esquemas, y la capacidad • Argumentación: se refiere a la capacidad para
de utilizar estos tipos de representación validar o refutar conclusiones, estrategias,
para extraer de ellos información relevante soluciones, interpretaciones y representaciones
que permita, entre otras cosas, establecer en situaciones problemáticas, mediante la
relaciones matemáticas e identificar tendencias justificación o rechazo de afirmaciones,
y patrones. interpretaciones y estrategias de solución
basándose en propiedades, teoremas o
• Formulación y ejecución: se refiere a resultados matemáticos.
la capacidad para plantear y diseñar
estrategias que permitan solucionar proble-
mas provenientes de diversos contextos Para cada competencia existe una afirmación, es
matemáticos o de la vida cotidiana que son decir, una descripción de aquello que se espera
susceptibles de un tratamiento matemático. que un estudiante esté en capacidad de hacer
Incluye la habilidad para seleccionar y verificar cuando ha desarrollado cada competencia5.
5 En el caso de la prueba de Lectura Crítica, las competencias corresponden con las afirmaciones, motivo por el cual estas últimas no fueron
mencionadas en la sección anterior.
Guía de diseño, producción, aplicación y
calificación del examen Saber 11 14Cuadro 1. Competencias y afirmaciones de la prueba de Matemáticas
Competencia Afirmación
Comprende y transforma la información
Interpretación y
cuantitativa y esquemática presentada en
representación
distintos formatos.
Frente a un problema que involucre información
Formulación y ejecución cuantitativa, plantea e implementa estrategias
que lleven a soluciones adecuadas.
Valida procedimientos y estrategias matemáticas
Argumentación
utilizadas para dar solución a problemas.
Sociales y Ciudadanas temporales y espaciales de eventos y prácticas
sociales, la capacidad de relacionar sucesos
La prueba de Sociales y Ciudadanas evalúa los o procesos con contextos geográficos,
conocimientos y habilidades del estudiante para y el conocimiento de los principios
comprender el mundo social desde la perspectiva constitucionales y del ordenamiento político
propia de las ciencias sociales y situar esta colombiano.
comprensión como referente del ejercicio de su
rol como ciudadano. Además, evalúa la habilidad
• Interpretación y análisis de perspectivas:
del estudiante para analizar distintos eventos,
se refiere a la capacidad para pensar
argumentos, posturas, conceptos, modelos,
críticamente sobre problemáticas y fenómenos
dimensiones y contextos, así como su capacidad
sociales. Forman parte de esta competencia
de reflexionar y emitir juicios críticos sobre estos.
la capacidad de analizar una problemática
Las opiniones personales, los juicios de valor o
según las perspectivas de diferentes actores
los conocimientos de memoria no son evaluados.
sociales o colectivos involucrados en ella, y
la capacidad de valorar la pertinencia y la
Las competencias evaluadas en esta prueba
solidez de enunciados emitidos por una fuente
son: pensamiento social, interpretación y análisis
o un actor social.
de perspectivas, y pensamiento reflexivo y
sistémico. El cuadro 2 resume las competencias
y las afirmaciones de la prueba de Sociales y • Pensamiento reflexivo y sistémico: se refiere a
Ciudadanas. la capacidad de comprender la realidad desde
una perspectiva sistémica. Hacen parte de
• Pensamiento social: se refiere a la capacidad esta competencia la comprensión de modelos
del estudiante de analizar diferentes situaciones conceptuales y de sus usos en determinados
sociales usando para ello conceptos básicos contextos de aplicación, y la capacidad para
de las ciencias sociales. Hacen parte de esta identificar diferentes dimensiones presentes en
competencia: la comprensión de dimensiones una situación de interacción social.
Guía de diseño, producción, aplicación y
calificación del examen Saber 11 15Cuadro 2. Competencias y afirmaciones de la prueba de Sociales y Ciudadanas
Competencia Afirmación
• Comprende modelos conceptuales, sus
características y contextos de aplicación.
Pensamiento social
• Comprende dimensiones espaciales y temporales
de eventos, problemáticas y prácticas sociales.
• Contextualiza y evalúa usos de fuentes y
Interpretación y análisis de argumentos.
perspectivas • Comprende perspectivas de distintos actores y
grupos sociales.
• Evalúa usos sociales de las ciencias sociales.
Pensamiento reflexivo y • Comprende que los problemas y sus soluciones
sistémico involucran distintas dimensiones y reconoce
relaciones entre estas.
Ciencias Naturales • Explicación de fenómenos: se refiere a
la capacidad de construir explicaciones y
La prueba de Ciencias Naturales evalúa la comprender argumentos y modelos que den
comprensión de la ciencia como una dimensión razón de fenómenos, y de establecer la validez
universal cambiante de tipo teórico y práctico, o coherencia de una afirmación o de un
que se desarrolla continuamente, y establece argumento relacionado con un fenómeno o
diferentes relaciones con la tecnología y la problema científico.
sociedad. Evalúa tres competencias básicas:
uso comprensivo del conocimiento científico, • Indagación: se refiere a la capacidad para
explicación de fenómenos e indagación. comprender que a partir de la investigación
El cuadro 3 resume las competencias y las científica se construyen explicaciones sobre el
afirmaciones de la prueba de Ciencias Naturales. mundo natural. Involucra los procedimientos
o metodologías que se aplican para generar
más preguntas o intentar dar respuestas a
• Uso comprensivo del conocimiento científico: ellas, e incluye observar, formular, recurrir a
se refiere a la capacidad de comprender y usar fuentes de información, hacer predicciones,
nociones, conceptos y teorías de las ciencias plantear experimentos, identificar variables,
naturales en la solución de problemas, y realizar mediciones, y organizar y analizar
de establecer relaciones entre conceptos y resultados.
conocimientos adquiridos, y fenómenos que
se observan con frecuencia.
Guía de diseño, producción, aplicación y
calificación del examen Saber 11 16Cuadro 3. Competencias y afirmaciones de la prueba de Ciencias Naturales
Competencia Afirmación
Uso comprensivo Asociar fenómenos naturales con conceptos propios del conocimiento científico.
del conocimiento Identificar las características de algunos fenómenos de la naturaleza basado en el análisis
científico de información y conceptos propios del conocimiento científico.
Explicar cómo ocurren algunos fenómenos de la naturaleza basado en observaciones, en
patrones y en conceptos propios del conocimiento científico.
Modelar fenómenos de la naturaleza basado en el análisis de variables, la relación
Explicación de
entre dos o más conceptos del conocimiento científico y de la evidencia derivada de
fenómenos
investigaciones científicas.
Analizar el potencial del uso de recursos naturales o artefactos y sus efectos sobre el
entorno y la salud, así como las posibilidades de desarrollo para las comunidades.
Comprender que a partir de la investigación científica se construyen explicaciones sobre el
mundo natural.
Derivar conclusiones para algunos fenómenos de la naturaleza basándose en conocimientos
Indagación
científicos y en la evidencia de su propia investigación y de la de otros.
Observar y relacionar patrones en los datos para evaluar las predicciones.
Utilizar algunas habilidades de pensamiento y de procedimiento para evaluar predicciones.
Inglés • Parte 3: indaga por la pertinencia del
lenguaje usado en situaciones particulares
La prueba evalúa los niveles de desempeño recreadas en pequeñas conversaciones.
propuestos por el Marco Común Europeo de
• Parte 4: evalúa el conocimiento gramatical
Referencia para las Lenguas (aprendizaje,
del estudiante a partir de un texto, eligiendo
enseñanza y evaluación) del Consejo de
la palabra más adecuada para completar los
Europa. Este marco contempla seis niveles: A1, espacios vacíos de este.
A2, B1, B2, C1, C2, donde la meta propuesta
por el MEN para el año 2019 es alcanzar el • Parte 5: indaga por la comprensión de lectura
nivel B1 en la población de educación media. literal de un texto, a partir de la paráfrasis
Para lograr este propósito, la prueba abarca que permite responder correctamente a cada
siete partes, así: pregunta sobre el texto.
• Parte 6: evalúa el proceso de lectura
• Parte 1: indaga por el conocimiento
inferencial a partir de un texto, con el
pragmático del estudiante, en particular,
planteamiento de distintas preguntas sobre la
reconocer el propósito comunicativo de un
intención del autor y los aspectos generales y
aviso y el lugar donde este puede aparecer,
particulares por destacar del texto.
según ese propósito.
• Parte 7: indaga por el conocimiento
• Parte 2: evalúa el conocimiento lexical gramatical y lexical del estudiante, a partir de
del estudiante que le permita comprender la elección de las palabras más adecuadas
una serie de descripciones con el fin de para completar un texto.
relacionarlas con una lista de palabras.
Guía de diseño, producción, aplicación y
calificación del examen Saber 11 172.1.3 Construcción de ítems
Un paso fundamental en todo el proceso de de educación básica y media, estudiantes
evaluación es la elaboración de las preguntas que de posgrado, y estudiantes de último año de
conforman la prueba. Con el fin de construir un pregrado, entre otros; que dominen el área de
instrumento de calidad, la elaboración de cada interés y que cuenten con conocimientos en
uno de los ítems o preguntas implica un alto grado pedagogía, medición y evaluación. En caso de que
de conocimiento sobre los temas de evaluación, alguno de los seleccionados no tenga experiencia
la población que se va a evaluar, los estándares en la elaboración de las preguntas, se llevan a
de competencias y las especificaciones técnicas cabo sesiones de inducción y entrenamiento en
del examen (Rocha & Pardo, 2008). De esta técnicas de construcción de preguntas, con el fin
forma, las preguntas deben indagar por lo que de asegurar que todos comprenden el propósito
el evaluado es capaz de hacer con lo que sabe, de la evaluación.
partiendo de situaciones puestas en contexto que
no implican uso de conocimientos de memoria. El siguiente paso es la construcción de los ítems
que conforman el instrumento. Para el examen
El proceso de construcción de ítems inicia con la Saber 11, así como para la mayoría de las pruebas
selección y entrenamiento de los constructores masivas, usualmente se elaboran preguntas de
de preguntas (ver figura 5). Estos son expertos selección múltiple con única respuesta, gracias
de asociaciones de profesionales, asociaciones a su practicidad y confiabilidad. Una pregunta
de facultades, profesores universitarios, docentes con este formato se divide en tres partes, como
Figura 5. Proceso de construcción y validación de ítems
Selección
Construcción Revisión de
y entrenamiento
de ítems ítems
de constructores
Diagramación de
Pilotaje Banco de ítems
ítems
Armado del Revisión de
instrumento Aplicación
examen
Fuente: Icfes
6 Normalmente existen cuatro opciones de respuesta codificadas como A, B, C o D en el examen Saber 11. Sin embargo, este número varía
al interior de la prueba de Inglés.
Guía de diseño, producción, aplicación y
calificación del examen Saber 11 18se ilustra en la figura 6: contexto, enunciado y ambiguo, posiciones ideológicas o prejuicios,
opciones de respuesta. El contexto introduce al así como errores de ortografía, gramática o
evaluado en una situación dada; el enunciado, puntuación; exponer de forma clara y explícita
por su parte, expone la tarea que se va a evaluar, en el enunciado la tarea de evaluación y evitar
es decir, lo que el estudiante va a realizar, y opciones de respuesta fácilmente descartables,
puede plantearse en forma de pregunta o como entre otras. Además, deben construirse ítems
proposición; por último, las opciones de respuesta de diferentes niveles de dificultad para que la
de las cuales solo una es correcta6. prueba pueda estimar con mayor precisión la
habilidad de los evaluados.
Es fundamental que las opciones de respuesta Una vez construidos los ítems, se llevan a cabo
guarden coherencia con el enunciado planteado, fases de control y revisión sobre la pertinencia
pues, a partir de la redacción del enunciado, y calidad de cada uno de los estos a partir del
estas deben formularse como respuesta a objetivo de evaluación, el fundamento conceptual
una pregunta o como complemento a una y demás especificaciones.
proposición. Adicionalmente, estas opciones
deber ser independientes entre sí, es decir, no Posteriormente, los ítems son diagramados
estar relacionadas ni ser sinónimas. y piloteados en una primera aplicación del
examen Saber 11 para saber si se comportan
La elaboración de este tipo de preguntas adecuadamente, conforme a unos parámetros
supone una serie de consideraciones a tener en establecidos. Por tanto, los ítems piloto permiten:
cuenta. De acuerdo con Rocha & Pardo (2008), identificar en un primer momento la escala de
los constructores deben: utilizar un lenguaje calificación y reconocer las necesidades de
directo, técnico y sencillo, de forma coherente ajustes para garantizar preguntas de calidad; de
con el nivel de aprendizaje de la población lo contrario son eliminados. En la sección 2.4.1,
evaluada; evitar contenido irrelevante o se explica con mayor detalle este análisis.
Figura 6. Ejemplo de un ítem de selección múltiple
Una tienda de electrodomésticos fija el siguiente anuncio publicitario:
Televisor HD 32” Nevera 327 L Lavadora 13 kg
Contexto
$1.200.000 $1.000.000 $1.100.000
Pague sus productos hasta en 12 cuotas mensuales sin intereses.
Gustavo lee el anuncio y hace la operación 1.000.000 + 1.200.000 .
6 Enunciado
Con esta operación, él halla
A. el costo promedio de una lavadora.
B. el costo promedio de una nevera y un televisor. Opciones
C. la cuota mensual, si compra una lavadora a doce meses.
D. la cuota mensual, si compra una nevera y un televisor a seis meses.
de respuesta
Fuente: Icfes
Guía de diseño, producción, aplicación y
calificación del examen Saber 11 19Por otro lado, los ítems que sí superan la fase realizar interpretaciones acertadas sobre el
de pilotaje son almacenados en el banco de desempeño de los estudiantes. El resultado
ítems bajo estrictos estándares de seguridad y final debe ser un instrumento de evaluación con
confidencialidad; y, con los ítems que están en una estructura definida y no un agregado de
el banco se arma el instrumento. Los ítems que ítems (Icfes, 2017C), que asegure que cada ítem
conforman el instrumento final cumplen con un aporte verdaderamente a la intención evaluativa.
propósito de evaluación y por esto se llaman
ítems de medición.
2.1.4 Armado del instrumento
Previo a la aplicación del examen, el instrumento
final es sometido a la revisión de un experto, El examen diseñado en 2017 está compuesto por
denominado “ojo fresco”, quien verifica la 244 preguntas de selección múltiple con única
pertinencia académica y evaluativa entre el respuesta (véase tabla 1)7: 58 correspondientes a
examen Saber 11 y los estudiantes evaluados la prueba de Ciencias Naturales, 50 a las pruebas
(Icfes, 2017C). de Matemáticas, 50 a Sociales y Ciudadanas, 41
a Lectura Crítica y 45 a Inglés. Debido a la gran
Es importante resaltar que cada una de las fases cantidad de preguntas, es necesario que el examen
de construcción de los ítems y del instrumento se realice en una jornada de dos sesiones, cada una
pasa por un proceso exhaustivo de revisión y con una duración de cuatro horas y treinta minutos.
validación, desde un punto de vista académico La población en condición de discapacidad
y técnico de la prueba, para garantizar la cognitiva o visual presenta una prueba de igual
confiabilidad y validez del instrumento, y así duración, pero menor cantidad de ítems (177).
Tabla 1. Estructura de aplicación Examen Saber 11 - 2017
Preguntas Preguntas Preguntas/
Sesión Prueba Tiempo
medición piloto sesión
Matemáticas 1 22 3
Lectura Crítica 36 5
Primera sesión 120 4h y 30 min.
Sociales y Ciudadanas 1 22 3
Ciencias Naturales 1 26 3
Sociales y Ciudadanas 2 22 3
Matemáticas 2 22 3
Segunda sesión 124 4h y 30 min.
Ciencias Naturales 2 26 3
Inglés 45 0
Fuente: Icfes
7 La estructura del examen puede variar para la población validante, población en condición de discapacidad y la población que presenta
el examen de manera individual; entre otras razones, porque estos no responden ítems piloto.
Guía de diseño, producción, aplicación y
calificación del examen Saber 11 20Con el fin de realizar la evaluación en la jornada La figura 7 ilustra el diseño correspondiente
y en el tiempo establecido y, adicionalmente, de a la prueba de matemáticas que responden
disminuir la probabilidad de copia y de garantizar los estudiantes en el examen Saber 118.
la comparabilidad, entre otras disposiciones, Esta prueba está compuesta por 88 ítems
el armado del examen Saber 11 se realiza por de medición distribuidos en una escala de
medio de la metodología de Diseño de Bloques dificultad entre 0 y 100 puntos, con media 50.
Incompletos Balanceados (BIBs). Dado que es poco probable que los evaluados
respondan esa cantidad de preguntas en el
A partir de este diseño, el instrumento de tiempo establecido, se diseñan ocho bloques
evaluación está conformado por bloques, que de 11 ítems, cada uno guardando misma media
son conjuntos de ítems que siguen un mismo de dificultad, y en la aplicación cada evaluado
propósito de evaluación; estos son incompletos, responde únicamente cuatro de estos bloques,
en la medida que son un subconjunto del total de es decir, 44 preguntas en total.
preguntas diseñadas para medir las competencias
de los evaluados; y además, están balanceados, Finalmente, los bloques conforman formas
gracias a que cada bloque cuenta con un mismo (cuatro bloques por forma), y con las formas
número de ítems distribuidos en una misma escala se realiza el ensamblaje de los cuadernillos9.
de dificultad. Esto último es importante, ya que se Adicionalmente, en el ensamblaje también se
garantiza que todos los individuos que presentan incorporan las preguntas nuevas, es decir, los
la prueba sean exigidos con el mismo rigor pese ítems piloto. Al final del ejercicio, cada persona
a que no deban responder las mismas preguntas, que presenta el examen recibe un cuadernillo
y las inferencias que se hagan de cada uno de los que contiene una sola forma por prueba.
bloques son similares a las que se harían sobre el
total de la prueba.
Figura 7. Diseño de BIBs - Prueba de Matemáticas
Prueba N 88
bi
Bloque A nA = 11
Bloque B nB = 11
Bloque C nC = 11
Bloque H nH = 11
0 media = 50 100
Escala de dificultad
Fuente: Icfes
8 El mismo diseño aplica para las pruebas de Lectura crítica, Sociales y Ciudadanas, y Ciencias naturales.
9 Para el ensamblaje se deben cumplir dos condiciones: i) que cada bloque se encuentre el mismo número de veces en total, y ii) que las
parejas de bloques estén el mismo número de veces al interior de las formas de una prueba (Icfes, 2017A).
Guía de diseño, producción, aplicación y
calificación del examen Saber 11 212.2 Aplicación 2.2.1 Antes
Como se menciona al inicio, el examen Saber 11 La inscripción o registro es el proceso en el que
es requisito para ingresar a la educación superior los colegios reportan ante el Icfes la información
y por esto es presentado por estudiantes que se de los estudiantes que lo presentan, mediante una
encuentran cursando el grado undécimo o por plataforma web. Esta información corresponde
personas ya graduadas. a los nombres, apellidos, tipo y número de
documento de identidad, fecha de nacimiento,
La aplicación tiene lugar en una jornada dividida sexo, y la ciudad en el que presentarán el
en dos sesiones de cuatro horas y media, examen10. El proceso también incluye el
cada una. Su implementación requiere el uso registro de los bachilleres que desean presentar
de recursos humanos, físicos y tecnológicos, nuevamente el examen, en este caso presentan la
entre otros, dispuestos por el Icfes para que la prueba como individuales.
aplicación se desarrolle de manera homogénea
e imparcial para toda la población. Lo anterior se Luego de la inscripción, se genera a cada inscrito
convierte en una condición indispensable, y tiene la referencia del pago que se debe cancelar
por objeto que todos los participantes reciban las mediante los canales de pago autorizados por
mismas instrucciones, misma disponibilidad de el Icfes. Realizado el pago, se cita a todos los
espacio, mismo tiempo, mismos materiales, etc., inscritos y se indica la fecha, la hora y el lugar de
de allí que sea una prueba estandarizada. la aplicación.
La finalidad de esta fase es obtener los insumos Con la información obtenida durante el proceso
necesarios para estimar las habilidades y de inscripción, se imprime el material de manera
competencias de cada evaluado, a partir de sus personalizada con la información de cada
respuestas. Luego, la pertinencia, la confiabilidad aspirante a presentar la prueba.
y la validez de los resultados obtenidos de los
examinandos depende de la rigurosidad, la El Icfes contrata cada año una empresa
seriedad y la imparcialidad con que se implementen especializada para llevar a cabo la impresión del
cada uno de los procedimientos de aplicación. material personalizado junto con los instructivos
y demás materiales de apoyo. De igual forma,
Para comprender de manera adecuada el contrata una empresa especializada encargada
procedimiento de aplicación del examen Saber de la seguridad y el transporte del material
11, esta fase se puede dividir en tres momentos: requerido para la aplicación en todos los sitios
antes, durante y después de la aplicación. designados.
10 La información solicitada en este proceso también incluye si el estudiante presenta algún tipo de discapacidad o si se encuentra privado de
la libertad.
Guía de diseño, producción, aplicación y
calificación del examen Saber 11 22Adicional a la impresión y el transporte del material, dactilar a los examinandos que, al momento
la aplicación también requiere de un operativo de su ingreso al sitio de aplicación, presenten
logístico que debe garantizar que la prueba se un documento válido pero que no permita
realice en condiciones homogéneas para todos identificar la huella o la foto. De igual forma este
los estudiantes a lo largo y ancho del territorio proceso se adelanta cuando exista la sospecha
nacional. Esta operación, que es realizada de suplantación de examinandos. Este personal
continuamente durante todo el año, tiene como es contratado bajo las órdenes del delegado.
principal responsable al coordinador nacional
(Subdirector de Aplicación de Instrumentos) de Los delegados regionales también son los
la aplicación de la prueba (véase figura 8). A su interlocutores directos con los coordinadores
cargo están los coordinadores de nodo, que son de sitio, es decir, con el rector o la persona
los funcionarios del Icfes encargados de gestionar delegada por el sitio de aplicación para
la aplicación en cada una de los nodos o apoyar la labor del delegado, participar en el
departamentos a su cargo, contactar los sitios en control y el correcto desarrollo de la prueba, y
que se realizará la prueba –conforme al número supervisar las actividades que deben realizar los
de estudiantes que presentarán la aplicación–, coordinadores de salón –se requiere uno por
y capacitar a los delegados regionales y a los cada seis salones–.
coordinadores de municipio.
Los coordinadores de salón, por su parte, apoyan
Los delegados regionales, por su parte, son los las labores del delegado y del coordinador de sitio
funcionarios del Icfes responsables de la prueba velando por el cumplimiento de los protocolos
en el sitio de aplicación, por lo que representan para la aplicación de las pruebas, teniendo a
al Icfes en cada sitio de aplicación y deben su cargo hasta seis salones. Cada salón cuenta
conocer y garantizar el correcto procedimiento con un jefe de salón, quien es el responsable
a realizar durante cada aplicación. También del correcto desarrollo y cumplimiento de los
deben capacitar a los coordinadores y jefes de protocolos para la aplicación dentro de cada
salón con dichos procedimientos, y responder salón, y deben responder al coordinador de
por el estricto control y vigilancia del material salones o al delegado.
de examen.
Resulta importante mencionar que los
En los municipios en los que exista gran coordinadores de nodo son contratados
cantidad de sitios de aplicación, se cuenta con directamente por el Icfes, contrario a lo que
un coordinador de municipio por cada seis sitios ocurre con los delegados regionales, los
existentes, quienes realizan rutas de monitoreo coordinadores de municipio, los coordinadores
en los sitios de la aplicación que le sean de sitio, los coordinadores de salón, los jefes
asignados en el municipio, auditando la labor de salón y los auxiliares de aseo, quiénes son
de los delegados. vinculados a través del operador logístico
contratado por el Icfes.
En los sitios de aplicación se realiza el proceso
biométrico, con el fin de realizar el cotejo
Guía de diseño, producción, aplicación y
calificación del examen Saber 11 23También puede leer
