{"id":116948,"date":"2023-03-10T09:08:45","date_gmt":"2023-03-10T09:08:45","guid":{"rendered":"http:\/\/fundaciobofill.mortensen.cat\/entrevista-caterina-calsamiglia-evaluacion-programas-educativos\/"},"modified":"2025-03-29T18:49:41","modified_gmt":"2025-03-29T18:49:41","slug":"entrevista-caterina-calsamiglia-evaluacion-programas-educativos","status":"publish","type":"post","link":"https:\/\/www.equitat.org\/es\/blog\/entrevista-caterina-calsamiglia-evaluacion-programas-educativos","title":{"rendered":"\u00abLa evaluaci\u00f3n de programas educativos es clave para saber su impacto y garantizar unas buenas pr\u00e1cticas educativas\u00bb"},"content":{"rendered":"

ENTREVISTA<\/strong><\/p>\n

<\/p>\n

La investigaci\u00f3n es un proceso de creaci\u00f3n de hip\u00f3tesis y verificaci\u00f3n objetiva<\/strong> a trav\u00e9s del dise\u00f1o de una intervenci\u00f3n y la recogida y an\u00e1lisis de datos. La evidencia generada permite contrastar las hip\u00f3tesis<\/strong>, revisarlas e incorporarlas al dise\u00f1o de las pol\u00edticas educativas.<\/p>\n

<\/p>\n

El objetivo no solo es entender qu\u00e9 impacto tiene un programa sobre los ni\u00f1os y adolescentes<\/strong> que participan, sino tambi\u00e9n entender el grupo clase. Con la evaluaci\u00f3n, podemos aprender con rigor cu\u00e1l ha sido el impacto de una medida o pol\u00edtica educativa. Capturar todo lo que est\u00e1 pasando, poder documentarlo y evaluar sus virtudes y limitaciones para poder hacerlo mejor. Y, adem\u00e1s, comunicarlo en todo el mundo para contribuir a difundir qu\u00e9 se puede hacer para reducir las desigualdades educativas<\/strong>.<\/p>\n

<\/p>\n

Todo esto es lo que queremos conseguir con Refuerzo Educativo<\/a>, el proyecto de evaluaci\u00f3n de impacto de la Fundaci\u00f3 Bofill. Hablamos con Caterina Calsamiglia<\/strong>, directora de la evaluaci\u00f3n de Refuerzo Educativo, investigadora ICREA en el Institute of Political Economy and Governance.<\/p>\n

<\/p>\n

\u00bfPor qu\u00e9 la investigaci\u00f3n educativa es tan importante para contrastar modelos de \u00e9xito?<\/strong><\/p>\n

<\/p>\n

La investigaci\u00f3n educativa<\/strong> generalmente hace hip\u00f3tesis del tipo \u00abque el profesorado que hace A mejora la capacidad de los chicos y chicas de hacer B\u00bb. Por ejemplo, \u00abdar apoyo individualizado sistem\u00e1tico a los estudiantes permite incrementar las competencias matem\u00e1ticas y lectoras de todo el grupo clase\u00bb. \u00bfC\u00f3mo verificar esta hip\u00f3tesis? Necesitamos comparar grupos de estudiantes que son muy parecidos y solo se diferencian en que las docentes han realizado este tratamiento individualizado. Despu\u00e9s es necesario verificar si las competencias de un grupo son, en general, superiores al otro al final de curso. Para poder atribuir la diferencia es necesario que tanto los grupos de estudiantes como docentes sean muy similares. El m\u00e9todo preferido para garantizar que lo sean es el de la aleatorizaci\u00f3n controlada<\/strong>. Es decir, que las docentes que realicen A sean aleatoriamente escogidas (al azar) de entre el grupo de personas disponibles.<\/p>\n

<\/p>\n

\u00abRefuerzo Educativo busca la protecci\u00f3n educativa en la infancia y la adolescencia en riesgo de exclusi\u00f3n social con intervenciones de m\u00e1ximo impacto\u00bb<\/strong><\/p><\/blockquote>\n

<\/p>\n

Pero existe toda una parte de la investigaci\u00f3n que aprovecha eventos que parecen casi aleatorios que generan que dos grupos similares hayan tenido intervenciones diferentes. Por ejemplo, haber nacido el 31 de diciembre o el 1 de enero puede cambiarte si haces la ESO o la EGB o si ser\u00e1s el m\u00e1s peque\u00f1o o el mayor de la clase. Sacar un 8,199 o un 8,2 puede hacer que entres en una carrera, en una universidad u otra, aunque las personas que han sacado una nota u otra podr\u00edan argumentar que son muy similares. El estudio de las diferencias entre estos dos grupos que seguir\u00e1n caminos distintos por una diferencia muy poco relevante, puede ayudarnos a entender el impacto de ciertas intervenciones. Pero encontrar casi-experimentos (menos rigurosos), y respuestas, para todas las preguntas que nos hacemos y son relevantes, es casi imposible.<\/p>\n

<\/p>\n

En Catalu\u00f1a y en buena parte de Europa hemos tenido que realizar casi toda la investigaci\u00f3n educativa utilizando estos casi-experimentos porque hacer experimentos controlados aleatorizados no hab\u00eda sido posible. \u00a1Este a\u00f1o, a trav\u00e9s de esta financiaci\u00f3n, tenemos la oportunidad y responsabilidad de hacerlo y hacerlo bien! \u00a1Y para lograrlo necesitamos la colaboraci\u00f3n de todos!<\/p>\n

<\/p>\n

\u00bfPor qu\u00e9 es tan importante que los programas est\u00e9n basados en datos?<\/strong><\/p>\n

<\/p>\n

Hay dos aspectos que realizan la investigaci\u00f3n con personas particularmente complicadas. La primera es precisamente que tratas a dos grupos iguales de forma distinta, y esto no siempre es f\u00e1cil de aceptar. Y el otro es que debes poder hacer seguimiento de ambos grupos, y a la gente, de entrada, no le gusta ceder datos. Pero ambas condiciones, un tratamiento diferenciado y el acceso a datos, son fundamentales para poder identificar el impacto de una determinada pol\u00edtica.<\/p>\n

<\/p>\n

\u201c\u00a1Sin los datos no podemos validar los programas y no podremos tener el impacto positivo que buscamos para ni\u00f1os y j\u00f3venes vulnerables!\u201d<\/strong><\/p><\/blockquote>\n

<\/p>\n

La gesti\u00f3n de los datos para la investigaci\u00f3n es mucho m\u00e1s segura y controlada que la realizada en el mundo de la empresa. Las instituciones de investigaci\u00f3n legitimadas por la UE deben cumplir unos procesos, comprometerse y ofrecer unas garant\u00edas de uso estricto para las preguntas de investigaci\u00f3n que se han solicitado; estas condiciones dan mucha seguridad a los individuos. Comit\u00e9s \u00e9ticos y delegados de protecci\u00f3n de datos revisan cada uno de estos procesos. Por tanto, en el contexto de la investigaci\u00f3n es donde debemos sentirnos m\u00e1s protegidos a la hora de ceder el acceso a los datos. Por eso desde el proyecto de Refuerzo Educativo<\/a> pedimos la colaboraci\u00f3n para facilitar este acceso haciendo todas las preguntas que hagan falta y haciendo confianza a las instituciones e investigadores. \u00a1Sin los datos no podemos validar los programas y no podremos tener el impacto positivo que buscamos para ni\u00f1os y j\u00f3venes vulnerables!<\/p>\n

<\/p>\n

\u00bfQu\u00e9 elementos han sido clave a la hora de definir la metodolog\u00eda en Refuerzo Educativo? \u00bfEncontramos diferencias entre los programas?<\/strong><\/p>\n

<\/p>\n

El criterio m\u00e1s importante era que fuesen programas que pudieran tener un alto impacto en la reducci\u00f3n de las desigualdades educativas. Por otra parte, era necesario detallar bien los programas, que se pudieran implementar en un per\u00edodo muy ajustado de tiempo y que f\u00e1cilmente se pudieran delimitar los grupos tratados (los que participan en el programa) y de control (los que sirven para ver qu\u00e9 pasa si no haces el programa). Y, sobre todo, que pudiera hacerse seguimiento a trav\u00e9s de datos que capturan el impacto de la intervenci\u00f3n. Los programas de refuerzo educativo individualizado han sido clave en la recuperaci\u00f3n poscovid para reducir el gap de aprendizaje en todo el mundo. El desarrollo de habilidades sociales y personales es un reto pendiente en el sector educativo desde hace a\u00f1os.<\/p>\n

<\/p>\n

Los programas de apoyo educativo individualizado han sido clave en la recuperaci\u00f3n poscovid para reducir el gap de aprendizaje<\/strong><\/p><\/blockquote>\n

<\/p>\n

En cuanto a las diferencias entre los tres programas, PENTABILITIES<\/a> es el resultado de un proyecto de investigaci\u00f3n europeo (ERC) desarrollado entre 2015 y 2022 y que, por primera vez, se validar\u00e1 con un experimento aleatorio controlado a gran escala. LECXIT<\/a>, en cambio, es un programa impulsado desde hace m\u00e1s de 10 a\u00f1os por la Fundaci\u00f3 Bofill, y MATH TUTORING<\/a> es un nuevo programa construido sobre prospectiva internacional a partir de modelos de refuerzo educativo de alto impacto basados en la evidencia.<\/p>\n

<\/p>\n

\u00bfC\u00f3mo se ha dise\u00f1ado la evaluaci\u00f3n para que todos los centros educativos reciban alguna intervenci\u00f3n y tengan acceso a uno de los tres programas?<\/strong><\/p>\n

<\/p>\n

En el caso de los centros educativos<\/a> de primaria, se ha construido pidiendo a los centros que se presenten voluntarios para implementar o bien LECXIT<\/a> en 4\u00ba o bien MATH TUTORING en 6\u00ba. Una vez que todos los candidatos se han presentado y preseleccionado, se ha definido aleatoriamente dos grupos de escuelas: unos que hacen MATH TUTORING y otros LECXIT.<\/p>\n

<\/p>\n

Los grupos de 4\u00ba de las escuelas que realizan MATH TUTORING<\/a> (que no reciben intervenci\u00f3n) sirven de control de los de 4\u00ba que hacen LECXIT. Y los de 6\u00ba de las escuelas que hacen LECXIT (que tampoco reciben intervenci\u00f3n) sirven de control de los de 6\u00ba que realizan MATH TUTORING.<\/p>\n

<\/p>\n

De esta forma todas las escuelas, hacen alguno de los programas, pero tenemos grupos tratados y control para los diferentes cursos. Siguiendo el progreso en comprensi\u00f3n lectora de los de 4\u00ba y de matem\u00e1ticas de 6\u00ba de los dos grupos de escuelas podremos comparar los resultados de los que aleatoriamente han realizado MATH TUTORING o LECXIT.<\/p>\n

<\/p>\n

Siguiendo el progreso en comprensi\u00f3n lectora de los de 4\u00ba y de matem\u00e1ticas de 6\u00ba de los dos grupos de escuelas podremos comparar los resultados de los que aleatoriamente han realizado MATH TUTORING o LECXIT.<\/strong><\/p><\/blockquote>\n

<\/p>\n

Para PENTABILITIES<\/a>, en cambio, hemos seguido un procedimiento similar, pero pidiendo a los centros de secundaria que se presenten para implementar PENTABILITIES en dos cursos diferentes de la ESO y escogiendo aleatoriamente en qu\u00e9 curso se hace. Esta aleatorizaci\u00f3n y seguimiento de grupos similares, pero que reciben intervenciones diferentes, es lo que nos permitir\u00e1 evaluar el impacto de nuestras propuestas. La colaboraci\u00f3n de las familias a la hora de consentir el acceso a los datos es fundamental, tanto de los grupos que reciben la intervenci\u00f3n como de los que no, para as\u00ed entender qu\u00e9 diferencias generan las intervenciones.<\/p>\n

<\/p>\n

\u00bfC\u00f3mo ser\u00e1 el an\u00e1lisis de los resultados y qu\u00e9 nos mostrar\u00e1n?<\/strong><\/p>\n

<\/p>\n

En todos los casos llevaremos a cabo una evaluaci\u00f3n a corto plazo<\/strong>, captando qu\u00e9 ha ocurrido durante el a\u00f1o de implementaci\u00f3n, pero despu\u00e9s haremos un seguimiento<\/strong> de ambos grupos a trav\u00e9s de datos administrativos para ver c\u00f3mo estos impactos a corto plazo afectan a los recorridos educativos de los dos grupos en los pr\u00f3ximos a\u00f1os<\/strong>.<\/p>\n

<\/p>\n

Entonces, en MATH TUTORING y LECXIT evaluaremos el impacto de la intervenci\u00f3n sobre el grupo receptor de cada programa, pero tambi\u00e9n el impacto en el grupo clase<\/strong>, ya que desbloquear el aprendizaje de unos pocos puede facilitar la capacidad de relacionarse y aprender en clase. El an\u00e1lisis se realizar\u00e1 comparando las competencias lectoras y matem\u00e1ticas de los grupos tratados y de control. Unos cuestionarios facilitar\u00e1n la recogida de datos sobre c\u00f3mo cambia el ambiente y las relaciones en el aula. A largo plazo veremos c\u00f3mo la mejora en estos aspectos afecta a la adhesi\u00f3n y v\u00ednculo con el sistema educativo<\/strong> a lo largo de la secundaria y la educaci\u00f3n obligatoria.<\/p>\n

<\/p>\n

En el caso de PENTABILITIES <\/strong>habr\u00e1 mucha observaci\u00f3n en el aula para ver si los aprendizajes se manifiestan en la forma de interaccionar y trabajar en espacios de aprendizaje activo<\/strong>. Asimismo, tambi\u00e9n veremos si la mejora en estos comportamientos se refleja en un v\u00ednculo y adhesi\u00f3n al sistema educativo y laboral, as\u00ed como en una menor incidencia de factores de riesgo.<\/p>\n

<\/p>\n

\u00bfQui\u00e9nes han sido los referentes para dar forma a todo este sistema de evaluaci\u00f3n?<\/strong><\/p>\n

<\/p>\n

En el mundo de la medicina y las ciencias experimentales por lo general la regla de oro es la experimentaci\u00f3n aleatoria controlada. Pero en el mundo de las ciencias sociales observamos los primeros experimentos en los a\u00f1os sesenta en EEUU con Perry School Project o Project STAR, que son de los primeros experimentos realizados y de los que todav\u00eda hoy se analizan sus consecuencias a largo plazo.<\/p>\n

<\/p>\n

Ester Duflo y Abhijit Banerjee del MIT, Premio Nobel de Econom\u00eda en 2019, han sido unos de los principales promotores de la utilizaci\u00f3n de experimentos aleatorizados en la investigaci\u00f3n que informa a las pol\u00edticas p\u00fablicas de forma m\u00e1s generalizada. Su expansi\u00f3n en los \u00faltimos veinte a\u00f1os ha sido enorme. En 2003 crearon J-PAL<\/a> (Abdul Latif Jameel Poverty Action Lab), para promover este tipo de investigaci\u00f3n en pa\u00edses en v\u00edas de desarrollo. Hoy tienen representaci\u00f3n en todo el mundo, donde promueven y asesoran a este tipo de investigaci\u00f3n. J-PAL, y en concreto Abhijit Banerjee han asesorado al Ministerio de Inclusi\u00f3n, Seguridad Social y Migraciones al iniciar esta iniciativa pionera en Espa\u00f1a y en Europa.<\/p>\n

<\/p>\n

Finalizado el proyecto y el per\u00edodo de evaluaci\u00f3n, \u00bfqu\u00e9 pasar\u00e1? \u00bfPara qu\u00e9 servir\u00e1n los resultados?<\/strong><\/p>\n

<\/p>\n

Cuando tengamos los resultados, los compartiremos con las escuelas, familias, administraciones, investigadores e instituciones nacionales e internacionales que est\u00e9n interesados. El impacto ser\u00e1 muy grande, ya que realizar un experimento de esta magnitud en Europa es muy excepcional<\/strong>.<\/p>\n

<\/p>\n

Los datos confirmar\u00e1n algunos aspectos que la intuici\u00f3n nos indica, pero seguro que nos a\u00f1adir\u00e1n nuevos conocimientos, matices, que ser\u00e1n fundamentales para pensar si, c\u00f3mo y cu\u00e1ndo se extienden las propuestas que, seg\u00fan los datos, son m\u00e1s prometedoras. Pero sobre todo esperamos que estos programas nos ilustren las virtudes y dificultades de poder investigar en nuestro pa\u00eds, informando nuestras propias pol\u00edticas, las del resto del mundo y atrayendo a personal investigador potente a investigar sobre las preguntas que nos preocupan<\/strong>. Porque un hecho nada menor es que a trav\u00e9s de estos programas hemos atra\u00eddo al mejor talento nacional e internacional a trabajar en nuestro contexto.<\/p>\n

<\/p>\n

Un hecho nada menor es que a trav\u00e9s de estos programas hemos atra\u00eddo al mejor talento nacional e internacional a trabajar en nuestro contexto.<\/strong><\/p><\/blockquote>\n

<\/p>\n

Si somos capaces de facilitar los procesos y el acceso a los datos, nos encontraremos con que las preguntas de investigaci\u00f3n internacional que se quieren resolver son las nuestras, las que necesitamos para hacer desarrollar nuestra pol\u00edtica educativa. As\u00ed pues, esperamos que \u00e9ste sea el inicio de un camino sin retorno<\/strong> que nos permitir\u00e1 seguir atrayendo fondos europeos y talento nacional e internacional para hacer de Catalu\u00f1a un territorio potente en pol\u00edtica e investigaci\u00f3n educativa<\/strong>.<\/p>\n

<\/p>\n


<\/strong><\/p>\n

<\/p>\n

<\/strong><\/p>\n

<\/p>\n

\u00bfQuieres saber m\u00e1s?<\/strong><\/h3>\n

<\/p>\n