POST Nº 701
Un principio básico del pensamiento estadístico es «correlación no implica causalidad». En una entrada anterior de esta casa, que fue bastante leída (No dejes que una buena historia te venda una mala idea), citaba un buen ejemplo del escritor Matt Ridley para explicarlo: supongamos que observas en una estación de trenes cómo cada vez que el andén se llena (evento A) viene el tren (evento B), así que concluyes que A causa B al ser dos situaciones que se dan siempre una después de la otra. Pero, como ya sabes, el tren no arriba por la acumulación de personas, sino por una causa C: hay un horario establecido que conecta a los dos eventos.
También decía que es fácil caer en la trampa de pensar que: «Si B se comporta como A, o se da después de A, la causa es A». Es más cómodo entender las cosas así, y bastante más difícil esforzarse en buscar un factor independiente, una variable omitida en el análisis de causalidad. Y, claro, si equivocas las causas de fondo, apuntando a un motivo superficial, las medidas de corrección serán fallidas. Por eso es tan importante, insisto, que cuando escuchemos historias que establezcan una relación de causa-efecto entre dos factores, nos preguntemos si pudiera haber un factor mediador, soslayado en el relato, que sea el verdadero causante. Y también, cómo no, si puede haber incentivos para esa omisión por parte del relator.
Pues bien, hoy traigo un caso real muy sugerente sobre cómo evitar este sesgo. Es doblemente interesante por la solución original adoptada y porque ayuda a desmontar un mito del que abusan algunos centros educativos de élite. Lo cuenta Seth Stephens-Davidowitz en su libro «Todo el mundo miente», citando la investigación de los economistas de las universidades de Massachusetts y Duke, Atila Abdulkadiroglu, Josua Angrist y Parag Pathak «The elite illusion: achievement effects at Boston an New York Exam Schools». Ellos querían saber si estudiar en la escuela secundaria Stuyvesant, de New York, institución élite entre las más afamadas del país en su tipo, era una causa real para que su alumnado consiguiera mejores calificaciones en la prueba SAT e ingresara en mejores universidades. Hay que tener en cuenta que cada año se presentan unos 27 mil candidatos a realizar la prueba para entrar a esa escuela, y consigue ingresar menos del 5%.
El método más simple, directo, sería comparar a todos los graduados de Stuyvesant con los de las demás escuelas, para ver cómo rindieron en los exámenes de acceso a la universidad y en cuáles entraron. Si se hiciera de esa manera, se vería que los alumnos de la famosa escuela neoyorquina consiguen resultados de acceso mucho mejores que el resto. Existe una evidente correlación entre A= estudiar en Stuyvesant, y B= acceso a mejores universidades, pero que ambos factores se comporten así no puede tomarse como prueba concluyente de que estudiar en Stuyvesant fue la causa que mejoró significativamente el éxito universitario de esos jóvenes.
En mi post anterior expliqué que para establecer con rigor relaciones de causalidad hay que realizar lo que se llama «ensayos controlados aleatorios». En estos ensayos se crean dos grupos de personas elegidas al azar que deben ser muestras equivalentes. A uno ―el grupo sujeto al análisis― se le pide que haga algo (p.ej. que vayan al gimnasio tres días a la semana) o se le interviene de alguna manera (p.ej. una medida de política pública), mientras que el otro ―el llamado «grupo de control»― no hace nada, se deja tal cual; y entonces se observa cómo responde cada grupo. Ambos deben funcionar en contextos equiparables, tener el mismo punto de partida, y solo se cambia en uno de los grupos ese factor cuyo impacto se quiere estudiar. La diferencia en los resultados refleja el efecto causal porque se ha aislado el impacto de la variable modificada.
Volviendo al ejemplo del estudio, atribuir sin más a la calidad educativa de Stuyvesant los resultados superiores en los exámenes de acceso a la universidad de los que estudiaron allí respecto de los que fueron a otros colegios es un error porque el punto de partida al comenzar la secundaria de ambos grupos era muy diferente. Ya dije que a Stuyvesant solo entra el 5% de los que hacen la prueba para ingresar, así que se trata de una muestra élite de los mejores alumnos. Entonces, ¿cómo saber cuánto de su éxito universitario se explica por el efecto educativo de Stuyvesant y cuánto por la calidad que ya tenían en el momento de entrar? O si se quiere plantear de otra manera: ¿qué notas de acceso a la universidad hubieran obtenido esos mismos alumnos si estudiaban en otros colegios?
Montar un «ensayo controlado aleatorio» con los mismos alumnos es imposible. No pueden hacer a la vez los dos caminos, ni parece posible encontrar dos colectivos idénticos que se puedan comparar. Pero sí, a los investigadores se les ocurrió un método ingenioso para encontrar dos grupos equiparables para la comparación: (1) los alumnos que consiguieron entrar con lo justo al colegio y recibieron por tanto su educación secundaria allí, y, (2) los que no entraron por poco, que obtuvieron una puntuación muy cercana a la nota de corte, y tuvieron que estudiar en otros centros educativos. Como explican los autores del estudio, hay pocas razones para sospechar que los alumnos situados en ambos lados de la línea divisoria (con notas de uno o dos puntos de diferencia) difieran mucho en su talento o motivación.
Esta categoría de «experimentos naturales», que aprovecha cortes numéricos abruptos, los economistas le llaman «regresión discontinua». Esa discontinuidad es la nota de corte, que es muy precisa, y divide a las personas en dos grupos. Trabajando con los datos de comportamiento futuro de las personas que quedaron muy cerca del límite se puede comprobar el efecto real (aislando el factor de las personas) de haber ido por un camino o por el otro.
En esta investigación usaron como medida del «éxito en el ingreso universitario» las notas del examen AP (es un programa de Estados Unidos que, mediante una prueba, les da a los estudiantes la oportunidad de inscribirse en uno o más cursos de nivel universitario mientras siguen en la escuela secundaria), las del SAT (Scholastic Aptitude Test, un examen de acceso aceptado por las universidades de USA que evalúa el nivel de preparación de los estudiantes), y las clasificaciones en los rankings de las universidades que entraron después los alumnos.
¿Y cuál fue el resultado? Pues que el efecto de estudiar en Stuyvesant fue cero, o sea, ninguno. Los alumnos de ambos lados del límite sacaron notas casi idénticas en los exámenes y accedieron a universidades de calidad parecida. Una vez más: la correlación no implica causalidad, porque la educación recibida en el afamado colegio neoyorquino no era la causa de un mejor rendimiento universitario, sino el talento y calidad previo que tenían los alumnos antes de entrar. La razón principal era que «cuenta con mejores alumnos desde el principio». Un corolario brutal de este estudio, que tiene que escocer mucho, es que: «la intensa competencia por entrar en la escuela no parece estar justificada por un mayor aprendizaje en un amplio grupo de alumnos». De ahí que el estudio lleve por título «El espejismo de la élite».
Pero todavía te preguntarás, ¿Cómo puede ser eso posible? ¿Cómo no va a importar a qué escuela vamos? Claro que importa, pero no hace falta que sea una top. «Cada vez hay más pruebas de que, si bien es importante ir a una escuela buena, se gana poco con ir a la mejor escuela posible» afirma la investigación. Este matiz es relevante: no vale con ir a una escuela mala y sí que importa que ofrezca una educación de calidad. En realidad, lo que hace el estudio es anular el «efecto fama» (que tanto gusta a las elites) porque la gran mayoría de los alumnos que se quedaron fuera por poco del límite de Stuyvesant fueron a otra escuela con menos fama pero que también ofrecía una educación de calidad.
NOTA: La imagen de la entrada es de Simedblack en Pixabay.com. Si te ha gustado el post, puedes suscribirte para recibir en tu buzón las siguientes entradas de este blog. Para eso solo tienes que introducir tu dirección de correo electrónico en el recuadro de “suscríbete a este blog” que aparece a continuación. También puedes seguirme en Twitter o visitar mi otro blog: Blog de Inteligencia Colectiva
La entrada <strong>Correlación no implica causalidad: el espejismo de la élite</strong> se publicó primero en Amalio Rey | Blog de innovación con una mirada humanista.
