Evaluación tipo PISA para ingenieros de carreteras
Evaluación tipo PISA para ingenieros de carreteras
¿Estamos evaluando lo que nuestros alumnos saben… o lo que saben hacer con lo que saben?
Durante décadas, buena parte de la evaluación en ingeniería ha seguido una lógica bastante conocida.
Se explica un procedimiento.
Se presenta una ecuación.
Se resuelven algunos ejemplos.
Y finalmente se plantea un examen en el que el alumno debe reproducir el procedimiento, sustituir valores correctamente y obtener un resultado.
Si lo hace, aprueba.
Pero vale la pena hacerse una pregunta incómoda:
¿Resolver correctamente un procedimiento demuestra realmente que una persona posee criterio ingenieril?
Un estudiante puede conocer la ecuación de Boussinesq, calcular un número estructural mediante AASHTO-93, determinar esfuerzos y deformaciones en un sistema multicapa o estimar el asentamiento de un terraplén.
Pero cuando se enfrenta a una carretera real, las preguntas son diferentes:
¿Qué información es relevante?
¿Qué modelo conviene utilizar?
¿Qué tan confiables son los datos?
¿Puedo atribuir este deterioro a esta causa?
¿Qué hipótesis alternativas existen?
¿Qué información adicional necesito?
¿Qué pasa si mi interpretación es equivocada?
¿Puedo defender mi decisión?
Ahí empieza verdaderamente la ingeniería.
Y quizá también debería empezar ahí nuestra manera de evaluar.
¿Qué tiene de interesante la lógica PISA?
PISA —el Programa para la Evaluación Internacional de los Estudiantes de la OCDE— se diseñó con una filosofía distinta de la evaluación escolar tradicional.
No pretende medir únicamente si un estudiante recuerda contenidos. Busca conocer en qué medida puede utilizar conocimientos y habilidades para enfrentar situaciones contextualizadas, interpretar información, razonar y resolver problemas.
PISA 2025, por ejemplo, mantuvo lectura, matemáticas y ciencias e incorporó marcos explícitos que relacionan conocimiento, competencias y contextos de aplicación. Sus reactivos pueden organizarse en unidades donde un mismo estímulo —un texto, una gráfica, una situación científica o información digital— da lugar a varias preguntas de distinta profundidad.
No significa que PISA sea perfecta, ni que mida toda la inteligencia de un estudiante o toda la calidad de un sistema educativo.
Pero su filosofía plantea una pregunta muy interesante para la enseñanza de la ingeniería:
¿Qué pasaría si evaluáramos menos la capacidad de recordar procedimientos y más la capacidad de utilizar conocimientos para tomar decisiones técnicas?
Una prueba tipo PISA para ingeniería de carreteras
Imaginemos una evaluación diferente.
En lugar de preguntar:
¿Qué es el IRI?
presentamos al alumno esta información:
| Segmento | IRI (m/km) | Rodera (mm) | Agrietamiento (%) | Deflexión máxima (mm) |
|---|---|---|---|---|
| A | 1.3 | 3 | 2 | 0.55 |
| B | 2.7 | 4 | 5 | 0.27 |
| C | 1.5 | 2 | 1 | 0.22 |
Y preguntamos:
Un ingeniero afirma que el segmento A está en excelentes condiciones porque tiene un IRI de apenas 1.3 m/km. ¿Hasta qué punto está justificada esa conclusión?
Ahora el alumno debe reconocer que un buen nivel de regularidad superficial no garantiza una adecuada condición estructural, porque la deflexión del segmento A es considerablemente mayor.
Ya no estamos preguntando:
“¿Sabes qué significa IRI?”
Estamos preguntando:
“¿Sabes qué puedes concluir —y qué no puedes concluir— utilizando el IRI?”
La diferencia es enorme.
De saber la fórmula a saber decidir
Podríamos representar el desarrollo del conocimiento ingenieril mediante una secuencia:
Sé → sé aplicar → sé interpretar → sé cuestionar → sé decidir → sé reconocer qué no puedo concluir
Los primeros dos niveles son necesarios.
Un ingeniero debe conocer conceptos, ecuaciones, materiales, procedimientos y métodos de diseño.
Pero son insuficientes.
Sé
Conozco qué es la deflexión.
Sé aplicar
Puedo calcular o procesar una medición de FWD.
Sé interpretar
Reconozco que una deflexión elevada puede indicar una respuesta estructural desfavorable.
Sé cuestionar
Me pregunto si la temperatura, la carga, los espesores, los materiales o las condiciones de humedad pueden estar influyendo en el resultado.
Sé decidir
Determino qué estudios adicionales necesito y qué intervención resulta razonable.
Sé reconocer qué no puedo concluir
No afirmo que la subrasante sea la culpable únicamente porque obtuve una deflexión elevada.
Este último nivel es particularmente importante.
Un buen ingeniero no sólo debe saber encontrar respuestas. También debe reconocer cuándo la información disponible todavía no permite tenerlas.
Del examen tradicional al examen de criterio
Consideremos algunos ejemplos.
Caso 1. Un pavimento que “se ve bien”
Pregunta tradicional
¿Qué es la deflexión de un pavimento?
Puede responderse memorizando una definición.
Pregunta tipo PISA
Se presentan fotografías, IRI, roderas, agrietamiento y resultados FWD.
El pavimento luce superficialmente bien, pero presenta una deflexión considerablemente mayor que otros segmentos.
Se pregunta:
¿Cuál conclusión está mejor respaldada por la información disponible?
Aquí el alumno debe integrar fuentes de información y distinguir condición funcional de respuesta estructural.
Caso 2. Accidentes y fricción
Un tramo presenta:
numerosos accidentes durante lluvia;
baja fricción;
macrotextura reducida;
velocidad de operación elevada.
Una pregunta tradicional podría ser:
¿Cuál es el coeficiente mínimo de fricción establecido por determinada especificación?
Una evaluación basada en criterio preguntaría:
¿La coincidencia entre baja fricción y alta accidentalidad permite afirmar que la fricción causó los accidentes?
La respuesta madura sería:
No necesariamente.
La evidencia hace razonable investigar esa hipótesis, pero también pueden intervenir velocidad, geometría, visibilidad, comportamiento del conductor, drenaje superficial, exposición y otros factores.
El alumno debe distinguir entre:
asociación y causalidad.
Caso 3. El terraplén que parece haberse estabilizado
Supongamos esta instrumentación:
| Tiempo | Asentamiento acumulado |
|---|---|
| 1 mes | 65 mm |
| 3 meses | 120 mm |
| 6 meses | 158 mm |
| 12 meses | 176 mm |
Una pregunta elemental sería:
¿Cuál fue el asentamiento a los 12 meses?
176 mm.
Una pregunta mucho más interesante sería:
¿Podemos afirmar que el asentamiento ha terminado?
No.
Podemos afirmar que la velocidad de asentamiento ha disminuido.
Pero para decidir si podemos construir la estructura definitiva quizá necesitemos conocer:
asentamiento residual esperado;
velocidad de deformación;
asentamientos diferenciales;
tolerancias del pavimento;
confiabilidad del modelo;
consecuencias de construir demasiado pronto.
La diferencia ya no está en hacer un cálculo más difícil.
Está en controlar el alcance de nuestra inferencia.
Caso 4. Preservar o rehabilitar
Consideremos:
| Indicador | Tramo X | Tramo Y |
|---|---|---|
| IRI | 1.6 | 3.4 |
| Rodera | 3 mm | 11 mm |
| Agrietamiento | 4 % | 28 % |
| Deflexión | baja | alta |
Podríamos preguntar:
¿Cuál tramo parece mejor candidato para preservación?
Probablemente X.
Pero para un estudiante de posgrado podríamos ir mucho más lejos:
Un modelo indica que preservar X hoy cuesta 3 millones de pesos, mientras que rehabilitarlo dentro de ocho años costaría 12 millones. ¿Es suficiente esta información para afirmar que preservar hoy es la mejor decisión?
No necesariamente.
Necesitaríamos analizar:
probabilidad de desempeño del tratamiento;
tasa de descuento;
evolución esperada del deterioro;
costos de usuario;
incertidumbre;
disponibilidad presupuestal;
consecuencias de equivocarnos.
Ahora estamos formando un ingeniero, no un operador de algoritmos.
Licenciatura y posgrado: algo más que cálculos más difíciles
Existe una tendencia a pensar que una evaluación de posgrado debe distinguirse porque tiene ecuaciones más complejas.
No necesariamente.
La diferencia puede estar en la profundidad epistemológica de la pregunta.
Supongamos exactamente los mismos resultados FWD.
Licenciatura
¿Qué segmento presenta el mayor indicio de debilidad estructural?
El alumno interpreta correctamente los datos.
Posgrado
¿Hasta qué punto permiten los resultados disponibles atribuir la elevada deflexión a una deficiencia de la subrasante?
Ahora debe reconocer que la respuesta superficial medida integra el comportamiento de todo el sistema.
Necesitará considerar:
espesores;
módulos;
temperatura;
humedad;
condiciones de carga;
variabilidad espacial;
incertidumbre del retrocálculo.
La primera pregunta mide interpretación.
La segunda mide criterio.
Eso podría caracterizar mucho mejor la diferencia entre licenciatura y posgrado que simplemente pedir más decimales o ecuaciones más largas.
¿Por qué una respuesta puede considerarse correcta?
Aquí aparece una cuestión epistemológica muy interesante.
No todas las respuestas correctas tienen la misma naturaleza.
1. Respuesta determinada
Si un vehículo recorre 300 km con determinado consumo y se pregunta cuántos litros necesita, bajo las condiciones indicadas puede existir una respuesta numéricamente determinada.
2. Respuesta mejor sustentada
Si encontramos alta humedad, drenaje deficiente y reducción estacional de capacidad estructural, quizá la explicación más consistente sea un problema relacionado con humedad.
Eso no significa que hayamos demostrado una verdad absoluta.
Significa que esa hipótesis está mejor respaldada por la evidencia disponible.
3. Decisión más defendible
En situaciones reales puede haber varias alternativas técnicamente viables.
La pregunta puede ser entonces:
¿Cuál recomendaría y cómo defendería su decisión?
Aquí la calidad de la respuesta depende de:
evidencia + supuestos + incertidumbre + riesgos + consecuencias.
4. La respuesta que espera el profesor
Esta es la que debemos tratar de eliminar.
Una respuesta no debería ser correcta simplemente porque coincide con la opinión del autor del examen.
Si dos alternativas pueden defenderse igualmente bien con la información proporcionada, probablemente el problema no esté en el alumno sino en el reactivo.
El peligro de la sobreinferencia
Existe un comportamiento intelectual que me parece especialmente importante evaluar en ingeniería:
afirmar más de lo que los datos permiten afirmar.
Podríamos llamarlo sobreinferencia.
Ocurre continuamente.
De correlación a causalidad
“Los tramos con mayor humedad presentan mayor deterioro; por tanto, la humedad causó todo el deterioro.”
Quizá.
Pero todavía debemos demostrarlo.
De medición a diagnóstico
“La deflexión es alta; por tanto, la subrasante está fallando.”
No necesariamente.
De modelo a verdad
“El programa predice 18.7 años de vida; por tanto, el pavimento durará 18.7 años.”
El modelo produce una estimación bajo determinadas hipótesis.
De tendencia a certeza futura
“La rodera creció 1 mm por año durante tres años; por tanto, crecerá exactamente 1 mm por año durante los siguientes quince.”
La extrapolación necesita justificación.
De cumplimiento a garantía
“El pavimento cumple hoy con todas las especificaciones; por tanto, cumplirá durante los próximos diez años.”
El desempeño futuro nunca queda garantizado únicamente por la condición inicial.
Un posible “índice de sobreinferencia”
¿Por qué no medir esta tendencia?
Podríamos incluir deliberadamente alternativas formuladas con palabras como:
siempre, necesariamente, demuestra, garantiza, exclusivamente, exactamente.
Y compararlas con alternativas epistemológicamente más prudentes:
sugiere, es consistente con, aumenta la probabilidad, requiere verificación, no puede descartarse.
Un alumno que repetidamente escoge las primeras podría obtener un buen resultado matemático y, sin embargo, mostrar una debilidad importante de criterio.
Podríamos construir incluso un:
Índice de Sobreinferencia Ingenieril
No mediría cuánto sabe el alumno.
Mediría hasta qué punto reconoce los límites de lo que sabe.
Puede resultar extraordinariamente revelador.
Una verdadera prueba tipo PISA de ingeniería
Una evaluación de este tipo debería organizarse en unidades integradoras.
Por ejemplo:
Unidad 1
Pavimento con buen IRI pero alta deflexión.
Unidad 2
Tramo con deterioro asociado aparentemente a drenaje.
Unidad 3
Decisión entre preservación y rehabilitación.
Unidad 4
Curva con alta accidentalidad y baja fricción.
Unidad 5
Terraplén instrumentado con asentamientos residuales.
Unidad 6
Comparación de dos alternativas estructurales.
Cada unidad podría incluir:
fotografías;
esquemas;
datos;
gráficas;
informes de laboratorio;
resultados de modelos;
opiniones contradictorias de especialistas.
Y a partir del mismo caso formular preguntas progresivas:
¿Qué observa?
¿Qué significa?
¿Qué hipótesis plantea?
¿Qué no puede concluir?
¿Qué dato adicional necesita?
¿Qué alternativa recomienda?
¿Qué riesgo asumiría si se equivoca?
La propia filosofía PISA parte de marcos conceptuales explícitos y utiliza reactivos desarrollados para evaluar competencias en contextos determinados. Además, los ítems son revisados y sometidos a pruebas de campo antes de formar parte de la evaluación definitiva.
Una adaptación seria a ingeniería debería hacer lo mismo.
No bastaría con que un profesor redactara cien buenas preguntas.
Habría que estudiar:
dificultad;
capacidad de discriminación;
funcionamiento de distractores;
ambigüedad;
consistencia;
comportamiento entre grupos de estudiantes.
Así comenzaríamos a pasar de un examen interesante a un verdadero instrumento de evaluación.
Cuatro niveles de competencia ingenieril
Podríamos finalmente clasificar el desempeño de los alumnos de una manera diferente.
| Nivel | Característica |
|---|---|
| A. Interpretación básica | Identifica información y tendencias |
| B. Aplicación competente | Utiliza conocimientos y procedimientos correctamente |
| C. Razonamiento técnico | Evalúa evidencia, hipótesis e incertidumbre |
| D. Criterio ingenieril avanzado | Integra evidencia, riesgo y consecuencias para tomar decisiones |
Pero quizá deberíamos agregar un quinto atributo transversal:
Prudencia epistemológica
La capacidad para decir:
“Con estos datos todavía no puedo afirmarlo.”
Lejos de ser una señal de ignorancia, en muchas situaciones puede ser una de las respuestas más profesionales que puede ofrecer un ingeniero.
Conclusión
La enseñanza de ingeniería necesita conocimientos sólidos.
Necesitamos alumnos que sepan mecánica de suelos, materiales, pavimentos, tránsito, drenaje, seguridad vial y conservación.
Necesitamos que sepan calcular.
Pero eso no basta.
En el ejercicio profesional rara vez encontraremos un problema perfectamente definido, con todos los datos disponibles y una única ecuación esperando ser utilizada.
Encontraremos datos incompletos.
Resultados contradictorios.
Modelos imperfectos.
Restricciones presupuestales.
Incertidumbre.
Riesgo.
Y varias alternativas aparentemente razonables.
El verdadero desafío de la formación universitaria es preparar al alumno para desenvolverse en ese escenario.
Por eso una evaluación tipo PISA para ingenieros de carreteras podría ser mucho más que una curiosidad académica.
Podría obligarnos a preguntarnos qué entendemos realmente por formar un buen ingeniero.
Quizá deberíamos evaluar menos:
“¿Conoce el método?”
y mucho más:
“¿Sabe cuándo utilizarlo, qué significa el resultado, cuáles son sus limitaciones y qué decisión puede defender con él?”
Para discutir
¿Cuántos de nuestros exámenes actuales evalúan realmente criterio y cuántos evalúan reproducción de procedimientos?
¿Un estudiante que obtiene el resultado numérico correcto, pero interpreta incorrectamente su significado, debería recibir una calificación alta?
¿Deberíamos considerar como competencia explícita la capacidad de reconocer cuándo la evidencia es insuficiente?
¿Podría medirse sistemáticamente la tendencia de un estudiante a sobreinferir a partir de datos técnicos?
¿Estamos preparando estudiantes para resolver ejercicios o para tomar decisiones de ingeniería?
Una idea final
El criterio ingenieril comienza donde termina la certeza del procedimiento.
Porque ser ingeniero no consiste únicamente en saber calcular una respuesta.
Consiste en saber qué significa, cuánto confiar en ella y qué estamos dispuestos a decidir a partir de ella.
Comments
Post a Comment