Ponencia sobre Avalúo

Simposio de Avalúo
25 de marzo de 2004

La necesidad y exigencias de mejores servicios, el financiamiento de la educación, los cambios en el  perfil de los estudiantes, la introducción de la tecnología a los procesos didácticos y los requisitos de las agencias acreditadoras, han motivado a las instituciones educativas a desarrollar estrategias de evaluación que sean continuas, sistemáticas y que demuestren resultados tangibles.

El avalúo de los procesos académicos es fundamental para determinar la efectividad de la enseñanza y del aprendizaje.  Provee a la facultad las herramientas que necesita para calibrar su metodología de enseñanza y a la vez suple las herramientas que ayudan a determinar la efectividad de los servicios que se ofrecen.

El avalúo que se propone aquí se divide en tres áreas básicas: el avalúo de los servicios que ofrece el Recinto, de los cursos y de los programas académicos. Al nivel de cursos o de programas, el avalúo permite el refinamiento ó diseño de actividades y materiales didácticos que se atemperen a la necesidad de los estudiantes. Es un proceso continuo que provee retroalimentación constante a la facultad y a los directores académicos para la toma de decisiones.

La creciente demanda para el rendimiento de cuentas “accountability” ha hecho necesaria la presentación de evidencia sobre el resultado de los procesos de aprendizaje. A tales fines, las instituciones de educación superior están rediseñando procesos dirigidos a definir y estructurar el ambiente que se estima propicio para el aprendizaje y el resultado que se espera obtener de esta experiencia.

Este esfuerzo concertado dirigido a obtener resultados del proceso de aprendizaje se ha definido de muchas maneras sin embargo, podemos aseverar que cualquiera sea la definición a la que nos suscribimos, posee al menos dos virtudes esenciales. Primero, el avalúo es dinámico y flexible ya que ofrece el margen para el desarrollo de actividades que se atemperen a la idiosincrasia de las instituciones que la implantan. Se redefine y se moldea para atender los contenidos más simples como los más complejos.  Segundo, el avalúo se vale de herramientas de las áreas de cognición, estilos de aprendizaje, psicometría, y científicas para explicar sus resultados. Podemos concluir que el avalúo es la recolección de forma sistemática de información y su análisis para mejorar el aprendizaje.

Desarrollo del Programa de Avalúo en el Recinto de Aguadilla

En 1998, el Recinto de Aguadilla comenzó su proyecto de avalúo para responder a una necesidad gerencial para una nueva administración que había estado en el Recinto un poco menos de un año. Dicho proceso tenía tres metas principales, la evaluación de los servicios que el Recinto ofrecía, la identificación de las necesidades del Recinto desde la perspectiva estudiantil y el cumplimiento parcial de los requisitos de Middle States. Como marco de referencia, el Recinto se acogió a los lineamientos generales del Plan de Avalúo Institucional fundamentado en el  Framework for Outcomes Assessment, y los lineamientos de Kaplan R.S. and Norton D.P. (1996) en su obra The Balance Scorecard: Measures that Drive Performance. La información que se produjo inicialmente sirvió de base para el avalúo de los servicios que ofrece el Recinto.

  Varios instrumentos fueron creados para estos fines, entre ellos el cuestionario sobre proceso de matrícula, los cuestionarios sobre el ambiente que se vive en el Recinto, los servicios que ofrecen las diferentes áreas de servicio del Recinto, el Centro de Acceso a la Información, los departamentos académicos y el cuestionario que se administra a los graduandos.

Dichos instrumentos fueron revisados por miembros de la facultad y por personas conocedoras del proceso de encuesta. Cada semestre, la Decana Asociada de Estudios organiza la administración de los instrumentos. El equipo de trabajo del Decanato de Estudios cuidadosamente planifica el itinerario para la administración de los instrumentos a grupos representativos de nuestro estudiantado, la facultad es notificada con antelación y varios colaboradores de nuestro Recinto administran los cuestionarios.

Los resultados son evaluados y compartidos con las personas concernidas en las diferentes áreas académicos y no académicos para las acciones correspondientes. Como resultado de este proceso, varios servicios han mejorado, por ejemplo, los procesos de matrícula, el Centro de Acceso a la Información, los departamentos académicos y la planta física.

Además, se recopila los insumos de los grupos focales como: el Consejo de Estudiantes, los clubes, las clases graduandas, y grupos de estudiantes y sus observaciones son utilizadas para el avalúo de los servicios o de los procesos y para llevar a cabo cambios que ha favorecido a nuestros estudiantes. Es importante señalar que la participación del Rector del Recinto ha sido instrumental especialmente con los grupos focales ya que regularmente se reúne con varios de estos grupos para recibir sus insumos.  

Avalúo de los cursos:

La facultad del Recinto de Aguadilla ha estado llevando a cabo el avalúo en sus clases. Continuamente evalúan aquellas estrategias de enseñanza que usan para determinar su efectividad y realizar los cambios necesarios en el currículo. Bien hecho, el proceso de avalúo en el salón de clases provee datos confiables a la facultad sobre qué, aprenden los estudiantes y cómo. Provee además, información sobre el impacto que está teniendo las actividades curriculares sobre el aprendizaje y los resultados se obtienen.

Avalúo de programas académicos

En el año 2000, la facultad de cada departamento desarrollo pruebas de Avalúo para los programas académicos. Dichas pruebas fueron diseñadas para medir el nivel de conocimiento que debe demostrar los graduandos del Recinto. Las pruebas fueron administradas en varias ocasiones y en abril de 2003 se administraron las pruebas corregidas de forma oficial.

El avalúo de programas académicos determina si los estudiantes han adquirido las destrezas, las competencias y los conocimientos asociados con su programa de estudios. Para estos fines, el avalúo de programas permite contestar tres preguntas básicas a saber: ¿Qué se está tratando de hacer? ¿Cuán bien se está haciendo? y ¿cómo puede mejorarse?

De este modo, el avalúo de programas debe ser sistemático, construido alrededor de la misión del departamento, constante, cumulativo, multifacético y pragmático. Para ser que pudiese ser efectivo, el avalúo de los programas académicos en Aguadilla incluyó lo siguiente: La misión del programa que establece su propósito y sus metas. Las metas son las estrategias que se utilizan para lograr la misión que se ha formulado. Generalmente, un departamento académico tiene su misión como unidad y cada programa bajo ese departamento define su propósito y establece unas metas bien definidas que responden a la misión del departamento.

Además, fue necesario identificar las actividades relacionadas con cada meta, identificar los métodos apropiados de Avalúo, desarrollar un plan para recolectar los datos, recolectar y analizar los datos y utilizar los resultados para mejorar los procesos.  La información que provino del avalúo que se ha realizado proveyó información que permitió a la facultad estimar el nivel de ejecución de los estudiantes y permitirle tomar decisiones acertadas con relación a los cambios necesarios para atender distintos estilos de aprendizaje.

Tradicionalmente, las teorías de aprendizaje asumían incorrectamente que una vez memorizadas las destrezas básicas y/o los prerrequisitos, el estudiante podría transformar este conocimiento en una comprensión más amplia o sea alcanzar el “insight.”. La evidencia que refleja la psicología cognitiva contemporánea establece que todo tipo de aprendizaje requiere que el aprendiz construya su aprendizaje de forma activa.

La perspectiva cognitiva contemporánea sugiere que el aprendizaje debe ser reflexivo constructivo y autorregulado. El individuo se conceptualiza no como una máquina grabadora de hechos sino como creador/a de la estructura única de su conocimiento. Para conocer algo no es solamente recibir la información sino interpretarla y relacionarla con otra información que uno posee. Por lo tanto, la presencia o ausencia de trozos de información en la mente del estudiante no es la meta primordial del avalúo sino cómo el estudiante organiza estructura y usa la información recibida para resolver situaciones complejas sea académicas o de otras índoles.

La psicología cognitiva sugiere que el aprendizaje no es lineal, procede en varias direcciones y no se manifiesta de forma uniforme sino emplea varias dimensiones cognoscitivas y metacognitivas. De manera que el avalúo que se hizo de los resultados del aprendizaje tomó en consideración los estilos de aprendizaje de los estudiantes y los métodos de enseñanza de nuestra facultad.

  Presento algunos principios que ayudaron a fortalecer nuestro programa de Avalúo. Primero, entendimos que el avalúo debía estar basado en los más altos valores educativos. El avalúo no es un fin en sí sino un vehículo para mejorar la educación. Comenzamos con la visión que tenemos sobre el tipo de aprendizaje que valoramos para nuestros estudiantes y lo que queríamos lograr. Estos valores fueron importantes al momento de iniciar nuestro proceso de Avalúo.

Segundo, entendimos que el avalúo sería más significativo si reflejase una comprensión plena del proceso de aprendizaje como uno multidimensional e integrado ya que el aprendizaje es complejo e implica no solamente lo que el estudiante sabe sino lo que puede hacer con lo que conoce. Envuelve no solamente los conocimientos y las habilidades sino los valores, las actitudes y los hábitos que impactan tanto el éxito académico como la ejecutoria fuera del salón de clases.

Tercero, entendimos que para que nuestro proceso de avalúo sea significativo y efectivo nuestros programas debían tener propósitos claros y metas bien trazadas ya que el avalúo está orientado hacia el logro de metas y expectativas académicas, aquellas que derivan de la misión del Recinto y de la institución.

Cuarto, nuestro proceso de avalúo requirió que se prestara especial atención a los resultados ‘Outcomes” pero de igual importancia a las experiencias que conducen a estos resultados. Era importante conocer no solamente los resultados del aprendizaje pero también la experiencia que están teniendo nuestros estudiantes con relación a su proceso de aprendizaje. El avalúo nos permitió determinar qué se aprendió y bajo qué circunstancias, reveló además con qué servicios nuestros estudiantes estaban insatisfechos. Con esta información, pudimos tener un mejor cuadro para mejorar nuestro proceso de enseñanza y los servicios que ofrecemos a nuestros estudiantes.

Quinto, el avalúo de programas es un proceso continuo en el Recinto de Aguadilla ya que el poder del avalúo reside en su fuerza cumulativa. Tiene mayor resultado cuando utiliza la información acumulativa y comparativa dentro de un período de tiempo razonable. Permite verificar sistemáticamente el progreso que se está logrando y las metas que se están alcanzando. A través de los resultados obtenidos pudimos hacer ajustes en algunos cursos haciendo énfasis en las áreas donde los estudiantes evidencian tener dificultad. También pudimos hacer mejoras a nuestra planta física y a los servicios que ofrecemos a nuestros estudiantes.

Sexto, el avalúo de programas académicos produce mayores resultados cuando un mayor número de participantes se une. Los departamentos académicos se organizaron en comités de trabajo para redactar objetivos, confeccionar tablas de especificaciones, redactar, revisar ítemes, administrar y corregir pruebas. Estos procesos establecieron la base para la interacción entre miembros de facultad que de otras maneras no conversaban sobre los contenidos académicos que comparten. Nuestro Recinto entiende que el aprendizaje de los estudiantes es la responsabilidad de todos en el escenario académico y el avalúo es una forma correcta de incorporar la aportación de todos en el proceso. Aunque la iniciativa de Avalúo comienza de manera limitada, debe tener como meta la participación de personas de diversas áreas de la comunidad universitaria

En el 2002, se estableció el comité de Avalúo del Recinto para aglutinar los esfuerzos que se habían realizado aisladamente. El comité tiene la responsabilidad de ayudar a cada departamento a…

• • establecer su misión.
  • definir sus metas y objetivos.
  • revisar los instrumentos disponibles y desarrollar otros para ser usado en el proceso de avalúo Revisar la metodología que se está utilizando para recolectar y evaluar los datos.
  • determinar los procedimientos a seguir para una mejor diseminación de los resultados.
  • establecer el itinerario para las actividades de avalúo cada año. 
  • revisar el plan de avalúo de acuerdo a las necesidades que se presentan.

Proceso para la implantación del Plan de “Avalúo”  de Aguadilla

Proceso de “Avalúo” en Aguadilla

Instrumentos y medios para el “Avalúo” 

Entrevistas estructurada|
Inicio, mitad y/o final del programa
Grupos focales
Pre-post pruebas (Destrezas o Conocimientos)
Prueba para medir componente afectivo
Encuestas/cuestionarios a alumnos y ex alumnos
Opinión, percepción y satisfacción
Estudios de egresados
Evaluación de los resultados de los internados
Encuestas a patronos
Estudios del progreso académico de los estudiantes
Portafolios
Pruebas estandarizados
Instrumentos

The Graduation Survey. This instrument consists of 51 questions and is administered to students during their final semester. The questionnaire is divided into five areas, which include academic programs, faculty, internship, and general educational experiences. Students are encouraged to rate their academic experiences and determine their degree of satisfaction with the services they received.

 The Academic Department Survey. The instrument was designed to evaluate how effectively the academic departments are run. The instrument consists of 37 items ranging from faculty participation and interactions to administrative processes and leadership styles. The Faculty of each department participates in the process, which is carried-out annually.

Faculty Evaluation by Students. The instrument consists of 29 items and is administered to students every semester.  Through this instrument, students express their level of satisfaction with the academic processes and experiences that were encountered in the classroom.

The Information Access Center Survey. This instrument is used to determine student satisfaction with library services. Students are asked how satisfied they are with the services they receive when they visit the Center. All major services are addressed. The questionnaire is administered every semester.

The Administration and School Government Survey. This instrument will be developed during academic year 2003-2004. It is designed to collect Campus community’s opinions on matters related to the administration of the Campus.  The questions addressed in this survey focus on the effectiveness to which Campus executives carry out their mandate and the perception that the Campus community has about the execution of those mandates.

The Academic Majors Test (AMT) This instrument reflects the basic knowledge and understanding gained in the undergraduate curriculum.  The tests are designed to assess mastery of concepts and principles as well as knowledge expected of students at the conclusion of a major subject area.

The Alumni Survey. This instrument will be developed during academic year 2003-2004.