REPORTE DE INVESTIGACION

REPORTE FINAL DE LA INVESTIGACIÓN:

CARACTERISTICAS Y ESTRUCTURA DE UN EXAMEN EN LINEA PARA LOS ALUMNOS DE LENGUA EXTRANJERA DE LA BUAP

RESUMEN
La presente investigación surge como respuesta a la necesidad de evaluar a los alumnos de los cursos de lengua extranjera inglés de semiescolarizado de la Buap. La institución no cuenta con un examen que los tutores puedan aplicar como parte del proceso de evaluación y en el que se evalúe el aprendizaje significativo de los alumnos y que de igual manera permita estandarizar los criterios de evaluación. Partiendo de la definición de un curso en línea y de lo que implica que éste sea de calidad, se pretende diseñar un examen en línea que cumpla con las características de la educación a distancia: el constructivismo. Para esto se realizó una serie de observaciones a la plataforma y de los exámenes aplicados por el tutor de manera presencial, así como entrevistas y una encuesta a alumnos y tutores involucrados. Los resultados nos muestran los pros y los contras de un examen de este tipo así como las características y estructura que debe tener el examen en caso de ser implementado.

INTRODUCCIÓN

Justificación y planteamiento del problema.

El problema educativo a abordar está relacionado con el sistema semiescolarizado de la Buap. Este se da al momento que el tutor tiene que evaluar en los cursos de Lengua Extranjera. La plataforma desde la cual se imparten los cursos, además del contenido temático e interacciones entre tutor y alumno, contiene una serie de self-assesments o autoevaluaciones que le permiten al alumno saber su nivel de aprendizaje. Sin embargo dentro del diseño del programa en la plataforma no hay algún tipo de examen que permita a los tutores evaluar el conocimiento que van adquiriendo a lo largo del curso. Por lo tanto cada tutor evalúa a sus alumnos utilizando sus propios criterios y en algunos casos se pueden utilizar los exámenes que son aplicados en cursos de modalidad escolarizada ya que ambos tipos de cursos pretenden estar basados en el mismo programa académico. El problema de estos exámenes radica en que son entregados en fechas determinadas y acorde al calendario de la modalidad escolarizada, las cuales muchas veces no coinciden con el sistema semiescolarizado, así que prácticamente el tutor no cuenta con ellas. Es por eso que considero necesario el poder investigar cómo realizar algún tipo de prueba on-line que permita evaluar a los alumnos de esta modalidad.

El marco contextual en el que se da esta problemática es en el de la Benemérita Universidad Autónoma de Puebla, específicamente con los alumnos de la modalidad semiescolarizada que son conformados por cinco carreras: contaduría, psicología, comunicación, derecho y administración. En cuanto al tiempo que se lleva trabajando en esta modalidad en la Buap, es poco ya que aún no están por salir las primeras generaciones y por lo tanto se puede decir que es un sistema prácticamente nuevo. Por otro lado los tutores/facilitadores juegan un papel muy importante, así como la plataforma con la cual ellos trabajan. Para el manejo de esta plataforma antes de empezar a trabajar en esta modalidad, los tutores reciben una serie de cursos de capacitación para el óptimo uso de la plataforma; igualmente los alumnos al entrar a esta modalidad reciben cursos que les ayudan a entender mejor el sistema semiescolarizado así como el manejo de la plataforma.

Pregunta inicial.

Para poder abordar este problema al cual me enfrento cada vez que imparto un curso de esta naturaleza, planteé una pregunta inicial, que al principio diseñé varias y al final la que más me convenció fue:
¿Qué características y estructura debe tener un examen en línea que sea idóneo para el curso de lengua extranjera I del sistema semiescolarizado de la Buap?

Marco teórico y conocimiento del problema.

Partiendo de este marco contextual y con base a la pregunta inicial busqué algunas lecturas sobre lo que es la educación a distancia, la calidad de este tipo de educación, el diseño de cursos en línea, y sobre las características que deben tener para ser de calidad y eficientes con el objetivo de elaborar mi marco teórico. Además para el problema que me interesa busque información relacionada a los exámenes en línea. De acuerdo a Padilla, I. (2005) la calidad de un programa de educación a distancia está determinada por los elementos que lo constituyen como la facultad, los estudiantes, los materiales didácticos (recursos de aprendizaje), los medios tecnológicos, los servicios de apoyo, y la evaluación (que debe ser sumativa y formativa). Aquí se puede ver que son varios los factores que intervienen. Ahora bien, si se está hablando de calidad en la educación a distancia, también hay que mencionar la evaluación de los cursos virtuales. De acuerdo a Santoveña, S.(2005) los cursos virtuales deben tener ciertos criterios básicos y específicos que cumplir para ser de calidad. Estos criterios se aplican en el proceso de virtualización en el que se siguen ciertos pasos; seguido de criterios a cumplir para la calidad metodológica y el diseño instruccional, donde básicamente el constructivismo es la base del aprendizaje y la adquisición del conocimiento y donde el método de enseñanza debe ser flexible. Y bueno, la calidad del curso de acuerdo a esta autora se evalúa en tres dimensiones que son la calidad general del entorno, la calidad didáctica y metodológica y la calidad técnica.

Una vez entendido que la educación a distancia y los cursos virtuales deben tener ciertos criterios de calidad, es muy importante tomar en cuenta el proceso de evaluación en los cursos a distancia. La evaluación en el aprendizaje a distancia nos lleva a pensar en cómo realizarlo de una manera significativa tanto para el facilitador como para el estudiante. En este aspecto Padilla, I (2005) sostiene que: “La experiencia adquirida en la enseñanza presencial es una herramienta importante al momento de evaluar la enseñanza a distancia, ya que la mayoría de las técnicas, estrategias y criterios de evaluación aplican a ambas por igual”, aunque la autora menciona a Long (2002) quien sostiene que el tipo de evaluación a ser utilizado en la educación a distancia debe ser seleccionado cuidadosamente de forma que se garantice, de alguna manera, la completa autoría del estudiante en todos sus trabajos. Por el contrario Dorrego, E. (2005) dice que la evaluación en línea debe desarrollarse tomando en cuenta las características de los aprendizajes derivadas de sus fundamentos: constructivista, basado en recursos, colaborativo, basado en problemas, entre otras. De acuerdo a lo anterior, la evaluación debe ser no sólo sumativa, sino formativa y continua, y en este caso el maestro debe renunciar al control y dejar que el estudiante se responsabilice más de su aprendizaje y evaluación.

Hasta ahora se ha hablado del proceso de evaluación y este incluye un todo, es decir diversas actividades entre las que los exámenes son una parte del proceso. Y respecto a los exámenes hay ciertas puntos a tomar en cuenta para escribir un examen en línea eficaz de acuerdo a Fine, D. (2006), entre los más importantes están el que se elaboren preguntas interesantes, que se planee como se evaluará la información, el utilizar un lenguaje simple, hacer una pregunta a la vez y con una secuencia lógica, evitar negativas dobles, conceptos difíciles y preguntas específicas de memoria, si se utilizan escalas, utilizar escalas comparables, ponerle un nombre al examen y escribir una breve introducción para dar un marco de referencia.

Con respecto a los exámenes en línea pueden tener ventajas como que el calificarlos sea más rápido y por tanto se entreguen calificaciones en un tiempo breve, y el que los alumnos se sientan menos presionados en este caso por la presencia del profesor. Entre las desventajas pueden ser que los alumnos no cuenten con el apoyo del profesor a la hora de resolver el examen y que los alumnos puedan recurrir al hecho de que alguien más resuelva por ellos el examen. En cuanto a cómo diseñarlo las preguntas de opción múltiple podrían ser la mejor opción, pues las preguntas abiertas son un poco más difíciles de responder para los alumnos y también muchas veces no responden lo que el evaluador espera.

En el caso de mi investigación, es importante tener claro la calidad de los cursos en línea, de la plataforma y la capacitación de los tutores en este sistema. Luego para elaborar un examen ya sea en línea o presencial, es preciso contemplarlo como parte del proceso de evaluación y tomar en cuenta la teoría constructivista en la que está basada el aprendizaje a distancia; así que habrá que tomar en cuenta las actividades virtuales, el trabajo colaborativo y entonces el examen será un aspecto más a evaluar. En cuanto a cómo diseñar el examen, se tomarán en cuenta características mencionadas por Fine (2006) que en parte coincide con algunos de los requisitos mencionados en http://www.unl.edu./buros donde se evalúan diversos exámenes en línea. También habrá que tomar en cuenta el evaluar las habilidades del idioma como son listening, writing, grammar y reading.

Los conceptos clave en este proceso de investigación son: educación a distancia que se entiende por el proceso de aprendizaje que se realiza a través de medios como el internet y al que se puede tener acceso desde cualquier lugar. Evaluación es otro concepto clave y consiste en saber qué tanto se han logrado los objetivos establecidos en un curso; y por último tenemos examen que es una parte del proceso de evaluación y que puede ser sumativa y/o formativa.

Asentando toda esta información para diseñar un examen en línea que sea idóneo para el curso de lengua extranjera I de los alumnos de semiescolarizado de la Buap, es necesario conocer los parámetros que hacen de una educación a distancia y de un curso virtual algo de calidad y eficaz tanto para los alumnos como para el profesor. Al conocer esos parámetros, tenemos los objetivos del curso, la estructura y por tanto basado en ellos es como se puede diseñar el examen siguiendo también algunas de las recomendaciones mencionadas más arriba, y que son compartidas y/o apoyadas por alumnos y maestros. Lo importante es que haya una relación entre los objetivos del curso y los del examen y así el alumno tenga un aprendizaje realmente significativo. Para diseñar el examen dentro de la plataforma de la Buap hay un programa que puede servir para diseñar el examen y junto con la ayuda de expertos en el área de sistemas, será posible realizarlo.

Derivación de hipótesis y variables

Para efecto de mi investigación me basé en las siguientes hipótesis
1. La aplicación de un examen en línea permite evaluar el aprendizaje significativo de los alumnos de semiescolarizado de la BUAP.
2. La aplicación de un examen de lengua extranjera en línea a los alumnos de semiescolarizado de la buap, facilita al tutor el proceso de evaluación.
3. Un examen en línea de inglés permite al tutor evaluar el aprendizaje significativo de los alumnos de semiescolarizado de la Buap.
4. Un examen de lengua extranjera en línea para los alumnos de semiescolarizado de la Buap estandariza los criterios de evaluación sobre el aprendizaje significativo de los tutores
5. La aplicación de un examen en línea de lengua extranjera inglés ayuda al tutor a evaluar y calificar a los alumnos de una manera más rápida que al aplicar un examen presencial.

Las hipótesis mencionadas arriba cubren los objetivos de mi investigación y las variables que pude encontrar y que definiré son:

Examen en línea. Un examen es una técnica que permite evaluar a los alumnos, y los hay de diversos tipos de acuerdo a los objetivos del que los diseña y/aplica. Por ejemplo hay exámenes orales, escritos, de opción múltiple, en línea, etc. En cuanto a los exámenes en línea es conveniente seguir ciertos criterios que ayudan a que éstos sean entendibles para los alumnos y que permitan que el objetivo inicial se cumpla. Así que en esta investigación los exámenes deberán seguir ciertos criterios y dar a conocer al alumno los objetivos del examen.

Proceso de evaluación. La evaluación puede ser en 2 direcciones: sumativa y evaluativa. También la evaluación implica un todo, es decir toma en cuenta varios aspectos y entre ellos el examen tiene una parte importante. Considerando al examen en línea como parte de la evaluación debe tenerse en cuenta que debe aportar una calificación sumativa, pero también debe considerar la evaluación del conocimiento adquirido.

Dando una definición operacional, cada parte del examen debe tener asignado un puntaje, por pregunta y por sección. Además las preguntas deben tener una relación con los temas vistos en la plataforma.

Aprendizaje significativo. Aprender implica todo un proceso en el estudiante, y muy especialmente en el estudiante a distancia, pues se necesitan desarrollar ciertas habilidades para lograrlo. En el contexto de mi estudio, el aprendizaje significativo necesita ser evaluado a través de un examen en línea, y por lo tanto los objetivos y las instrucciones deben ser lo suficientemente claras para que el alumno de las respuestas correctas y esperadas.
Para medir este punto, al principio del examen, se redactan los objetivos y se explica claramente lo que se tiene que hacer. Además el examen debe estar basado en los objetivos del curso, por lo tanto el alumno está familiarizado con los temas.

Estandarizar criterios de evaluación. Para evaluar, los tutores manejan ciertos criterios como puntualidad en la entrega de trabajos, la calidad de ellos, entre otros. En el caso del examen en línea, los criterios de evaluación se enfocan en el mero conocimiento y comprensión de los temas del alumno y no en opiniones personales.
Para medir este punto, los maestros que impartan el curso de inglés, deben darle un mismo valor al examen en línea, además de tomar en cuenta otras actividades de la plataforma.

Calificar de una manera más rápida. La calificación es parte del proceso de evaluación; casi siempre hay que otorgar un número a los trabajos realizados por el alumno. En el caso del examen en línea se puede dar este número de una manera más rápida mediante programas diseñados para ello.
En este punto hay que medir si es posible calificar el examen en línea de una manera más rápida a través de esos programas, que si se hiciera un examen presencial en donde el profesor tiene que calificarlos.


METODOLOGIA

Enfoque metodológico

El enfoque que pretendo darle a mi investigación es mixto, es decir, cuantitativo y cualitativo. Pretendo contrastar las hipótesis con la realidad en cuanto a la relación del examen con el aprendizaje significativo, la rapidez al calificarlo, la conveniencia de aplicarlo, etc. También pretendo que el examen piloto que pueda diseñar se pueda generalizar a otros cursos de lengua extranjera inglés en línea, es decir que sólo sea un patrón que se pueda aplicar a la hora de diseñar exámenes en línea de otros niveles de la misma modalidad semiescolarizada de la Buap.
Mi investigación necesita tener un enfoque cuantitativo ya que se trata de probabilidades, no pretendo buscar un absoluto, se trata de experimentar con un examen piloto, de ver qué efecto tendrá tanto en los alumnos como en los tutores; de ver si el examen rechaza o no rechaza las hipótesis. De acuerdo con los conceptos arriba definidos de manera operacional, se trata de dar una explicación de cómo serán probadas las hipótesis, bajo que parámetros para así saber el acierto o margen de error de mi estudio.

Por otro lado también debe tener un enfoque cualitativo, pues en el caso de las variables de mis hipótesis, algunas de ellas necesitan ser probadas cualitativamente. Por ejemplo en el aprendizaje significativo es muy importante la opinión de los involucrados en la investigación más que la del investigador; en cuanto a estandarizar criterios de evaluación también la opinión de los tutores es fundamental, además para saber si el examen será de ayuda a los tutores.
Con base a lo anteriormente mencionado, considero que es necesario aplicar un poco de cada enfoque. Por un lado la investigación pretende generalizar los resultados a otros cursos de lengua extranjera, ya sea de otros niveles de inglés o por qué no, aun de otro idioma; y por el otro lado es muy importante tomar en cuenta el contexto social en el cual se da la problemática y la opinión de los involucrados en ella.

Técnicas y estrategias de recopilación de la información y de los datos

Las técnicas que utilicé son la entrevista, tanto estructurada como no estructurada, encuestas y análisis de documentos.
Partiendo de que el enfoque de mi estudio es mixto (cualitativo y cuantitativo), y de mi pregunta de investigación, diseñé la siguiente estrategia de recopilación de información, en la que incluyo la observación/análisis de documentos como la plataforma, las partes que lo forman, y de exámenes finales tanto en un enfoque cualitativo como cuantitativo, además algunas entrevistas a profundidad a tutores y alumnos en este caso de la facultad de comunicación, así como la aplicación de una encuesta en la misma facultad.

ESTRATEGIA DE RECOPILACION DE LA INFORMACIÓN

Técnica: Análisis / Observación

Número de días: 4 o 5 días.

Horario de aplicación / observación: No es necesario un horario estricto.Sin embargo la observación / análisis se hará en 2 semanas aproximadamente

Lugar: En la universidad o incluso en casa

Actividad específica del investigador: El investigador tiene que analizar diversos documentos como exámenes que realicen los profesores, trabajos diseñados para evaluar, el plan de estudios del curso, y las propuestas de evaluación institucionales. Y en general una observación profunda del curso en la plataforma de la Buap.

Actividades de las personas de apoyo a la investigación: El o los tutores pueden facilitarme los exámenes que apliquen, así como algún lesson plan si es que ellos tienen alguno.También poder hablar con una de las diseñadoras del curso para poder aclarar dudas que tenga respecto a la plataforma.
Descripción de las personas observadas, encuestadas o entrevistadas: En realidad no estaría observando / analizando a personas, sino más documentos que me pueden ayudar al correcto diseño de un examen en línea.Después de la observación podría platicar con una de las diseñadoras del curso.

Técnica: Entrevistas
Número de días: 1 o 2 días
Horario de aplicación / observación: Al terminar los alumnos su examen final, entrevistaré a 3 de ellos. Esto será probablemente el 22 de noviembre, que es cuando termina el curso.Ese mismo día y al terminar el examen, entrevistaré a la tutora del curso, que también es una de las diseñadoras del mismo.
Lugar: En el salón de clases, o en algún lugar que se preste para platicar sobre el tema.
Actividad específica del investigador: Entrevistar a 3 alumnos al terminar su examen y al tutor del mismo grupo para platicar sobre los documentos observados y sobre el examen elaborado.
Actividades de las personas de apoyo a la investigación: Los alumnos entrevistados me darán su punto de vista sobre el examen que acabaron de realizar y su opinión sobre el realizar un examen final en línea (ventajas / desventajas). El tutor me aclarará cualquier duda que tenga sobre los documentos observados y la aplicación que él les dé; además de su opinión sobre los exámenes en línea.
Descripción de las personas observadas, encuestadas o entrevistadas: Una muestra de los alumnos de la modalidad semiescolarizada de la Buap que estén o hayan cursado Lengua Extranjera Inglés. En este caso son alumnos de la facultad de comunicación. En cuanto a los tutores, son los maestros que estén o hayan impartido el curso en esta modalidad.

Técnica: Encuestas
Número de días: 1 o 2 días
Horario de aplicación / observación: Al igual que las entrevistas, serían al terminar el examen.
Lugar: Las entregaría en el salón de clases.
Actividad específica del investigador: El investigador daría las encuestas antes de iniciar el examen para no interrumpir la clase y explicaría el objetivo de la misma.
Actividades de las personas de apoyo a la investigación: Los alumnos contestarán la encuesta al terminar de resolver su examen basados en la experiencia que tuvieron al resolverlo.

Descripción de las personas observadas, encuestadas o entrevistadas: Los alumnos de la modalidad semiescolarizada que hayan terminado o estén cursando lengua extranjera I de inglés.

Basado en la estrategia de recopilación de la información que diseñé, a continuación presento un resumen detallado de la aplicación de los instrumentos así como los problemas enfrentados y las soluciones dadas.

Aplicación
Fecha: Noviembre 9
Hora: 8:00 pm
Observados: El diseño de la plataforma
Problemática encontrada: En realidad no tuve un problema, pues pude accesar fácilmente a la plataforma y tomar mi tiempo para explorar cada sección.

Solución dada: No hubo problema

Aplicación

Fecha: Noviembre 10

Hora: 11:00 am
Observados: Continuación de la observación del diseño de la plataforma.
Problemática encontrada: Tampoco tuve ningún problema, salvo que revisar de nuevo los documentos para aclarar algunas dudas
Solución dada: Revisar de nuevo la plataforma

Aplicación

Fecha: Noviembre 10

Hora: 4:00 pm

Observados: Análisis del plan de estudios de la plataforma

Problemática encontrada: Creo que no hubo mayor problema, pues tengo a la mano el plan de estudios.
Solución dada: No hubo problema.

Aplicación

Fecha: Noviembre 10

Hora: 5:00 pm

Observados: Análisis de los criterios de evaluación institucionales.

Problemática encontrada: En base a lo analizado en este documento y los anteriores, tengo varias dudas que pretendo aclarar con los tutores y/o diseñadores del curso.
Solución dada: Tengo que realizar entrevistas a profundidad para tener aclaradas mis dudas. Estas entrevistas, ya las realicé el pasado 24 de noviembre.

Aplicación

Fecha: Noviembre 10 - 17

Hora: No establecida

Observados: Análisis de self-assesments

Problemática encontrada: Intenté resolver las autoevaluaciones para poder comprender mejor cómo funcionaban, pero me fue imposible.
Solución dada: No lo pude solucionar, pues sólo tuve acceso como tutor y no como alumno.

Aplicación

Fecha: Noviembre 10 - 17

Hora: No establecida

Observados: Análisis de actividades que los alumnos suben a la plataforma para ser evaluadas por sus tutores

Problemática encontrada: No hubo mayor problema.
Solución dada: No hubo mayor problema.

Aplicación

Fecha: Noviembre 22

Hora: 13:00 pm

Encuestados: 10 alumnos de la facultad de comunicación.

Problemática encontrada: Especificar en una pregunta, ya que parecía ambigua.
Solución dada: Ya no dio tiempo a solucionarla, pero al resolver quedó claro lo que los alumnos entendieron.

Aplicación

Fecha: Noviembre 22

Hora: 13:00 pm – 14:00 pm

Entrevistados: 3 alumnos que acaban de cursar lengua extranjera I de la facultad de comunicación, y que acabaron de realizar su examen final.

Problemática encontrada: El salón seguía ocupado por los alumnos que no terminaban su examen, y afuera había mucho ruido.
Solución dada: Pedimos prestado el salón que estaba junto.

Aplicación

Fecha: Noviembre 22

Hora: 16:00 pm.

Entrevistados: Tutora y diseñadora del curso de lengua extranjera I

Problemática encontrada: No encontrábamos un lugar apto para realizar la entrevista
Solución dada: Después de buscar y fallar en el intento, optamos por realizar la entrevista adentro del coche que llevaba.

Aplicación

Fecha: Después del 22 de Noviembre

Hora: En la noche

Observados: Análisis del examen final aplicado de manera presencial.

Problemática encontrada: Tuve que esperar a que la tutora me prestara su examen, después de aplicarlo a sus alumnos.
Solución dada: Pude analizar el examen hasta el último de todas mis observaciones.

RESULTADOS Y CONCLUSIONES
Recordando que el enfoque de esta investigación es mixto y para llevar un orden, primero presentaré el análisis detallado del enfoque cualitativo y luego el análisis del enfoque cuantitativo, para posteriormente dar las conclusiones de ambos análisis.
En cuanto al análisis cualitativo tenemos primero el desglose de la información en unidades de significado, categorías, núcleos temáticos y por último ejes temáticos. Podemos ver que se tienen 19 unidades de significado, luego se pueden formar 4 categorías, seguidas de 3 núcleos temáticos y finalmente tenemos 2 ejes temáticos que atraviesan todo el estudio. En los siguientes cuadros se muestra claramente este desglose:

I. Unidades de significado:

ORGANIZACIÓN GENERAL DEL CURSO EN LINEA
BIBLIOGRAFÍA
GLOSARIO
INFORMACIÓN CURRICULAR
CANDELARIZACIÓN DEL CURSO
SELF-EVALUATIONS
INFORMACIÓN DEL PROFESOR
CONTENIDO TEMÁTICO
CALIFICACIONES
PERFIL DE INGRESO
FOROS
CRITERIOS DE EVALUACIÓN
INTRODUCCIÓN Y JUSTIFICACIÓN
CHATS
EXAMENES EN LINEA
OBJETIVOS
E-MAILS
METODOLOGÍA
ASSIGNMENTS

No. 1
CODIGO DE CATEGORÍA: ON-LINE.INFO
DEFINICIÓN DE CATEGORIA: INFORMACIÓN GENERAL DEL CURSO EN LINEA
UNIDADES DE SIGNIFICADO: ORGANIZACIÓN GENERAL DEL CURSO EN LINEA, INFORMACIÓN CURRICULAR, INFORMACIÓN DEL PROFESOR, PERFIL DE INGRESO, INTRODUCCIÓN Y JUSTIFICACIÓN, OBJETIVOS, METODOLOGÍA, BIBLIOGRAFÍA.

No. 2
CODIGO DE CATEGORÍA: PLA.EST
DEFINICIÓN DE CATEGORIA: PLAN DE ESTUDIO
UNIDADES DE SIGNIFICADO: CALENDARIZACIÓN DEL CURSO, CONTENIDO TEMÁTICO, GLOSARIO, SELF-EVALUATIONS

No. 3
CODIGO DE CATEGORÍA: INT.
DEFINICIÓN DE CATEGORIA: INTERACCIONES
UNIDADES DE SIGNIFICADO: FOROS, CHATS, E-MAIL, ASSIGNMENTS,

No. 4
CODIGO DE CATEGORÍA: ASP.EVAL
DEFINICIÓN DE CATEGORIA: ASPECTOS A EVALUAR
UNIDADES DE SIGNIFICADO: SELF-EVALUATIONS, ASSIGNMENTS, CALIFICACIONES, CRITERIOS DE EVALUACIÓN, EXAMENES EN LINEA .

II. Núcleos temáticos:
Aprendizaje significativo
Exámenes
Diseño del curso en línea

III. Ejes temáticos:
proceso de evaluación
examen en línea

Con toda esta información obtenida, ahora podemos hacer el análisis de los datos ó Interpretación de la información:
Los núcleos temáticos de mi investigación son el diseño del curso en línea, el aprendizaje significativo y los exámenes y al respecto en mi marco teórico se dice que la calidad de un curso en línea se determina por los elementos que lo constituyen como la facultad, los estudiantes, los materiales didácticos (recursos de aprendizaje), los medios tecnológicos, los servicios de apoyo, y la evaluación (que debe ser sumativa y formativa. En este caso la Buap tiene en la modalidad semiescolarizada 5 carreras y los estudiantes son de diversas edades, desde los que acaban de terminar la preparatoria o bachillerato hasta los que ya tienen trabajos estables y buscan estudiar una carrera. En cuanto a los materiales didácticos, los medios tecnológicos y los servicios de apoyo, se tiene la plataforma institucional en www.webct.buap.mx donde los alumnos y maestros tienen acceso a la información relacionada con su facultad y por supuesto los cursos en línea que ellos van llevando. El diseño del curso en línea en este caso de inglés está formado por varias partes como introducción, objetivos, contenidos temáticos, actividades a enviar, auto-evaluaciones, chat, foro. Todo este curso en línea está disponible para los alumnos aunque con algunos detalles por corregir como ciertos errores de coherencia y que más que nada afectan a la presentación de la plataforma y no al aprendizaje significativo de los alumnos. Y bueno a este respecto, en la realidad no hay una pronta posibilidad de corregir, debido a que según la diseñadora del curso me comentó en la entrevista, hay que hacer una serie de trámites para tener acceso a la plataforma para modificar estos errores. Además hay ciertos programas (software) que los alumnos y/o maestros deben tener para el óptimo funcionamiento de la plataforma institucional y que por lo general son dados a los alumnos al integrarse a la modalidad. También el curso cuenta con los perfiles del alumno, lo que se le pide que haga, que sea autónomo y que realice sus actividades.

En cuanto al contenido temático fue diseñado hace 3 años cuando aún se llevaba un libro llamado cutting edge y que ahora ha sido cambiado en los cursos escolarizados, entonces sería necesario hacer algunos ajustes. Es necesario puesto que la idea es que tanto escolarizado como semiescolarizado tengan el mismo contenido ya que ambos pertenecen al tronco común de la universidad aunque los objetivos sean diferentes debido al tiempo y ocupaciones de los estudiantes.

De a cuerdo a Santoveña, S. (2005) en un curso en línea el constructivismo es la base del aprendizaje y la adquisición del conocimiento y donde el método de enseñanza debe ser flexible. En nuestro caso el curso está diseñado de una manera totalmente flexible, puesto que en la universidad los maestros tienen libre cátedra y la manera de evaluar es de acuerdo al profesor y al grupo. En este sentido tanto la metodología, como los criterios de evaluación que vienen en el curso son totalmente opcionales y flexibles al grupo, al maestro y al tiempo que dure el curso. Cabe recordar que los tiempos que puede durar un curso de inglés en esta modalidad es muy variable de facultad a facultad.

Con respecto al aprendizaje significativo, es importante ver que el diseño del contenido temático está bien dosificado aunque tal vez sea necesario hacer pequeños ajustes no de gran importancia en realidad puesto que el curso fue diseñado hace 3 años y ahora la universidad ha cambiado los libros de texto de la modalidad escolarizada y estos cursos de semiescolarizado fueron diseñados basados en la modalidad escolarizada. En cuanto a las actividades a enviar o assignments el objetivo es ver el aprendizaje significativo que los alumnos van teniendo, es ver lo que ellos han realmente entendido, es ver lo que ellos han realmente aprendido y es ver su producción. Este aprendizaje es evaluado por los tutores quienes finalmente le dan el valor que consideran adecuado. Existen también actividades interactivas que permiten al alumno y al maestro ver el avance que van teniendo en el curso y resolver las dudas que se vayan teniendo, es una manera de que el alumno no se sienta sólo en su proceso de aprendizaje. Estas actividades interactivas son los foros que se pueden utilizar los que ya están o agregar alguno y el chat que al parecer es un poco difícil de utilizar por el software que se necesita. También el uso del calendario permite al alumno y al maestro organizar de una mejor manera el aprendizaje significativo. Con todo este material se permite que el alumno vaya construyendo su propio aprendizaje.

El último núcleo temático es el de exámenes. Dorrego, E. (2005) dice que la evaluación en línea debe desarrollarse tomando en cuenta el constructivismo. El aprendizaje constructivista en la plataforma de la buap se da a través de los contenidos temáticos, el alumno tiene que estudiarlos primero y también puede basarse en los links que la plataforma ofrece; una vez hecho esto, el alumno puede preguntar sus dudas en la clase presencial, para luego proceder a realizar los assignments en donde plasmará lo aprendido. De acuerdo a lo anterior, la evaluación debe ser no sólo sumativa, sino formativa y continua, y en este caso el maestro debe renunciar al control y dejar que el estudiante se responsabilice más de su aprendizaje y evaluación. El alumno se responsabiliza de su aprendizaje y evaluación al estudiar por su cuenta y al buscar sus propios medios para resolver sus dudas, como se menciona en una de las entrevistas realizadas a los alumnos de comunicación. Ahora bien como parte de la evaluación además de los assignments y la participación en clase, se encuentran los exámenes.

En cuanto a exámenes, tenemos lo que en la plataforma se aplica como self-evaluations y que tienen como objetivo el que los alumnos practiquen para sus exámenes posteriores en cuanto a estructura del examen y conocimiento del alumno; sin embargo cada maestro decide si los toma en cuenta como parte de la evaluación o no. También tenemos la opinión del tutor en cuanto a la aplicación de este tipo de exámenes y su opinión es un poco diferente de lo arriba mencionado de renunciar al control y dejar que el estudiante se responsabilice de su aprendizaje y evaluación ya que según lo menciona la tutora entrevistada los alumnos podrían pedirle a alguien más que conteste el examen. Según su opinión los exámenes serían útiles en casos extremos como cuando no hay el tiempo necesario o cuando el tutor considera que el alumno es apto para el examen por ser honesto entre otras cosas. Según el tutor no es muy confiable este tipo de exámenes pues para ella no es posible evaluar aspectos que si evaluaría en un examen presencial; además considera que es un examen muy lineal y poco flexible y el idioma en si debe ser algo flexible.

De acuerdo a Fine,D. (2006) hay ciertas puntos a tomar en cuenta para escribir un examen en línea eficaz, entre los más importantes están el que se elaboren preguntas interesantes, que se planee como se evaluará la información, el utilizar un lenguaje simple, hacer una pregunta a la vez y con una secuencia lógica, evitar negativas dobles, conceptos difíciles y preguntas específicas de memoria, si se utilizan escalas, utilizar escalas comparables, ponerle un nombre al examen y escribir una breve introducción para dar un marco de referencia. En caso de elaborar un examen tendría que ser más que nada de opciones múltiples pues en caso de que se les pida a los alumnos que escriban algo, ellos se sentirían mas estresados pues en la computadora sería un poco difícil evaluar esta parte ya que por falta de puntos o comas se les marcaría como error y además esto complicaría la revisión del examen por parte del tutor. Sin embargo también es necesario evaluar otras áreas como la producción del alumno a través de la escritura.
Finalmente los tutores tienen la última palabra en cuanto a cómo evaluar a sus alumnos.

En cuanto al análisis cuantitativo, se realizó una tabla que permitió organizar la información obtenida en las encuestas aplicadas a los estudiantes de comunicación de la Buap de la modalidad semiescolarizada. Y con base a esa tabla, fue posible realizar una base de datos para una mejor organización de la información obtenida.

Con los datos obtenidos en la base de datos, fue posible obtener las siguientes medidas de tendencia central:

EDAD PROMEDIO: 22.2
PROM EXAMENES PRESENTADOS EN EL CURSO: 2.625
MEDIANA DE EXAMENES EN LINEA: 2
MODA DE EDAD: 26
MODA DE SEXO: 1 (hombres)
MODA DE NIVEL DE ESTUDIOS: 1 (bachiller)
MODA DE EXAMENES EN LINEA PRESENTADO: 2 (de 2 a 5)
MODA EXAMENES PRESENTADO EN CURSO: 2
MODA EN SECCIONES DEL EXAMEN: 2
MODA OPINION EX ON LINE: 1 (estan de acuerdo)

ANALISIS CUANTITATIVO

En el análisis cuantitativo realicé una encuesta a los alumnos de comunicación de la modalidad semiescolarizada que están tomando inglés I.
De acuerdo a estos resultados tenemos que la edad promedio de los estudiantes es de 22.2 años de los cuales la mayoría tiene 26 años. También podemos ver que la mayoría son hombres. En cuanto a su nivel de estudios tenemos que con excepción de 1 que no respondió la mayoría sólo tienen hasta la preparatoria.

También se les preguntó el número de exámenes en línea presentados y tenemos que la mayoría a excepción de 1 que no respondió a esta pregunta, ha presentado entre 2 y 5 exámenes, esto se refiere a las autoevaluaciones que trae el curso de lengua extranjera. En cuanto a exámenes presentados durante el curso, esto es exámenes presenciales, tenemos que la mayoría ha presentado 2 y con la información de la tutora estos son el midterm y el final exam.
En cuanto a lo evaluado en los exámenes podemos ver que todos los alumnos coinciden en que los puntos gramaticales así como las habilidades de escritura fueron evaluados en sus exámenes. En cuanto a habilidades de lectura la mayoría con excepción de 2 personas coinciden en que fueron evaluadas en los exámenes. En lo que a habilidades de audio se refiere tenemos que la mayoría con excepción de 2 personas y una que no contesto a la pregunta, que esta habilidad no fue evaluada.

En el examen como tal, todos coinciden en que no es lo único que el tutor evalúa. En la cobertura de todos los temas del contenido temático del curso en línea, con excepción de alumno, todos dicen que fue cubierto, es decir que la tutora les dio todos los temas. En lo que se refiere a que si el examen estuvo dividido por secciones tenemos que la mayoría dice que no fue así. En lo relacionado a instrucciones claras todos los encuestados comentan que las instrucciones del examen fueron claras. En cuanto a objetivos del examen los alumnos dicen que estos fueron claros.

Y finalmente lo más importante en lo que a mi investigación se refiere, la opinión de los alumnos en cuanto a presentar un examen en línea en lugar de un examen presencial, con excepción de 2 personas, ellos comentan que sí les agradaría presentarlo de esa manera.

En cuanto a los self-assesments se puede ver que no están al menos escritos los objetivos específicos de las evaluaciones, también se puede ver que si evalúan el aprendizaje significativo de los alumnos en cierta manera, porque de acuerdo al enfoque cualitativo de mi investigación hace falta evaluar ciertas cosas como la producción escrita. Y si evalúan el aprendizaje significativo porque las preguntas están relacionadas con los contenidos de la plataforma y evalúan los conocimientos que el alumno debe poseer del idioma.Y finalmente este tipo de evaluaciones no son parte de la evaluación general del curso y de acuerdo al enfoque cualitativo encuentro que esto depende completamente del tutor.

En los trabajos elaborados por los alumnos puedo ver que si tienen objetivos específicos al dejarlos, que si evalúan el aprendizaje significativo de los alumnos, pues aquí se ve la producción del alumno en el idioma y que el documento puede ser parte de la evaluación general de acuerdo al enfoque cualitativo.

En cuanto al examen final que la tutora aplicó, los objetivos no vienen escritos, pero si se entienden puesto que asó lo manifestaron los alumnos en la encuesta, también evalúan el aprendizaje significativo del alumno ya que se evalúan los contenidos temáticos y se requiere la producción del alumno en el idioma inglés. Y el documento cuenta como parte de su evaluación general.

Ahora con las hipótesis y los resultados obtenidos tengo que mi primera y tercera hipótesis que dicen que el aprendizaje significativo puede ser evaluado a través de un examen en línea, no se pueden aceptar del todo ya que sí se evalúa el aprendizaje significativo de los estudiantes, pero no en su totalidad, de acuerdo a mi enfoque cualitativo que también necesito tomar en cuenta. Esto se puede ver en que un examen debería evaluar diversas habilidades del idioma y de acuerdo a lo que comenta la tutora, la parte escrita sería un poco más difícil de evaluar por los errores que podría marcar el sistema debido a las puntuaciones que se pongan o se omitan como comas, apóstrofes, etc.

En cuanto a la segunda hipótesis que menciona que un examen en línea facilita al tutor el proceso de evaluación, y de acuerdo a las entrevistas a profundidad puedo ver que en parte si facilita el calificar pues ya la computadora lo hace, sin embargo también es cierto que a veces hay errores en caso de que se ponga una actividad en la que el alumno tenga que redactar.
La cuarta hipótesis que menciona que un examen en línea estandariza los criterios de evaluación no se acepta puesto que en las entrevistas queda claro que es el tutor quien lleva su libre cátedra y la adapta al grupo y tiempo que le asignen a la materia.

Y la última hipótesis que menciona que un examen en línea de lengua extranjera inglés ayuda al tutor a evaluar y calificar a los alumnos de una manera más rápida que al aplicar un examen presencial, puede ser aceptada ya que la computadora es la que lo puede calificar automáticamente y los alumnos también consideran que les agradaría hacerlo ya que se sienten menos estresados.

Conclusiones.

Resumiendo todo lo anterior, podemos ver cuáles son las características y estructura que debe tener un examen en línea, y estas son que debe estar basado en un aprendizaje constructivista donde el alumno parte de lo más básico para irse apoyando a lo más complicado y en donde el alumno va construyendo su propio aprendizaje a lo largo del curso en las sesiones presenciales y a través de las actividades de la plataforma, y por lo tanto el alumno debe ser capaz de resolver por sí sólo un examen en linea. En cuanto a esto el alumno debe ser responsable de su propio aprendizaje y evaluación al buscar los medios que necesite para aclarar sus dudas y al ser honesto en realizar por sí mismo las actividades requeridas por el tutor y por lo tanto el tutor debería dejar de pretender tener el control sobre el aprendizaje y evaluación del alumno. Por su parte el alumno tiene la responsabilidad de ser honesto y realizar el mismo su examen. Además como está visto el tutor no debiera tomar en cuenta sólo el examen como único medio de evaluación, ya que la evaluación en un aprendizaje a distancia debe ser formativa y sumativa y por lo tanto debe ser durante lo que dure el curso, y es aquí donde entran la importancia de realizar los assignments, las participaciones en el foro y en el chat como parte de la evaluación. En cuanto al peso que se le debería dar a cada uno de los aspectos a evaluar y con los comentarios de la tutora entrevistada, los exámenes presenciales es lo que más peso tiene, pues es ahí donde ella ve lo que el alumno realmente es capaz de redactar por si mismo. Ahora si estamos hablando de un examen en línea, creo que el peso dado al examen debe de ser más equitativo con los assignments y con la participación y/o trabajos realizados en la clase presencial.
De acuerdo a lo observado en los self-assesments y a lo planteado por Fine (2005), los exámenes en línea deben tener un nombre y una introducción, deben contar con un tiempo de realización y deben estar basados en lo visto durante el curso y las actividades pedidas por cada unidad a través de los assignments y/u otros trabajos pedidos por el profesor, para que así formen parte del aprendizaje constructivista del alumno. Además el examen debe contar con un objetivo claro y con diversas secciones, que en este caso serían grammar, writing, listening, and reading. En cuanto al tipo de preguntas, y de acuerdo al marco teórico que realicé, éstas deben ser de opción múltiple, de relacionar, de completar con palabras ya dadas, etc. con esto quiero decir que deben ser preguntas muy concretas para que el alumno sea guiado a una sola respuesta y así evitar la confusión por parte del alumno y también evitar que la computadora marque errores innecesarios. Además de que esto evitaría el estrés que los alumnos mencionaron en las entrevistas.

Características y estructura que debe tener un examen en línea:

EXAMEN EN LINEA: TIEMPO DETERMINADO, OBJETIVOS CLAROS, NOMBRE, INTRODUCCIÓN
BASADO EN: ASSIGNMENTS, CONTENIDO DEL CURSO
EN SECCIONES: LISTENING, GRAMMAR, READING, WRITING
TIPO DE PREGUNTAS: OPCION MULTIPLE, RELACIONAR, COMPLETAR

En cuanto a ventajas de un examen en línea por parte de los alumnos tenemos la reducción del estrés causado al alumno al estar en un ámbito presencial, y el no tener que trasladarse a la facultad para presentar su examen. Por parte del tutor, la ventaja sería en cuanto a tener una opción más para evaluar a los alumnos que por alguna razón no pudieron presentarse el día del examen final y que en su caso el tutor no pueda hacerlo de otra manera por falta de tiempo o si el tutor lo considera necesario

Hablando de desventajas, las más notorias son problemas externos, como el no tener acceso a una computadora, o a la red, el que se trabe la máquina, el que el sistema se caiga, entre otros. En cuanto a alumnos tenemos que en su momento se pueden sentir solos, sin el apoyo del tutor para aclarar cualquier duda, aunque a este respecto tenemos la sugerencia por parte de los mismos alumnos de que el tutor esté presente en línea a la hora del examen, quizá por el chat de la plataforma.

En cuanto al tutor tenemos la desventaja de que no sea posible evaluar ciertas habilidades o cuestiones de producción de la misma manera que en una forma presencial. También tenemos el que un examen en línea es mas lineal y no permite mucha flexibilidad y puesto que el idioma en si es flexible.

Con esto podemos ver que un examen en línea, nos puede ayudar en algunas situaciones, pero que finalmente queda a criterio del profesor su utilización y también el porcentaje de calificación que le quiera dar.


Fuentes consultadas
Buros center for testing.
Recuperado el 10 de Octubre de 2008 de: http://www.unl.edu./buros

Dorrego, E. Educación a distancia y evaluación del aprendizaje
Universidad Central de Venezuela
Recuperado el día 10 de octubre de 2008 de
http://www.um.es/ead/red/M6/dorrego.pdf

Fine, D. (2006). 14 extremidades para escribir un examen en línea eficaz
Recuperado el día 10 de octubre de 2008 de
http://www.articleset.com/Negocio-en-linea_articles_es_14-extremidades-para-escribir-un-examen-en-linea-eficaz.htm

Padilla, I. (s.f). Educación a Distancia: Ofrecimientos con Calidad y Eficacia
. Recuperado el día 10 de octubre del 2008 de: www.uprm.edu/ideal/hermes2005/calidad.pdf

Santoveña, S. (2005). Criterios de calidad para la evaluación de los cursos virtuales
. Unidad de Virtualización Académica
. Universidad Nacional de Educación a Distancia (UNED). 2(4). Recuperado el día 10 de octubre de 2008 de www.ocv.org.mx/contenido/articulos/articulo01_sept2005.pdf

ANEXOS

Instrumentos que utilizé:

ANALISIS / OBSERVACIÓN DE DOCUMENTOS
DOCUMENTO: ( TRABAJOS ELABORADOS POR ALUMNOS, EXAMENESPRESENCIALES, Y EVALUACIONE) (UN CUADRO POR DOCUMENTO)
TIENE OBJETIVOS ESPECIFICOS: SI NO
EVALUA EL APRENDIZAJE DEL ALUMNO: SI NO
EL DOCUMENTO ES PARTE DE LA EVALUACIÓN GENERAL: SI NO

ANALISIS / OBSERVACIÓN DE DOCUMENTOS
(PLANES DE ESTUDIO, PROPUESTAS DE EVALUACIÓN INSTITUCIONALES, ESTRUCTURA GENERAL DE LA PLATAFORMA, EXAMENES PRESENCIALES) (UN CUADRO POR DOCUMENTO)
OBSERVACIÓN DESCRIPTIVA:
OBSERVACIÓN INTERPRETATIVA:
OBSERVACIÓN METACOGNITIVA:

ENTREVISTAS A PROFUNDIDAD

TUTOR

1. ¿Qué opina de poder aplicar un examen en línea en vez de un examen presencial?

2. ¿Si existiera un examen en línea para evaluar a sus alumnos, lo aplicaría? ¿por qué?

3. ¿Crees que calificar un examen en línea es más fácil que calificar un examen escrito? ¿Por qué?

4. ¿Cuáles serían las ventajas y/o desventajas de aplicar un examen en línea en vez de un examen presencial?

5. En el curso, en la introducción hay errores de coherencia, ¿es posible corregirlos?

6. En cuanto a la metodología descrita en el curso ¿es posible aplicarla a todos los cursos de lengua extranjera? ¿por qué?

7. En cuanto al foro y al chat, ¿usted los toma en cuenta a la hora de evaluar a sus alumnos?

8. ¿Usted les pide a los alumnos que realicen todas las actividades que están en la plataforma? ¿las retroalimenta? ¿son parte de la evaluación del alumno? ¿Cree que sean suficientes? ¿usted agregaría algunas? ¿considera que estas actividades evalúan todas las habilidades del idioma?

9. ¿cómo evalúa la parte oral y auditiva del curso?

10. ¿Le pide a sus alumnos que realicen las self-evaluations? ¿las toma en cuenta como parte de la evaluación del alumno? ¿considera que evalúan el aprendizaje de sus alumnos?

11. ¿Qué opina del plan de estudios? ¿está bien distribuido la dosificación temática? ¿utiliza el cronograma de interacciones de la plataforma?

12. En cuanto a los criterios de evaluación que se establecen en la plataforma, ¿usted los utiliza? ¿aplica criterios propios?

13. Quizás haya más preguntas que me surjan durante la entrevista.

ALUMNOS

1. ¿Cómo te sentirías si hubieras realizado un examen en línea en vez del examen que acabas de presentar?

2. ¿Cuáles serían las ventajas y/o desventajas de presentar un examen en línea en vez de un examen presencial?

ENCUESTA
ALUMNOS

Edad____ Sexo_____ Nivel de estudios_____

Exámenes en línea presentados _____

Exámenes presentados en este curso _____

En el examen que acabas de presentar:
1. ¿Se evalúan los puntos gramaticales vistos en el curso? ()si ()no

2. ¿Se evalúan habilidades de escritura? ()si ()no


3. ¿se evalúan habilidades de lectura? ()si ()no
4. ¿Se evalúan habilidades de audio? ()si ()no

5. ¿El examen es lo único que el tutor toma en cuenta para evaluar? ()si ()no

6. ¿Se cubrieron todos los temas del plan de estudios del curso de inglés? ()si ()no

7. ¿El examen estuvo dividido por secciones? ()si ()no

8. ¿Las instrucciones fueron claras? ()si ()no

9. ¿Los objetivos de cada sección del examen estuvieron claramente explicados? ()si ()no

¿Si se aplicara un examen en línea en lugar de un examen presencial de esta materia inglés, sería más fácil de resolver para ti? ¿Por qué? __ _____________