Heurísticas para evaluación de usabilidad
en entornos virtuales de aprendizaje

Heuristics for Evaluation of Usability in
Virtual Learning Environments

Marilú García Soto 1, Liliana Espinosa Ramírez 2

Universidad Nacional Abierta y a Distancia, Programa de Ingeniería de Sistemas. Bogotá, Colombia.

Recibido: 08/11/2017 • Aprobado: 24/11/2017

Resumen

En la evaluación de la calidad de las aulas virtuales, específicamente de criterios relacionados con usabilidad y, teniendo en cuenta la política institucional de retención y permanencia establecida por la Universidad Nacional Abierta y a Distancia, así como la necesidad de que el aprehendiente realice su proceso académico de manera eficiente, eficaz, comprensible y amigable, se plantea proponer, a partir de heurísticas de evaluación de usabilidad existentes, un conjunto de criterios específicos aplicables a entornos virtuales de aprendizaje (EVA) de acuerdo con algunas subcaracteríisticas de usabilidad establecidas en la norma ISO/IEC 25010:2011, las cuales fueron definidas como comprensión, aprendizaje, eficiencia y atractividad; conformando un árbol de requisitos con una ponderación; propuesta que fue sometida a validación por parte de evaluadores; para finalizar con la generación de una matriz ponderada de evaluación heurística de usabilidad web preliminar que fue aplicada en aulas virtuales de la Unad.

Palabras clave: atributo, calidad, docencia en línea, evaluación, heurística, métrica, usabilidad.

Abstract

In the evaluation of the quality of the virtual classrooms and specifically of the criteria related to usability and taking into account the institutional policy of retention and permanence established by the Universidad Nacional Abierta y a Distancia, and the need for the apprentice perform their education process in an efficient, effective, understandable and friendly way, we propose some specific criteria applied to virtual learning environments, based on the existing usability evaluation criteria. We propose this in the frame of some subcategories established in ISO / IEC 25010: 2011, defined as Understanding, Learning, Efficiency and Attractiveness, forming a requirements tree with a weighting. This proposal was validated by evaluators; to finish with the generation of a general matrix of evaluation of preliminary web usability that was applied in virtual classrooms of the Unad.

Key words: attribute, evaluation, heuristics, metric, on-line teaching, quality, usability.

1 marilu.garcia@unad.edu.co, orcid.org/0000-0002-4182-559X
2 liliana.espinosa@unad.edu.co, orcid.org/0000-0002-6118-6844

1. Introducción

Los entornos web están en continua evolución, particularmente su objetivo es que sean más usables, accesibles y seguros con el fin de ofrecer a los usuarios una interfaz adecuada para lograr mayor efectividad en las tareas que se desarrollan durante la navegación (Krug, 2006).

Para el desarrollo del proceso de enseñanza - aprendizaje y específicamente de las diferentes actividades académicas en un entorno virtual de aprendizaje (EVA), se deben considerar en la evaluación unas características básicas, herramientas, funcionalidades, fortalezas y debilidades, en cuanto a su estructura, uso e interacción.

Específicamente en aspectos relacionados con la usabilidad, se hace necesario, de acuerdo al tema objeto de investigación, que se cumplan ciertos criterios de importancia; entre otros, se mencionan la capacidad para reconocer su adecuación, capacidad de aprendizaje y estética de la interfaz de usuario. (Estándar ISO/IEC 25000:2014).

De acuerdo a la norma Estándar ISO 9241-11:1998 “Guidance on usability”, revisada en 2018, la cual define el concepto de usabilidad en términos de calidad de uso como “medida en que un sistema, producto o servicio puede ser utilizado por usuarios específicos para alcanzar objetivos específicos con efectividad, eficiencia y satisfacción en un contexto de uso específico”, lo que se representa en tres grandes categorías, a saber, cómo son la eficacia, la eficiencia y la satisfacción con la que un producto permite alcanzar los objetivos en un contexto de uso de determinado; estas características fueron tenidas en cuenta en el proyecto; adicionalmente, la norma ISO/IEC 25010:2011, que es un estándar internacional para la evaluación de la calidad del software, define el concepto de usabilidad como: “Capacidad del producto software para ser entendido, aprendido, usado y resultar atractivo para el usuario, cuando se usa bajo determinadas condiciones”.

La evaluación de usabilidad es un componente central del enfoque de diseño centrado en el usuario (UCD) y tiene como objetivo principal evaluar la efectividad, la eficiencia y la satisfacción cuando los usuarios interactúan con un producto / servicio para influir en su decisión de adopción y uso (es decir, usuario aceptación). (Bla, Arh & Bla, 2014).

Teniendo en cuenta los planteamientos anteriormente mencionados, se reflexiona que en la actualidad no se realiza un proceso formal de evaluación de usabilidad de los entornos virtuales de aprendizaje de la Unad, por lo tanto, surge el siguiente cuestionamiento:

¿Debe desarrollarse una matriz de evaluación heurística que sirva de base para la construcción de un modelo que permita evaluar la usabilidad de las aulas virtuales de la Unad como apoyo a los procesos pedagógicos?

Finalmente, en nuestra experiencia profesional como docentes en educación virtual en la Universidad Nacional Abierta y a Distancia (Unad), se observa que los usuarios (docentes y estudiantes), al desarrollar el proceso académico a través del entorno virtual, pueden presentar posibles demoras para conocer y entender su uso, navegabilidad y adaptación, interactuando con el aula virtual; lo que puede conllevar a confusiones en la búsqueda, inadecuada utilización de recursos y reducción de la productividad por parte de los diferentes actores del proceso. Por lo tanto, se propone plantear una matriz de evaluación con algunos criterios heurísticos básicos que permitan evaluar la usabilidad web de las aulas virtuales.

Según (Gonzalez, Lorés & Pascual, 2006), la heurística trata de aplicar normas convencionales a la interacción entre el hombre y la máquina. Su objetivo es reducir la brecha entre el usuario y el sistema, para favorecer el logro de los objetivos. Las heurísticas hacen referencia a directrices o reglas definidas por expertos, que pueden ser utilizadas como ayuda para los evaluadores con el fin de identificar problemas de usabilidad.

Para acercarse a esta problemática, la metodología utilizada en la investigación se desarrolló en cuatro pasos; en este caso, se presenta la fase del contexto de la investigación, que contiene información recopilada sobre estudios de evaluación de usabilidad en entornos virtuales de aprendizaje; posteriormente se tuvieron en cuenta cuatro atributos de usabilidad web con sus características para conformar el árbol de requisitos, consolidando una matriz ponderada de evaluación heurística de usabilidad, la cual fue aplicada en el entorno real.

2. Desarrollo

2.1 Contexto de la investigación

Algunos estudios relacionados con metodología, modelos y normativas de evaluación de usabilidad que se tuvieron en cuenta, se describen a continuación:

Metodología de medición y evaluación de la usabilidad en sitios web educativos -Tesis doctoral. Universidad de Oviedo.

En esta tesis, la autora (Alva, 2005), propone una metodología que permite realizar la medición y evaluación de la usabilidad en sitios web educativos desde los puntos de vista del usuario y del experto; para el ejercicio del enfoque del usuario hace uso del método de indagación y en la del experto utiliza métodos de inspección.

En la evaluación, por parte del usuario, considera la población de acuerdo con la edad o etapa de la persona y el perfil en el sentido del nivel de conocimiento o uso del sitio; lo anterior con el fin de definir los aspectos a evaluar de la usabilidad según lo apropiado para dicho tipo de población. En cuanto a la evaluación por el experto, combina métodos de inspección para así comprobar que se cumple con una serie de características y evidenciando el impacto de las que no se cumplen.

Las técnicas utilizadas en los métodos de evaluación fueron cuestionarios y aplicación individual de métodos de inspección desde diferentes perspectivas.

Diseño de un modelo de evaluación de entornos virtuales de enseñanza y aprendizaje basado en la usabilidad (Ferreira, 2013). En este trabajo el autor propone un modelo que facilita la evaluación de la calidad de los Entornos Virtuales de Enseñanza y Aprendizaje (EVEA), teniendo en cuenta como aspecto principal la usabilidad. Debido al auge que está tomando el tema, se trabaja como aspecto primordial en la calidad de los productos en ambiente web. El modelo desarrollado se denominó “MUsa” el cual está orientado en cuatro niveles de evaluación, que van desde lo general hacia lo particular, donde las enunciaciones de usabilidad, sus atributos y las respectivas heurísticas conforman el eje central del modelo.

La evaluación se apoya en escenarios reales de uso, haciendo énfasis en los alumnos y docentes, los objetivos que se proponen, las tareas específicas que realizan dentro del entorno durante las actividades de enseñanza y aprendizaje, el modelo mental que utilizan, el equipamiento e infraestructura que disponen, el lugar físico donde habitualmente interactúan, y el entorno social en el cual están inmersos.

La primera capa evalúa el entorno general del EVA, los tres restantes se aplican en un contexto específico, como un aula virtual, utilizando técnicas, métodos e instrumentos diferentes para optimizar la evaluación.

De acuerdo al autor, MUsa puede adaptarse en dos sentidos, omitiendo completamente algunas de las capas, o eligiendo diferentes alternativas dentro de la segunda capa.

2.1.1 Normativas y estándares

A continuación, se presentan algunas de las normas y estándares más relevantes existentes en el marco nacional e internacional referentes a usabilidad web.

Estándar ISO 9241-11:1998 “Guidance on usability”, revisada 2018.

La cual define el concepto de usabilidad en términos de calidad de uso (cómo el usuario realiza tareas específicas en escenarios específicos con efectividad), en tres grandes categorías a saber; como son la eficacia, eficiencia y satisfacción con la que un producto permite alcanzar los objetivos específicos en un contexto de uso de específico.

Estándar ISO/IEC 25010:2011

El cual define el concepto de Usabilidad como “Capacidad del producto software para ser entendido, aprendido, usado y resultar atractivo para el usuario, cuando se usa bajo determinadas condiciones”. Esta característica se subdivide a su vez en las siguientes subcaracteristicas: Capacidad para reconocer su adecuación, capacidad del producto que permite al usuario entender si el software es adecuado para sus necesidades, capacidad de aprendizaje, capacidad del producto que permite al usuario aprender su aplicación, capacidad para ser usado, capacidad del producto que permite al usuario operarlo y controlarlo con facilidad, protección contra errores de usuario, capacidad del sistema para proteger a los usuarios de hacer errores, estética de la interfaz de usuario, capacidad de la interfaz de usuario de agradar y satisfacer la interacción con el usuario y accesibilidad, definida como la capacidad del producto que permite que sea utilizado por usuarios con determinadas características y discapacidades.

Estándar ISO/IEC 25000:2014, denominado también SQuaRE (Software Product Quality Requirements and Evaluation). En este estándar se muestra básicamente la unificación y revisión de los estándares ISO/IEC 9126 (Calidad del producto software) e ISO/IEC 14598-6:2001 (Evaluación del producto). Es un estándar que establece parámetros para organizar, enriquecer y unificar el conjunto de elementos que abarcan los siguientes procesos: - La determinación de los requisitos de calidad del software y - La evaluación de la calidad del software, estos dos soportados por el proceso de medir la calidad del software (Technical Committee ISO/IEC JTC 1, Information technology, Subcommittee SC 7, Software and systems engineering, 2014).

Política de gobierno digital Estado colombiano. Estas directrices se encuentran recopiladas en el “Manual del Ministerio de Tecnologías de la Información y las Comunicaciones de la República de Colombia 2012 - 2015” (Carvajal & Saab, 2010) las cuales forman parte de la estrategia de gobierno en línea y cuyo fin es la implementación de los decretos 1151 de 2008 y 2693 de 2012, e incluye entre otros, un conjunto de reglas que se constituyen en un aspecto principal con fines de ofrecer una mejora en la calidad de los sitios web colombianos y por ende una mejor experiencia para el usuario.

En el manual se presentan temas agrupados en varios capítulos, todos relacionados con las diferentes fases de desarrollo de un sitio web, como son: diseño de interfaz de usuario, búsqueda, arquitectura de información, diseño de interacción, pruebas de usabilidad y contenido.

2.2 Conformación del árbol de requisitos para evaluación de aulas virtuales de la Unad

Contar con un árbol de requerimientos general, pero a su vez fácilmente adaptable a diversos dominios, sería de gran beneficio para tareas de aseguramiento y control de calidad, posibilitando potencialmente la automatización de las mismas (Olsina, 1999;2002).

A partir de estándares de calidad de software existentes, relacionados con usabilidad, se propone generar un árbol de requisitos para evaluar las aulas virtuales de la Universidad Nacional Abierta y a Distancia (Unad), incluyendo criterios heurísticos basados en atributos y características. En la Tabla 1, se muestran los modelos relacionados con los estándares que se tuvieron en cuenta.

Tabla 1

Estándares de calidad

Usabilidad
estándar

ISO 9241-11:1998 “Guidance on usability”, revisada 2018

Eficacia

Eficiencia

Satisfacción

Usabilidad
estándar

ISO/IEC 25010:2011

Inteligibilidad

Aprendizaje

Operabilidad

Protección frente
a errores de usuario

Estética

Accesibilidad

Las heurísticas más relevantes fueron propuestas por los autores Schneiderman, Nielsen, Instone, Constantine, Mayhew, Norman y Tognazzini, (Ferreira & Sanz, 2013), quienes son referentes en el tema y aunque manejan percepciones similares, en algunos casos hay diferencias en su concepto. De acuerdo a ello se propone el árbol de requisitos para evaluación de aulas virtuales de la Unad, el cual está compuesto de atributos; los cuales se desglosan en características.

En la Tabla 2, se muestra la asociación de las heurísticas propuestas, con las definidas por los autores referentes.

Tabla 2

Asociación heurísticas autores y heurísticas propuestas

Heurística y autores

Heurística propuesta

Consistencia y estilo
comunicativo- (Schneiderman, Nielsen, Instone, Constantine, Mayhew, Norman, Tognazzini)

Comprensión

Topografía (Norman,
Tognazzini, Nielsen, Instone,)

Intuitividad (Schneiderman, Nielsen, Instone, Constantine, Norman)

Reutilización (Schneiderman,
Nielsen, Instone, Constantine)

 

Aprendizaje

Consistencia (Schneiderman, Nielsen, Instone, Constantine, Mayhew,
Norman, Tognazzini)

Ayuda y documentación
(Nielsen, Instone)

Simplicidad (Constantine,
Mayhew, Tognazzini)

Eficiencia

Productividad (Schneiderman,
Nielsen, Instone)

Diseño y organización,
(Schneiderman, Nielsen, Instone, Constantine, Mayhew)

Atractividad

En concreto, los cuatro (4) atributos propuestos son:

Tabla 3

Atributos propuestos

Atributo

Definido en ISO/IEC 9126‐1: 2001. actualizada ISO/IEC 25010:2011

Descripción
en el aula virtual

Comprensión:

Capacidad del software de ser entendido por usuarios en términos de un propósito y cómo puede ser usado en tareas específicas.

Capacidad del sitio web de permitir al usuario entender si el aula virtual es adecuada y puede ser usada para realizar las tareas de su rol.

Aprendizaje

Capacidad del producto de ser aprendido en su manejo.

Capacidad del sitio web para permitir a los usuarios aprender a usar los diferentes recursos en el aula virtual.

Eficiencia

Capacidad del producto de ser usado y controlado.

Capacidad de disponer de los espacios para conseguir un fin.

Atractividad

Capacidad del producto de ser atractivo para sus usuarios.

Capacidad de un sitio web para atraer y seducir al usuario en cuanto a los atributos tales como el uso de color, la naturaleza del diseño gráfico, entre otros.

2.2.1 Características de los atributos de usabilidad

Para definir las características de los atributos, se consideraron algunas de las directrices de usabilidad web registradas en el documento oficial “Directrices de usabilidad para sitios web del Estado colombiano” (Carvajal & Saab, 2010), las cuáles se mencionan de forma general a continuación:

En resumen, éstas se sustentan con la Figura 1, Características de los atributos propuestos, que teniendo en cuenta los atributos y características propuestos, se define el árbol de requisitos.

9429.png 

Fig. 1. Características de los atributos propuestos

Fuente: autores

2.3 Matriz ponderada de evaluación heurística
de usabilidad web

Basados en los atributos y características ya mencionados, se conformó una matriz ponderada, descrita en la tabla 4.

A los atributos le fueron asignados los siguientes porcentajes:

Tabla 4

Ponderación de atributos

Atributo

Ponderación

Comprensión

26%

Aprendizaje

26%

Eficiencia

26%

Atractividad

22%

De acuerdo con los atributos planteados se puede afirmar que la comprensión, el aprendizaje y la eficiencia, son esenciales para que el usuario pueda cumplir el proceso académico y el atributo de atractividad, aunque es muy importante contar con un sitio web que seduzca al usuario; puede ser utilizado normalmente, y por ello se le asignó un menor puntaje.

Las características de segundo y último nivel, tienen distribuida su respectiva ponderación por grupo, sumando un 100% como se describe en la tabla 5.

Tabla 5

Ponderación de características

Atributo

Característica Arquitectura de
la información

Característica Interfaz
de usuario

Característica Interacción con el usuario

Comprensión

40%

50%

10%

Aprendizaje

60%

30%

10%

Eficiencia

30%

55%

15%

Atractividad

20%

40%

40%

Las características de último nivel se evalúan según una escala Likert entre 1 y 5 donde se tiene en cuenta el cumplimiento de cada ítem, como se detalla en la tabla 6.

Tabla 6

Ponderación propuesta características ultimo nivel

Ponderación

Nivel de cumplimiento

1

Cumplimiento muy bajo

2

Cumplimiento bajo

3

Cumplimiento aceptable

4

Cumplimiento alto

5

Cumplimiento muy alto

Teniendo en cuenta las consideraciones anteriores, se construyó la primera matriz ponderada de evaluación heurística de usabilidad web propuesta para ser aplicada en las aulas virtuales de la Universidad Nacional abierta y a Distancia.

La matriz propuesta corresponde a una métrica directa (métrica de un atributo que no se deriva de ninguna métrica de otro atributo), e indirecta (métrica de un atributo que depende de una o más métricas de otro atributo), lo que permite arrojar el resultado de una equivalencia entre relaciones de dos o más atributos, y el nuevo valor que sirve como referencia para describir y evaluar el desglose de las características del sitio web.

La estructura de la matriz es un documento de hoja de cálculo que contiene, en el bloque superior, el encabezado para registrar los datos del aula a evaluar, el nombre del evaluador, la fecha y un espacio para la nota que se genera automáticamente. En el segundo bloque, se registra la puntuación considerada por el evaluador para cada una las características de último nivel, el cual está configurado con las fórmulas respectivas de acuerdo con las ponderaciones propuestas, con el fin de generar de forma automática los cálculos correspondientes al momento de ir registrando la información. Se evidencia además que en el bloque lateral derecho de cada atributo se encuentra un espacio para que el evaluador registre las observaciones pertinentes, que considere necesarias de acuerdo con su valoración.

La matriz propuesta fue sometida a evaluación por parte de tres (3) docentes con experticia en este proceso y con amplio conocimiento en el manejo de las aulas virtuales de la Unad, en razón a que tienen más de diez años con la institución.

El método utilizado, para que los evaluadores realizaran el proceso, fue un formulario en línea con diez y ocho (18) preguntas. De esta evaluación se obtuvieron varios comentarios que sirvieron de base para realizar ajustes y crear la segunda versión.

Los criterios utilizados en esta etapa fueron: claridad, utilidad y pertinencia de los atributos y las características del segundo y último nivel; se les solicitó a los evaluadores calificar los tres criterios por medio de una escala Likert entre 1 y 5; lo que permitió obtener un primer diagnóstico de la aceptación de la propuesta. En síntesis, se trata de la siguiente escala:

Tabla 7

Criterios de evaluación de la matriz propuesta

4_Heuristica%202.psd 

El criterio claridad, tuvo por objetivo medir la comprensión en la redacción de cada uno de los elementos de la matriz; en el segundo criterio, utilidad, se pretendió que el evaluador analizara la relevancia de cada uno de ellos; y el último tiene como fin, medir si las características de segundo y tercer nivel están relacionadas o no con el atributo.

De igual manera se planteó la siguiente pregunta encaminada a conocer la experticia en evaluaciones:

¿Ha participado en ocasiones anteriores en este tipo de evaluaciones?: Si/No

Los tres (3) evaluadores respondieron afirmativamente. Adicionalmente se solicitó que contestaran los siguientes interrogantes relacionados con el instrumento:

¿Cómo le pareció evaluar el instrumento? Muy difícil (1), Difícil (2), Neutral (3), Fácil (4), Muy fácil (5).

¿Considera que el instrumento cubre los aspectos más importantes para medir usabilidad web en las aulas virtuales de la Unad? Definitivamente no (1), No (2), Neutral (3), Sí (4), Definitivamente Sí (5).

¿Utilizaría ese instrumento para medir usabilidad web en aulas virtuales de la Unad?

Definitivamente no lo utilizaría (1), No lo utilizaría (2), Neutral (3), Sí lo utilizará (4), Definitivamente sí lo utilizará (5).

Como conclusión de la evaluación se evidencia que la matriz propuesta fue valorada satisfactoriamente por los tres evaluadores, como se muestra en la Figura 2, con una favorabilidad del 75% en la mayoría de las preguntas.

Fig. 2. Resultados de la evaluación

Fuente: autores

La recomendación más relevante fue la de establecer el mismo porcentaje para los cuatro atributos; la cual fue acogida, ajustando

la matriz para ser aplicada en el entorno real. Tabla 8, Matriz ponderada de evaluación heurística de usabilidad web.

Tabla 8

Matriz ponderada de evaluación de heurísticas de usabilidad web propuesta

15237.png

Basados en la recomendación, se calcula la calificación final del aula virtual de aprendizaje, ponderando cada uno de los atributos, así:

Calificación final =
0,25*C + 0,25*Ap + 0,25*E + 0,25*A

En donde, cada letra equivale al valor numérico de los atributos:

C = Comprensión

Ap = Aprendizaje

E = Eficiencia

A = Atractividad

2.4 Aplicación de la matriz en el entorno real

Una vez son definidas las métricas, se realiza la validación diagnóstica mediante la aplicación en el entorno real concreto, es decir en aulas virtuales de la Unad tanto por usuarios reales como por las autoras de este proyecto.

Parte de la evaluación realizada para la validación de los criterios heurísticos propuestos se realizó utilizando métodos de inspección como son las evaluaciones heurísticas.

Estas métricas implican dos partes bien diferenciadas para la evaluación de las aulas virtuales de aprendizaje; la validación de expertos y la recogida de información a través de encuestas.

Según (Ferreira, 2013), Los métodos de inspección se basan en normas generales y en la experiencia, habilidad y conocimiento de expertos, los cuales realizan un examen de la interfaz y emiten un juicio sobre la misma.

La validación por las autoras del proyecto, se realiza haciendo uso de la matriz ponderada de evaluación heurística de usabilidad web propuesta tabla 8, con las métricas definidas, que consiste en revisar mediante técnica de inspección manual una serie de parámetros y asignar una medida a cada uno. En concreto, se tuvo acceso a la plataforma con un perfil de usuario docente, en donde se realizó la revisión respectiva del aula virtual de un curso académico para conocer el comportamiento de acuerdo con los atributos propuestos en las métricas; finalizando con el diligenciamiento del puntaje obtenido por cada característica de último nivel solicitado en la matriz de hoja de cálculo.

En conclusión, los resultados de la evaluación por los docentes expertos, se puede resumir en la tabla 9, donde se muestra el comparativo por atributo, teniendo en cuenta que la máxima ponderación es 5.0 y la mínima es 0.0. Los dos evaluadores coincidieron en que el atributo con mayor cumplimiento es Comprensión, y Aprendizaje es el de menor porcentaje de cumplimiento.

Tabla 9

Comparativo por atributo, Experto, 1, vs Experto 2

4_Heuristica%206.psd 

Adicional a lo anterior, se aplicó el instrumento a más de 3.000 usuarios reales, activos del aula virtual, de diferentes programas, correspondientes a dos periodos académicos, utilizando un formulario en línea, que es un proceso rápido y eficiente por medio de la aplicación de una encuesta para conocer la percepción y el grado de satisfacción que tienen con relación al aula virtual de la Unad.

La encuesta está estructurada de acuerdo al rol del usuario, teniendo en cuenta los cuatro atributos ya definidos, como se ilustra en la tabla 10.

Tabla 10

Estructura encuesta a usuarios

4_Heuristica%20T.psd 

Con el fin de garantizar la validez y precisión de los resultados aplicados en el entorno real, se realizó un análisis de fiabilidad estadística, cuyos resultados son favorables según se evidencia en las tablas 11, 12, 13 y 14.

Estudiantes:

Tabla 11

Resumen del procesamiento de los casos a eliminación por lista basada en todas las variables del procedimiento.

 

N

%

Casos

Válidos

2118

75,5

Excluidos(a)

689

24,5

Total

2807

100,0

Fuente: autores

Tabla 12

Estadísticos de fiabilidad

Alfa de Cronbach

N de elementos

,937

43

Fuente: autores

Docentes:

Tabla 13

Resumen del procesamiento de los casos

 

N

%

Casos

Válidos

353

93,6

Excluidos(a)

24

6,4

Total

377

100,0

Tabla 14

Estadísticos de fiabilidad

Alfa de Cronbach

N de elementos

,845

20

Teniendo en cuenta que la muestra fue significativa, al ser consultados más de 3.100 usuarios, se considera información relevante que servirá de base para realizar validaciones posteriores, con la aplicación de otros instrumentos que pueden aportar a una conclusión definitiva.

Para medir las variables resultantes, se realizó una tabla de operacionalización que incluyó la escala Likert que se detalla a continuación:

Respuesta mala (0), Respuesta regular (1),

Respuesta buena (2), Respuesta muy buena (3)

Teniendo en cuenta la frecuencia promedio de cada uno de los criterios de respuesta; fueron asociados a la escala descrita anteriormente, para obtener el promedio de cada atributo. Un comparativo de los resultados de los docentes vs estudiantes; se detallan en la tabla 15, donde se puede afirmar de manera preliminar que la calificación que dan los usuarios finales al aula virtual de acuerdo con la escala Likert es “Buena”.

De acuerdo con la aplicación de la matriz ponderada de evaluación heurística de usabilidad web propuesta, arquitectura de la información es una de las características con más baja aceptación por parte de los usuarios.

Respecto a la interfaz de usuario, los resultados reflejan que los enlaces dispuestos en el aula no siempre son coherentes con su contenido; por ejemplo, en el caso particular de los foros, lo único que identifica este recurso es el ícono, más no su rótulo.

Tabla 15

Comparativos resultados docentes vs estudiantes

Atributo

Promedio
docentes

Promedio
estudiantes

Comprensión

2,0

2,1

Aprendizaje

2,5

2,5

Eficiencia

2,5

2,2

Atractividad

2,3

2,2

Promedio parcial

2,3

2,3

Promedio general

2,3

Calificación:

Buena

En cuanto a la interacción con el usuario, los resultados infieren que los atributos (colores, textos y diseño gráfico) de los entornos virtuales, la tabla de calificaciones, la sección de correo y el recurso foro, no son lo suficientemente amigables y atractivos.

Una de las posibles causas de deserción del estudiante nuevo, en la Unad, puede ser la falta de entendimiento en el uso de los recursos del aula virtual. La organización adecuada del sitio web es clave para que los usuarios comprendan cómo funciona y por lo tanto puedan realizar los procesos de manera fácil, rápida e intuitiva (Ferreira & Sanz, 2013); lo que permitiría aumentar su motivación al desarrollar las tareas en el aula virtual.

3. Conclusiones

Según (Ardito et al., 2006), la usabilidad juega un papel importante para el éxito de las aplicaciones de E-learning, si éste

no es lo suficientemente eficiente, dificultará el aprendizaje de los estudiantes, al dedicar más tiempo en aprender a usar el sistema en lugar de aprender el contenido de las asignaturas.

Se considera importante definir protocolos de evaluación de usabilidad web del aula virtual y aplicarlos con frecuencia en los procesos académicos (Mor & Galofré, 2007); con el fin de detectar debilidades de usabilidad y establecer planes de mejora.

A pesar de que existe una variedad de metodologías que permiten evaluar sitios web, se considera importante elaborar un instrumento que permita evaluar la usabilidad web en entornos virtuales de aprendizaje.

Este trabajo fue motivado por la necesidad identificada de proveer un instrumento que permita evaluar la usabilidad web, concretamente de la estructura de las aulas virtuales de la Unad; para ello se conformó una matriz ponderada de evaluación de heurísticas de usabilidad web, en donde se consolidaron los atributos de calidad del software planteados por el Estándar ISO/IEC 25010:2011 y algunas características de la política de gobierno digital del Estado colombiano, para continuar con la definición de las características de segundo nivel, personalizadas en el contexto de la Unad.

Cabe resaltar que la matriz, aunque es una versión preliminar, sí consolida los aspectos básicos de usabilidad web que se deben tener en cuenta en el momento de evaluar un aula virtual; este instrumento fue validado en el entorno real con usuarios finales y aulas virtuales vigentes. Se considera interesante, actualizarla con nuevas versiones de acuerdo con estudios posteriores.

4. Trabajo futuro

Partiendo del hecho que en este trabajo se desarrolló un primer avance en la definición de la matriz con los criterios heurísticos para evaluar entornos virtuales de aprendizaje, se hace necesario ampliar los estudios en este campo para proponer una definición más concreta de dicho instrumento que cubra en su totalidad la evaluación de las funcionalidades primordiales de las aulas virtuales de la Unad.

De igual manera se podría plantear incluir en la matriz general, ejemplos de las características de último nivel, con el fin de facilitar la revisión del evaluador.

Otro tema interesante para posteriores estudios son los procedimientos de etnografía aplicada a la experiencia de usuarios, utilizando técnicas de construcción de personas mediante una investigación directa de modelado de usuarios, tendientes a evaluar usabilidad web con usuarios finales del aula virtual.

Referencias

Alva, M. (2005). Metodología de medición y evaluación de la usabilidad en sitios web educativos. Tesis doctoral. Oviedo: Universidad de Oviedo.

Ardito, C., Costabile, M. F., Marsico, M. D., Lanzilotti, R., Levialdi, S., Roselli, T., & Rossano, V. (2006). An approach to usability evaluation of e-learning applications. Universal Access in the Information Society, 4(3), 270-283.

Blažič, B. J., Arh, T., & Blažič, A. J. (2014). An Approach in the Design of Virtual Environment for e‐Learning Based on Usability Studies. En: Proceedings of the 9th International Conference on e-Learning: ICEL 2014 (p. 95). Academic Conferences Limited.

Carvajal, M. & Saab, J. (2010). Lineamientos y metodologías en usabilidad para Gobierno en línea. Ministerio de Tecnologías de la Información y las Comunicaciones. Recuperado en: http://estrategia.gobiernoenlinea.gov.co/623/articles-8237_guia_usabilidad.pdf

Ferreira Szpiniak, A. & Sanz, C. V. (2007). Hacia un modelo de evaluación de entornos virtuales de enseñanza y aprendizaje. En: XIII Congreso Argentino de Ciencias de la Computación. Recuperado en: http://sedici.unlp.edu.ar/handle/10915/14184

Ferreira Szpiniak, A. & Sanz, C. V. (2013). Diseño de un modelo de evaluación de entornos virtuales de enseñanza y aprendizaje basado en la usabilidad. Tesis de maestría. Buenos Aires: Universidad Nacional de la Plata. Recuperado en: http://sedici.unlp.edu.ar/handle/10915/27128

Gonzalez M. P., Lorés J. & Pascual A. (2006). Evaluación heurística. Universitat de Lleida. http://griho.udl.es/ipo/pdf/15-Evaluacion-Heuristica.pdf

Guenaga, M. L., Burger, D., & Oliver, J. (2004). Accessibility for e-learning environments. Berlin: Springer Berlin Heidelberg.

ISO/IEC 9241-11:2018. (2018). Ergonomics of human-system interaction — Part 11: Usability: Definitions and concepts. Recuperada en: https://www.iso.org/obp/ui/#iso:std:iso:9241:-11:ed-2:v1:en

ISO/IEC 25010:2011. (2011). Systems and software engineering -Systems and software Quality Requirements and Evaluation (SQuaRE)- System and software quality models. Recuperada en: https://www.iso.org/obp/ui/#iso:std:iso-iec:25010:ed-1:v1:en

ISO/IEC 25000:2014. (2014). Systems and software engineering -- Systems and software Quality Requirements and Evaluation (SQuaRE) -- Guide to SQuaRE. Recuperada en: https://www.iso.org/standard/64764.html

ISO / IEC 14598-6:2001 (2001). Ingeniería de software - Evaluación de productos - Parte 6: Documentación de módulos de evaluación. Recuperada en: https://www.iso.org/standard/24907.html

ISO/IEC JTC 1:2014. (2014). Tecnología Información. Recuperadas en: https://www.iso.org/committee/45020.html

Kakasevski, G., Mihajlov, M., Arsenovski, S., & Chungurski, S. (2008, June). Evaluating usability in learning management system Moodle. En: Information Technology Interfaces, 2008. ITI 2008. 30th International Conference on (pp. 613-618). IEEE.

Krug, S. (2006). No me hagas pensar. Una aproximación a la usabilidad en la Web. Madrid: Pearson Educación S.A.

Mor, E., Domingo, M. G., & Galofré, M. (2007, September). Diseño centrado en el usuario en entornos virtuales de aprendizaje, de la usabilidad a la experiencia.

del estudiante. Recuperado en: https://pdfs.semanticscholar.org/
66cd/e191a5505adb94879afe90bfecf8f4968699.pdf

Olsina, L. (1999). Metodología cuantitativa para la evaluación y comparación de la calidad de sitios web. Tesis doctoral. Facultad de Ciencias Exactas. La Plata: Universidad Nacional de La Plata.

Olsina, L. Métricas, criterios yestrategias para evaluar calidad web. En: Jornadas de Actualización en Informática de la Facultad de Ingeniería, JAIFI’02. Recuperado en: http://www.sel.unsl.edu.ar/ApuntesMaes/Anteriores/CursoOlsina/Transparencias/Olsina_SanLuis_Metrics_Final.pdf

Olsina, L., Bertoa, F., Lafuente, G., Martín, M., Katrib, M. & Vallecillo, A. (2002). Un marco conceptual para la definición y explotación de métricas de calidad. En actas de Jornadas de Ingeniería de Software y Bases de Datos (JISBD’02), Madrid, España, noviembre. 2002.

Olsina, L., Lafuente, G. & Rossi, G. (2001). Specifying Quality Characteristic and Attributes for Web Sites. En: S. Murugesan y Y. Deshpande (Eds): Web Engineering. Managing Diversity and Complexity of Web

Application Development Notes in Computer Science. New York: Springer Verlag.

Paz Espinosa, F. (2013), Heurísticas de usabilidad para sitios web transaccionales.

Tesis para optar al título de Magíster en Informática con mención en Ingeniería de Software. Lima: Pontificia Universidad Católica del Perú.

 

 

¿Considera que el instrumento cubre los aspectos más importantes para medir usabilidad web en las aulas virtuales de la Unad?

3 respuestas

100%

Definitivamente no

No

Neutral

Definitivamente sí

¿Utilizaría ese instrumento para medir usabilidad web en aulas virtuales de la Unad??

3 respuestas

66,7%

33.3%

Definitivamente
no lo utilizaría

No lo utilizaría

Neutral

Sí lo utilizaría

Definitivamente
sí lo utilizaría

Fuente: autores