Résumé : La problématique de la cohérence entre le sens de l’apprentissage et l’usage des technologies est soulevée. L’élaboration d’un outil original est présenté.
télécharger 207.29 Kb.
|
3.4 Recherche expérimentaleQuels sont les apports pédagogiques de notre environnement informatique ? De multiples réponses peuvent co-exister, selon la perspective et le niveau d'analyse adoptés. Ici, nous parlons d'apport pédagogique lorsque l'installation et l'usage de certaines parties de l’environnement MathSV ont pour résultat l'amélioration objective et mesurable des résultats obtenus par les étudiants dans des exercices portant sur les contenus de cours, par rapport à l'enseignement dispensé au moyen des ressources traditionnelles. Nous avons mis en oeuvre une recherche basée sur la collecte de données provenant d'utilisateurs étudiants, faite dans des conditions contrôlées, et la quantification des résultats. Cette recherche a été coordonnée par Mônica Macedot-Rouet dans le cadre de son séjour post-doctoral (bourse de l’Agence Universitaire Francophone) au laboratoire URSIDOC à l’université Lyon I. Un protocole expérimental a été mis en place avec l'accord des enseignants. Un chapitre du site Web (le chapitre sur les équations différentielles) a été choisi comme sujet des tests de connaissance, de par son importance et sa place dans le programme. Avant de réaliser l'étude avec les utilisateurs, nous avons entrepris une évaluation par inspection de l’environnement informatique MathSV, en utilisant la grille ergonomique de Scapin et Bastien (1997). Une telle évaluation est recommandée comme faisant partie des mesures pour détecter des éventuels problèmes d'utilisabilité d'un site et suggérer des changements d'interface. L'inspection nous a permis de constater certains problèmes d'ergonomie (par exemple, un problème de guidage dans le groupement des items, exprimé par différents type de menus changeant d'une rubrique à l'autre et nous a conduit à suggérer des modifications, notamment sur l'organisation du contenu (format des menus), la typographie et couleurs employées, avec l'objectif d'améliorer l'ergonomie du site. Cependant, nous n'avons pas directement intégré ces modifications à la version Web définitive. Afin de nous assurer qu'elles représentaient de véritables améliorations ergonomiques, nous avons construit une version expérimentale (avec moins de liens hypertextes, moins de couleurs, une typographie simplifiée, une moindre densité informative), dite « version ergonomique », de MathSV et l'avons testée en comparaison à la « version initiale ». Nous avons décliné les deux questions posées (section 2.3) en cinq hypothèses : H1 - Utilité du cours écrit - La lecture du chapitre sur les équations différentielles aura un effet positif sur la compréhension du contenu, les étudiants ayant un meilleur score dans un test de connaissances après lecture de ce chapitre. H2 - Charge cognitive – H2.1 La « version ergonomique » aura un effet positif sur la perception de « charge cognitive » des étudiants par rapport à la « version initiale ». H2.2 La perception de charge sera moins importante pour les étudiants ayant une plus grande expérience avec les technologies. H3 - Ergonomie - Les étudiants travaillant sur la « version ergonomique » feront des parcours de navigation plus linéaires et consulteront moins de fois des pages déjà visitées que ceux sur la « version initiale ». H4 - Papier vs. site Web - Une version papier du même contenu (texte disposé linéairement sur papier) entraînera des résultats plus bas que ceux de la « version ergonomique » (idem pour la « version initiale »). H5 - Satisfaction et utilisabilité - Les étudiants travaillant sur la « version initiale » du site seront plus satisfaits que les étudiants travaillant sur la « version ergonomique » ou la version papier. Cette hypothèse est fondée sur le fait que les étudiants perçoivent positivement la technologie Internet/site Web et qu’ils sont attirés par le design original et attractif de la version initiale (schéma de couleurs, logos, typographie). Signalons que deux autres hypothèses ont été testées dans le cadre de cette recherche bien qu’elle ne soient pas directement liées à l’utilisation d’un environnement informatique. H6 - Besoin de cognition (la tendance d'un individu à s'engager et à tirer du plaisir des activités de réflexion) - Les étudiants avec un plus fort « besoin de cognition » (Cacioppo et al. 1984) auront des scores de compréhension meilleurs, quelque soit le mode de présentation. H7 - Croyances épistémologiques (la vision, plus ou moins naïve, d'un étudiant sur la connaissance et l'acquisition des savoirs) - La compréhension interagit avec les « croyances épistémologiques » (Schommer 1990, Mason 2005). Les étudiants qui croient plus fortement que « le savoir s’acquière rapidement (quick knowledge) », que « le savoir est simple (simple knowledge) » auront des scores plus bas. Pour tester ces hypothèses, cinq questionnaires ont été élaborés ainsi que deux tests de connaissances :
A ceci s’ajoute un programme de trace que j’ai développé afin de transformer les log bruts du site Web (gardant traces de toutes les actions des étudiants dans ce site) pour analyse. Nous nous intéressions en particulier au temps passé à répondre à chaque question, aux pages consultées (y compris sur plusieurs fenêtres différentes ouvertes en même temps), au nombre de pages cibles trouvées (celles où l’on sait que se trouve l’information utile pour répondre à certaines questions) en lien avec H3. Trois séances expérimentales ont été prévues pendant les heures de cours pour encourager une participation massive des étudiants. Trois sections ont participé à ces séances, soit environ 450 étudiants de 1er cycle en Biologie (75% de femmes, âge moyen 18.8 ans).
Pour la troisième et dernière séance expérimentale, les étudiants ont été répartis dans quatre groupes expérimentaux, par TT, selon le support de cours et d’exercices dont ils allaient disposer : Groupe 1 – « version initiale » du site (cours et test T2) Groupe 2 – « version ergonomique » du site (même contenu) Groupe 3 – polycopié (même contenu) Groupe 4 – pas de cours (uniquement T2, sur papier) Je ne vais pas ici détailler tous les résultats (Ney et al 2005, Macedo-Rouet et al 2006 et un article en préparation). Les résultats suivant ont été obtenu sur un échantillon de N=122 étudiants. Le résultat le plus significatif (du point de vue statistique) et aussi le plus étonnant est sans doute que les étudiants utilisant le polycopié résolvent plus d'exercices correctement que les étudiants utilisant MathSV, que ce soit la « version initiale » ou la « version ergonomique » (voir H4 et figure 3).
L’hypothèse H1 a été vérifiée puisque le groupe contrôle a eu des résultats significativement moins bons que les groupes ayant eu accès au cours. Par ailleurs, les étudiants trouvent plus facile d'utiliser le polycopié que le site (H5) et ce pour plusieurs raisons (clarté de la table des matières, lecture plus fatigante à l'écran, etc) et la majorité d’entre eux préfère imprimer le cours plutôt que le consulter en ligne. De plus, quelle que soit la version du site, les résultats des étudiants ne sont pas significativement différents en termes de performance. Il n’y a pas de différence significative globale sur Q5, quant à la perception d'utilisabilité ou de satisfaction. Sur certaines propositions cependant, il y a des différences entre « version initiale », « version ergonomique » et polycopié.
L’analyse des traces de navigation dans MathSV a confirmé que la version ergonomique n’apportait pas de gains, ni au niveau du temps, ni au niveau du nombre de pages cibles trouvées (celles contenant la bonne réponse). Cependant, des corrélations ont pu être établies. Pour en citer deux, il y a eu une corrélation positive (p>0.5) entre la performance de l’étudiant au test T2 et le temps qu’il a passé sur son questionnaire (0.39), entre sa performance et le nombre total de page visitées (0.40). Ces corrélations sont similaires pour les deux versions du site. L’hypothèse H3 n’est donc pas vérifiée.
Enfin, le questionnaire Q5 (NASA-TLX) n’a pas mis en évidence un effet positif de la « version ergonomique » sur la perception de « charge cognitive » des étudiants par rapport à la « version initiale » (H2). Pour conclure, les modifications apportées à la version initiale du site afin d'améliorer son ergonomie n’ont donc pas porté leurs fruits. De même, il n’a pas non plus été possible de mettre en évidence une perception de charge différente pour les étudiants ayant une plus ou moins grande expérience avec les technologies (corrélation Q1 et Q5, hypothèse H2.2). Par rapport aux expériences antérieures dans le même domaine, ces résultats confirment que l'apport pédagogique des sites Web peut s’avérer assez limité et qu’il importe de s’interroger sur les types de pédagogie qui bénéficieront réellement de ce genre de support. Notre interprétation de ces résultats est que les documents en ligne sur MathSV se sont avérés être moins bien adaptés que le polycopié dans un contexte de résolution d'exercices à l'aide de chapitres de cours, pour des raisons liées à la lisibilité sur écran et à la praticité de la consultation du support papier. En référence à la théorie de la charge cognitive (Sweller 1994), notre étude suggère que la notion de charge pourrait expliquer (au moins en partie) les différences de performance entre des individus utilisant un système d'informations sur papier et un système informatisé de type site Web. Avec le site, les étudiants doivent dépenser une partie de leurs ressources cognitives pour la navigation et la lecture à l'écran, et cela se fait au détriment de leur performance. Les leçons que l'on peut tirer de cette recherche expérimentale sont toutefois limitées sur au moins deux points. Notre expérience s'est déroulée sur une période de temps restreinte et propose une photographie instantanée alors qu’une analyse à long terme pourrait révéler des différences, notamment au niveau de la rétention de l’information. De plus, l'usage d'un environnement informatique constitue un phénomène relativement nouveau dans l'enseignement universitaire, auquel les étudiants pourraient s'habituer dans les années à venir, ce qui pourrait changer leurs attentes quant à ce dispositif. Enfin, notre étude concerne seulement un usage particulier des sites Web, à savoir la recherche d'informations pour répondre à des questions. En particulier, cette recherche d’information a été construite à partir d’une seule source, et qui plus est, très structurée et linéaire : organisée en sous-chapitres de cours, sachant que les énoncés des questions évoquent souvent les titres de ces sous-chapitres. On peut se demander si les résultats seraient inversés dans le cas d’une recherche d’information plus ouverte et moins structurée. En effet, de Vries et al (2006) rappellent que selon la théorie de la flexibilité cognitive les étudiants ayant un rôle actif pour chercher et étudier l’information (ils se construisent leurs propres parcours dans l’espace d’information) peut produire des effets sur la qualité de leur productions. Cette recherche expérimentale qui s’est déroulée durant l’hiver 2004 a été conçue sur la base des Travaux Tutorés tels qu’ils avaient été mis en place à l’origine, c’est-à-dire essentiellement comme des séances de travail sur le cours via les QCM. Une nouvelle pédagogie impliquant un nouvel usage de MathSV a été mise en place au printemps 2004 et sera présentée dans la section qui suit. Il serait intéressant d’en évaluer les apports pédagogiques par une nouvelle recherche expérimentale (cela n’a pas été fait à ce jour). |
similaire:
 | «bruit médiatique» rend l’usager passif et nuit certainement à ses interactions productives avec le programme qui, après tout, est... | | «( ) la science des relations des organismes avec le monde environnant, c'est-à-dire, dans un sens large, la science des conditions... |
| «au travers» des obstacles à l’apprentissage dont les principaux sont : les "conceptions" des élèves | | «idéaliste» (au sens philosophique du terme); c’est pourquoi, dans la mesure où sa théorie s’oppose à cette approche idéaliste, on... |
| ... | | |
| «aire») est suivie, en recensant les sites de reproduction utilisés pour chacune d’elles. La colonie reproductrice est constituée... | | «Toute confusion entre connaissance et valeurs est interdite», et du physicien Steven Weinberg : «Plus l'univers nous semble compréhensible,... |
| |