Taille police

SCREEN

Profil

Mise en page

Style du menu

Cpanel

Guide du gestionnaire (guide général)

 

 GuideGestionCe texte est fondé sur le document :

Stratégies d’assurance qualité des ressources d’enseignement et d’apprentissage (REA) - Guide à l’attention des gestionnaires
par  Karin Lundgren-Cayrol, Ph.D., avec collaboration d’Ileana de la Teja, Ph.D. et Suzanne Lapointe,TÉLUQ, pour le groupe GTN-Québec, février 2007)

Adapté par Gilbert Paquette, août 2012


Table des matières


 Introduction

Pour assurer la qualité d’une banque de ressources d'enseignement et d'apprentissage (REA), l’orchestration de différentes expertises est incontournable. Compte tenu de la diversité des connaissances requises, il est fort probable que la responsabilité de la qualité d’une REA repose sur plusieurs individus qui doivent coordonner leurs tâches tout au long des phases de gestion d’une REA.

On constate l’apparition de nouveaux acteurs, en plus  de l'utilisateur (ou ré-utilisateur) et du contributeur/fournisseur de ressources, tels que l'évaluateur des ressources (souvent un comité d'évaluation) et l'expert en référencement ou indexeur, ainsi que l’attribution de nouvelles tâches pour d’autres acteurs. Les actuels bibliothécaires, par exemple, pourraient devenir des experts en référencement de REA. Ils devront cependant travailler en collaboration avec les technologues et les experts de contenus dans l'évaluation des ressources.

Tous ces acteurs, réunis dans une "Équipe de projet", interagissent à travers un système de gestion de banques de ressources comme COMÈTE afin de mettre en place et de gérer une banque de ressources. Les principales tâches de chacun des   acteurs est résumée ci après.  Des guides spécifiques sont consacrés aux acteurs Contributeur/fournisseur, Évaluateur, Indexeur et (Ré-)utilisateur. 

Le présent guide est destiné principalement au gestionnaire de la banque de ressources, qui joue un rôle pivot dans une équipe de projet.

Acteurs Principales tâches
Équipe de projet Cette équipe regroupe tous les principaux participants à une banque de ressources. Elle analyse les besoins, élabore des stratégies d'assurance qualité et coordonne la mise en place et la gestion de la banque de ressources.
Gestionnaire Clarifie les besoins, sollicite des contributions, identifie et voit à la correction des problèmes, gère l'équipe de projet et assure la mise en place et la gestion de la banque de ressources.
Contributeur/
Fournisseur
Suit les politiques établies par l'équipe, propose des ressources ou de nouvelles banques à moissonner, produit les métadonnées relatives au contenu.
Évaluateur Suit les politiques établies par l'équipe, utilise des grilles d'évaluation, donne un feedback au fournisseur sur l'acception de la ressource, transmet les ressources acceptées  à l'indexeur.
Indexeur (expert en référencement)
 
Applique le standard de référencement retenu, entre et vérifie les métadonnées, identifie les erreurs de référencement et vérifie le degré d'interopérabilité.
(Ré)-utilisateur Utilise les politiques de la banque, ainsi que les fonctions d'évaluation à sa disposition pour annoter les ressources après usage.
 
Tel qu’illustré dans la figure en tête du guide, les stratégies de qualité reposent sur quatre (4) pivots :
- le schéma de métadonnées
- la réutilisation annotée par les usagers
- la contribution contrôlée par des évaluations de divers acteurs à partir de critères précis et
- l’ingénierie pédagogique utilisée lors de la conception de la version initiale d'une ressource.

Ces facteurs doivent être analysés à la lumière de quatre (4) dimensions de base : pédagogique, médiatique, technique, interopérabilité-accessibilité.

Partie I : La mise en place de la banque de ressources

Le processus de mise en place et de gestion d'une banque de ressources s’apparente à celui de la gestion de l’innovation. Lors de la mise en place d’une banque de REA, plusieurs décisions doivent être prises qui ont une incidence directe sur le niveau de la qualité de la banque. Ces décisions sont schématisées par le processus d'assurance qualité illustré sur la figure suivante.

Processus Q4R

Ce processus qualité, inspiré du projet Q4R (Quality for reuse), comporte quatre (4) phases:

  • une analyse des besoins que la banque de ressources doit satisfaire. Cette première phase réalisée par l'équipe de projet permet de : i) faire la liste des besoins et des contraintes ; ii) déterminer les objectifs et la mission de la banque de ressources; et iii) identifier les politiques qui guideront l'utilisation et l'évolution de la banque, ainsi que les outils technologiques et méthodologiques à la disposition des différents participants;
  • l'élaboration des politiques et des instruments destinés aux différents participants, leur facilitant l'utilisation et la gestion de la banque de ressources;
  • l'évaluation et le retour d'expérience de l'utilisation de la banque, dans le but d'en maintenir la qualité;
  • l'examen des retours d'expérience pour l'amélioration des analyses, des politiques et des outils. 

Cette section porte sur les principales tâches des deux premières phases.  Les tâches des deux autres phases seront traitées dans la seconde partie de ce guide.

1.1  Analyse des besoins

Il importe de toujours produire une analyse de besoins en consultant les divers usagers et artisans de la banque de ressources. Il faut s'assurer que le projet est voulu par l'organisation qui l'implante et examiner les impacts et les bénéfices pour l'organisation et les usagers.
 
Pour établir le niveau de qualité qui sera soutenu par la banque, il importe dès le départ d’établir très clairement les types d’utilisateurs que la banque de REA desservira et de définir avec précision leurs besoins respectifs. Ces informations, conjuguées aux objectifs de l’organisation responsable de la banque, permettront de déterminer la mission de la banque et d’en dégager des objectifs primaires et secondaires. Plus cette information est établie clairement, plus il sera possible par la suite d’établir des critères de qualité et de les appliquer.
 
               Identifier les utilisateurs et leurs besoins
           Formuler le but et les objectifs de la banque
           Déterminer les contraintes

Produit : Document de mission

Analyse préliminaire

  • Si une nouvelle architecture est envisagée pour la banque de ressources, étudier sa compatibilité avec l'infrastructure technologique actuelle.
  • Établir les orientations de la banque en lien les politiques de votre organisation en matière de propriété intellectuelle et d'utilisation des ressources d'apprentissage.
  • Consulter les membres de différents groupes au sein de votre organisation au sujet du projet de banque - est-il souhaité ou non ?
  • La création d’une banque de ressources va-t-elle impliquer de la formation à son utilisation ?
  • Décider d’adhérer à un réseau de banques de ressources existant; quelles banques de ressources moissonner; quelle sera votre propre contribution.
  • S’agit-il de construire ou d’adapter un répertoire existant, de l'offrir au moissonnage ou pas ?

 Rédiger le document de mission

  • Formuler les énoncés de buts et objectifs, de mission et de vision pour la banque de ressources.
  • Identifier tous les usagers potentiels i.e. qui va utiliser votre banque ?
  • Dans les établissements des niveaux primaire et secondaire, vos usagers et fournisseurs seront probablement des directeurs de programmes, des conseillers pédagogiques, des enseignants, des éditeurs de manuels scolaires. Consultez les commissions scolaires, les écoles, les éditeurs et faire des annonces dans les publications et les sites internet professionnels.
  • Dans les institutions postsecondaires, vos usagers et fournisseurs seront fort probablement des experts, des concepteurs pédagogiques, des professeurs, des chercheurs. Contactez les départements des collèges et des universités et leurs services média ou de conception pédagogiques.
  • Dans les organisations et les entreprises, vos usagers et fournisseurs seront fort probablement des formateurs, des consultants organisationnels, des superviseurs (''coaches'') et des spécialistes de contenu. Contactez les départements / services de formation, de ressources humaines et de soutien à la performance et des consultants en technologie éducationnelle.
  • Identifier les types de ressources d'enseignement et d'apprentissage (REA) que votre banque va héberger, i.e. est-ce que : 
  • Tous les types de ressources vont être acceptés
  • Seulement des ressources SCORM
  • Seulement des clips vidéos
  • etc.
  • Définir le schéma de métadonnées et le profil d'application auxquels adhérer : i.e.
  • IEEE-LOM
  • Dublin Core
  • ISO-MLR
  • etc.
  • Identifier les mécanismes de communications de la banque, par exemple :
  • Une interface Web d’accès au référentiel avec des fonctionnalités de recherche et d'exploration
  • Une interface Web d’accès au référentiel et des fonctions d’appui à une communauté de pratique
  • Une interface Web d’accès au référentiel liée à un système de gestion de la formation (LMS), des blogues, des forum, etc.
  • Choisir des mécanismes d'étiquetage des ressources, par exemple :
  • Faire la liste des contraintes et des projets qui ont une incidence sur la banque de ressources, i.e.
  • La banque de ressources doit être compatible avec le gestionnaire de ressources (LMS)
  • La banque doit respecter les politiques existantes
  • Les REA doivent afficher clairement la propriété intellectuelle i.e. en utilisant Creative Commons

Références utiles

http://www.nightingale.com/mission_select.aspx?promo=INTBAx139v1                          Writing mission statements (en anglais)
 
Defining and articulating your vision, mission and values (en anglais)
 
http://www.jiscinfonet.ac.uk/infokits/mission-vision-values/                                              JISC InfoKit (Grande-Bretagne - en anglais)
 
Banque de développement du Canada
 
http://www.canal-u.tv/video/ centre_d_enseignement_multimedia_universitaire_c_e_m_u/culture_numerique_17_delicious_et_le_social_bookmarking.8430
Le social bookmarking

1.2 Déterminer les politiques de propriété intellectuelle, d'édition et de contribution

À cette étape, il importe de définir clairement les politiques que les parties prenantes s’engageront à respecter, d’obtenir un commun accord et une compréhension commune sur la propriété intellectuelle et sur la responsabilité de chacun, ainsi que sur l'édition et la contriubtion des ressources. Les politiques sont importantes pour clarifier les responsabilités des acteurs, faciliter la planification des opérations et chosir/construire les outils d'assistance.

Il y trois politiques particulièrement importantes : la politique de propriété intellectuelle, la politique éditoriale et la politique d'évaluation et de rétroaction.

Produit : Document des politiques de la banque de ressources

1.2.1 Politique de propriété intellectuelle

  • Décider si les REA seront libres d’accès et quelles licences libres (cf. Creative Commons) seront utilisées
  • Identifier les responsables du respect de la propriété intellectuelle
  • Distinguer, s'il y a lieu, quelles REA qui seront offertes gratuitement et celles qui seront payantes

Produit : Document de politique de propriété intellectuelle

1.2.2 Politique éditoriale

Cette politique vise à assurer la qualité des ressources. Elle contient des critères sur les dimensions pédagogiques, culturelle, techniques et ergonomiques (accessiblité). Voir à cet effet la section 2 du présent guide et le guide de l'évaluateur. Il est question ici de la spécification du type de REA, du choix d’un profil de métadonnées et du niveau de qualité recherché.

Produit: Document de politique éditoriale

→   Spécifier le type de REA :

PyramideLes REA peuvent prendre des formes multiples. La banque pourra être spécialisée (ex. : scénario IMS-LD, Paquet SCORM, photos, etc.) ou comprendre tous ces types. De même, il est possible de réaliser une banque qui s’apparente à une collection spécialisée à un domaine, ou traitant de plusieurs domaines. Ces choix seront conditionnés directement par le type d’utilisateur visé par la banque. De plus, les critères de qualité ne seront pas les mêmes dans un cas comme dans l’autre. En général, on constate que plus une banque contient des ressources spécifiques et est limitée à une communauté, plus ses stratégies d’assurance qualité seront strictes.

La capacité de réutilisation d’une REA dépend en grande partie de sa granularité. D’après les travaux de Flory (2004), plus la granularité d’une REA est fine, moins cette dernière est décomposable et ses parties sont plus difficiles à modifier. C’est le cas d’une question ou d’une image. Par contre, une REA à granularité fine peut être assemblée facilement à d’autres REA et permettre la création d’une nouvelle REA. Un exemple est l’assemblage d’une question dans un questionnaire. Plus la ressource sera petite, plus ses capacités de réutilisation seront grandes. Par contre, plus une ressource est liée à son contexte (par exemple : objectifs, programmes, collections), moins elle sera réutilisable telle quelle.

→   Déterminer le type de métadonnées

Le rôle des métadonnées est de pouvoir décrire une ressource de façon à faciliter le repérage pendant une recherche et de fournir assez d’information à l’usager pour qu’il puisse faire une sélection rapide, sans avoir à l’évaluer longuement.

Le LOM (Learning Object Metadata) demeure la norme de référencement la plus répandue. Chaque profil d’application ou adaptation de ces normes sélectionne les éléments convenant à leur contexte. Par exemple, le profil Normetic 1.2 a adopté une approche avec trois volets de ces données et des éléments requis, recommandés et facultatifs dans chaque groupe de données. Les banques Eurêka, MuREA et REA.UQ en font usage. La norme Dublin Core (DC) est également très utilisée. Cependant, ces normes vont avoir tendance à être remplacées par l’approche beaucoup plus flexible « Web de données », à la base du nouveau standard ISO-MLR (Metadata for Learning Resources).

→   Déterminer le niveau de qualité de la banque

Dépendamment si l'accent est mis sur la qualité ou sur la quantité, il existe une variété de choix. Si la qualité est plus importante, il faudra utiliser une ensemble de moyens tels que :

  • contrôler l'appel à contribution, choisir les contributeurs,
  • mettre en place un comité d'évaluation,
  • assurer la révision des ressources par les pairs,
  • favoriser l'annotation des ressources par les usagers.

À l'autre extrême, si la quantité est valorisée, toutes les ressources proposées seront acceptées, mais des mécanismes de rétroaction doivent être prévus tels que l'annotation ou l'indexation sociale (social tagging) afin d'assurer un certain niveau de qualité. 

Il existe plusieurs critères et méthodes pour évaluer la qualité d’une REA. Les évaluations peuvent avoir cours à toutes les phases de gestion de la REA : conception, publication, réutilisation. Ainsi, dès la mise en place de la banque, on peut établir qui sera en charge de la qualité et on pourra établir quand et comment se fera l’évaluation.

On peut aussi mettre en place plusieurs solutions intermédiaires. Par exemple, il est possible de séparer la banque en plusieurs divisions. Une première où la qualité des REA est identifiée et certifiée, et une autre où les REA peuvent être de bonne qualité, mais aucun processus n’a été mis en place pour l’évaluer. L’utilisateur effectue alors la recherche en toute connaissance de cause. L’important c’est de documenter le niveau de qualité et d’être consistant.

Dans les banques obtenues par moissonnage d’un grand nombre de banques, celles-ci seront décrites dans le registre des banques, lequel devrait préciser les orientations de chacune, de sorte que les gestionnaires pourront choisir en connaissance de cause lesquelles seront moissonnées.

Quelques références utiles (sur les politiques) :

1.2.3 Politique d'évaluation et de rétroaction

Cette politique doit expliquer comment établir une procédure suivant laquelle chaque ressource est évaluée avant d'être acceptée par la banque. Les politiques de la banque précisent en général les exigences pour qu'une ressource soit acceptée. Les évaluations peuvent prendre plusieurs formes :

  • Évaluation par des experts - Dans ce cas, un comité d’édition composé d’experts évalue la qualité des ressources afin de décider si celles-ci satisfont aux normes minimales de qualité de la banque. Les experts peuvent aussi attribuer un rang, noter, ou classer les ressources par catégorie. Ces cotes d'évaluation peuvent être ajoutées aux métadonnées afin d'aider les utilisateurs potentiels. Voici quelques conseils pour établir un processus d'évaluation par des experts :
  • Établir des critères clairs d'acceptation afin de faciliter le processus d'évaluation
  • Recruter des réviseurs pour venir compléter les critères d'acceptation
  • Recruter plusieurs experts réviseurs additionnels qui pourront être requis en tout temps. De cette façon les évaluateurs peuvent être utilisés à tour de rôle, sans surcharger un évaluateur en particulier.
  • Établir des arbres de décision afin d’accélérer le processus d’évaluation. Des échelles numériques sont utiles car elles fournissent une base simple pour l’acceptation ou le rejet des ressources.
  • Évaluations par les pairs – Les évaluations par les pairs sont généralement effectuées après qu'une ressource ait été acceptée, soit avant, soit après sa publication. Les évaluations par les pairs sont habituellement faites par d'autres concepteurs pédagogiques et auteurs de ressources. Alors que les évaluations par les experts servent à déterminer si une ressource devrait être acceptée dans une banque, celles par les pairs sont réalisées pour fournir de l’information à l’intention d’autres usagers. Voici quelques conseils pour établir un processus de révision par les pairs :
  • Établir des critères d'évaluation clairs
  • Construire un outil d'évaluation dans l'interface de la banque
  • Automatiser les processus de collecte et de publication des résultats d'évaluation  

1.3 Déterminer l’infrastructure technologique

La mise en place d’une banque de REA est un processus qui requiert une analyse technique.  Les technologies utilisées (base de données, référentiels) sont généralement bien maîtrisées par les programmeurs de l’institution, mais elles évoluent rapidement. Les choix technologiques auront un impact sur la qualité du service lors du repérage. Par exemple, des serveurs plus robustes, la maintenance de l’équipement, le niveau de service offert par l’organisation, etc.

Produit: Document d'infrastructure technologique

a. Faciliter la création de ressources par les auteurs-fournisseurs

La tâche du Gestionnaire consiste à fournir des orientations ou des directives pour mettre en place les outils suivants en vue de soutenir la création de ressources :

  • Outil logiciel de création – Un outil logiciel de création est toute application qui aide à automatiser la création de REA. Défini ainsi, un traitement de textes est un logiciel de création. Même si ceci est exact, les auteurs doivent remanier les documents de traitement de texte de manière assez exhaustive avant qu'ils puissent être utilisés comme ressource d'apprentissage. Un outil logiciel de création efficace prend en charge les parties automatiques de ce processus, de sorte que l'auteur se concentre uniquement sur la création et la mise en séquence des contenus d'apprentissage.
  • Modèles pour la rédaction/création de ressources - Des modèles pour la création sont des formulaires (OU gabarits) préformatés qui doivent simplement être remplis de contenus pour être complets. Les modèles sont utiles dans la mesure où les auteurs ont simplement à se préoccuper des contenus d'apprentissage. Les modèles peuvent même faciliter la création de contenus, en rappelant aux auteurs les aspects pédagogiques requis d'une ressource d'apprentissage. Par exemple, si le répertoire exige que toutes les ressources aient des objectifs spécifiques d'enseignement, alors les modèles devraient comporter une section à compléter sur les objectifs.
  • Directives relatives à la production de contenu– Les directives relatives à la production de contenu en général ont une double fonction :
  • Elles décrivent les exigences de la banque de ressources relatives à la création de ressources, par exemple : "Toutes les ressources doivent comprendre des objectifs, une introduction, un texte principal et un résumé."
  • Elles donnent également aux auteurs des conseils qui peuvent faciliter la création. Ces genre de directives sont parfois appelées ''Trucs utiles" ou "Conseils pratiques"

Interoperabilité avec les principaux logiciels /programmes de création de contenu (eg. Word, Dreamweaver, Joomla, Wordnet, Powepoint, Camtasia). - Certains auteurs sont plus à l'aise pour travailler avec des logiciels avec lesquels ils sont familiers. Si la banque exige que les ressources soient dans un certain format, ou qu'elles soient créées avec l'outil logiciel de création de la banque, certains auteurs pourraient ne pas être intéressés à contribuer. Par contre, si la banque peut intégrer des fichiers produits avec différents logiciels / programmes, cela peut réduire cet obstacle à contribution pour plusieurs auteurs potentiels.

b. Faciliter le téléchargement de fichiers par les fournisseurs

Le gestionnaire devrait donner des directives sur comment les auteurs peuvent acheminer / déposer leurs ressources dans le répertoire. Il devrait donner des indications sur :

  • des procédures de téléchargement simples (se souvenir de la règle des « trois clics » : les auteurs ne devraient pas avoir à cliquer plus de trois fois pour télécharger la ressource)
  • Des procédures de conversion simples/aisées

Si les auteurs n'utilisent pas le logiciel de création de contenus fourni par la banque alors ils auront besoin d'un moyen pour acheminer leurs ressources dans la banque. En plus, ils vont avoir besoin d'une façon de convertir leurs fichiers dans un format acceptable pour la banque. Cette procédure devrait être la plus simple possible pour les auteurs (se souvenir de la règle des « trois clics » !). Des procédures de téléchargement et de conversion complexes frustrent rapidement les usagers, quelles que soient leurs compétences techniques.

c. Faciliter la saisie des métadonnées aux indexeurs

Cette partie du processus peut définitivement bénéficier d'un gabarit. Les métadonnées sont de l'information qui décrit la ressource d'apprentissage. De bonnes métadonnées remplissent plusieurs rôles, dont faciliter le classement des ressources et, pour l'utilisateur, rendre plus faciles la recherche, le repérage et la consultation des ressources.

Toutefois, de bonnes (fiches de) métadonnées prennent du temps à créer et cela en soit peut décourager les auteurs potentiels. Le gestionnaire devrait obtenir ou des créer des gabarits de saisie des métadonnées à l’intention des indexeurs. Les gabarits de métadonnées simplifient le processus, en guidant les indexeurs et les auteurs de ressources à travers chaque étape du processus. Par ailleurs, certains outils permettent de créer automatiquement ou semi-automatiquement certaines métadonnées, partout où c’est possible.

d. Rendre la recherche et le repérage plus facile et efficace pour les réutilisateurs

Un problème fréquemment invoqué est que les réutilisateurs ont de la difficulté à trouver les ressources dont ils ont besoin quand ils en ont besoin. Les gestionnaires de banques de ressources doivent recevoir un soutien pour développer des dispositifs de soutient aux usagers efficaces et faciles d’emploi. Tel qu'indiqué précédemment, de bonnes métadonnées ainsi que les rétroactions des usagers fournissent de précieux renseignements sur les ressources. Cette information devrait faciliter le repérage de ressources adéquates. Voici quelques conseils pratiques aux gestionnaires pour faciliter la recherche de ressources

  • Copier le succès – Trouver quelles banques ou dépôts électroniques similaires ont des stratégies de recherche réussies et s'inspirer de ces réussites pour essayer de les appliquer à votre banque / dépôt.
  • Adopter Google pour trouver des ressources et les mécanismes de recherche de Google dans l'engin de recherche de la banque.
  • Rendre les ressources de la banque visibles à Google et à d’autres engins de recherche pour que n’importe puisse trouver les ressources de la banque travers une recherche sur le web.

e. Faciliter le téléchargement de fichiers aux réutilisateurs

Une fois qu’un usager a décidé d’utiliser une ressource, il est important que l’expérience soit la plus conviviale possible. Amener la ressource jusqu’au client est le premier pas. Les gestionnaires de banques doivent s’assurer que :

  • Les ressources peuvent être aisément téléchargées en 1 ou 2 clics maximum
  • Les ressources téléchargées sont dans un format courant qui peut se lire avec des applications informatiques aisément disponibles (navigateurs, logiciels de présentation, traitements de texte, lecteurs pdf)
  • Si le fichier peut seulement se lire à l’aide d’un logiciel spécial, cette application devrait être fournie en même temps que la ressource ou, encore mieux, elle devrait être intégrée dans la banque de façon déjà ce que l’utilisateur puisse consulter la ressource directement.

 Références utiles :

1.4 Instrumentation du processus et des acteurs

La gestion d’une banque de ressources implique de produire les outils de support au processus de mise en place et de gestion de la banque de ressources. Outre les documents de mission, de politique et d'infrastructure technologique décrits précédemment, il faut produire des guides méthodologiques (adaptés de ceux présentés dans le présent portail) pour soutenir les différents acteurs. Le présent guide remplit cette fonction pour le gestionnaire et son équipe de projet. D'autres guides sont proposés sur ce portail, mais ils devront être précisés et adaptés en fonction des besoins de chaque projet.

Produit : Des guides et des listes de contrôle (''checklists'') pour chaque acteur

Voici une liste des tâches du gestionnaire et celles des autres acteurs.  Celles-ci sont reproduites ici, car il est important que le gestionnaire connaisse les principales tâches des autres acteurs.

Partie 2 : Stratégie qualité d'une banque de ressources

Dans le processus d'utilisation, de gestion et de rétroaction d’une ressource d’enseignement et d’apprentissage (REA), il est possible de distinguer trois phases principales dans le cycle de vie d'une ressource :

  1. Conception de la REA
  2. Publication de la REA dans la banque
  3. Réutilisation de la REA

Ces phases sont assujetties à des décisions concernant le type de banque de REA, la politique de propriété intellectuelle et le profil de métadonnées choisi. Pourtant, comme on le verra dans les sections suivantes, à chaque phase de gestion correspondent des procédures et des caractéristiques particulières.

Il importe que le gestionnaire de la banque applique le principe de simplicité, c’est-à-dire qu’il fournisse des outils et des processus simples à suivre et à contrôler. Par exemple, si la REA a été réalisée, produite et/ou validée par des experts selon des méthodes pédagogiques connues, il n’est pas nécessaire de faire des évaluations au moment de la publication.

Le processus d’évaluation des ressources, en particulier, doit être documenté et être accessible à tous les usagers de la banque. Ainsi, les utilisateurs, les concepteurs et autres pourront juger du niveau de qualité exigé dans cette banque.

2.1 Phase 1 - Conception de la REA

La qualité d’une REA peut être évaluée selon trois dimensions :
- la dimension pédagogique et culturelle
- l’accessibilité et l'ergonomie
- l’interopérabilité et la qualité technique

2.1.1 La dimension pédagogique et culturelle

Le fait d’utiliser une méthode d’ingénierie pédagogique reconnue et spécialisée selon le type de ressource à concevoir permet de garantir davantage de qualité pédagogique. Il est possible alors de vérifier que tous les éléments sont couverts de façon cohérente et claire pour l’apprenant.

Il est suggéré de créer les scénarios pédagogiques en collaboration. Ainsi, on fera intervenir des experts en technologie éducationnelle et des experts de contenus, des responsables de la médiatisation, etc. Le fait d’impliquer des acteurs détenant une expertise variée assure en général un design pédagogique de haute qualité.

On s’assurera à cette étape que les problèmes reliés à la propriété intellectuelle sont résolus. Ainsi, on dégagera les droits d’auteur ou on identifiera les licences applicables. On indiquera clairement les parties qui peuvent être réutilisées et on fournira l’information sur les personnes qui ont contribué à la conception et au développement de la ressource.

L’indépendance de la REA devrait être assurée. Chaque REA devrait référer à un objectif d’apprentissage spécifique. Il est suggéré de décomposer la REA en unité d’apprentissage pouvant être réutilisée de façon indépendante. Finalement, il est suggéré de décrire le contexte de réutilisation de la ressource pour en assurer la meilleure intégration possible dans les modules ou les cours.

Finalement, la réutilisablité culturelle de devra être évaluée, non seulement sur le plan de la langue, mais aussi des valeurs des usagers de la ressource réutilisée: compétition/collaboration, attitude en regard de l'autorité, situations ouvertes ou ferméer, etc.

2.1.2 L’accessibilité et l'ergonomie

L’accessibilité implique de concevoir une REA d’une telle façon qu’elle est à la disposition de tous les individus, quels que soient leur matériel ou logiciel, leur infrastructure réseau, leur langue maternelle, leur culture, leur localisation géographique, ou leurs aptitudes physiques ou mentales. Au point de vue qualité, ce principe rend la ressource plus réutilisable.  Voici quelques questions à se poser sur ce plan :

  • Le langage est-il simple ?
  • L'interface est-elle dans la langue de l'utilisateur ?
  • L'interface minimise-t-elle la charge en mémoire de l'utilisateur ?
  • L'interface utilisateur est-elle cohérente et facile d’utilisation?
  • La rétroaction prévue dans la ressource est-elle visible ?
  • Les points de sortie sont-ils clairement indiqués ?
  • Y a-t-il des raccourcis ?
  • Les messages d'erreur sont-ils explicites ?
  • Existe-t-il des moyens / systèmes pour détecter et corriger des erreurs ?
  • Y a-t-il une aide en ligne ?

C’est afin de promouvoir l’accessibilité du Web que le W3C a créé le projet WAI (http://www.w3.org/WAI) . À titre d’exemple des recommandations qui sont faites par cet organisme aux concepteurs de sites Internet, on peut citer l’utilisation :

→    d’un texte alternatif pour décrire le contenu et la fonction de chaque élément ;
→    de légendes et transcriptions pour les documents audio, et de descriptions pour les vidéos;
→    d’énoncés pertinents hors contexte pour les liens hypertextes. 

Au Canada, le projet TILE énonce un ensemble de mesures favorisant l’accessibilité : http://barrierfree.ca/tile/index.htmLe projet Web4All développé par l'Adaptive Technology Resource Centre (ATRC) va dans le même sens : http://web-4-all.ca/html/french/w4a_home_f.html

En ce qui a trait à l’ergonomie, plusieurs critères ont été proposés par différents auteurs pour évaluer la qualité ergonomique d’une REA. Voir les listes de critères dans l’annexe du guide de l’évaluateur d’une ressource.

Références utiles :

2.1.3 L’interopérabilité et la qualité technique

Pour ce qui est de l’interopérabilité, Koper, Pannekeet, Hendriks & Hummel (2004) proposent trois exigences de qualité :

  1. Les conditions techniques qui rendent les REA interopérables sont sans erreur.
  2. Les processus techniques de base qui permettent l’échange sont bien identifiés : interopérabilité des banques, protocoles qui se parlent, etc.
  3. Les politiques d’échanges sont établies :
    • l’information aux utilisateurs de la banque est mise à jour d’une façon constante 
    • la formation en ce qui concerne l’échange, la conception et la réutilisation d’une REA est disponible et appropriée par rapport aux besoins des contributeurs visés par la banque. Par exemple, il y a une formation sur les méthodes et restrictions par rapport à certains standards, tels qu’IMS LD, SCORM, IMS-QTI, etc. 

 Selon Gold practices il existe trois principaux types de tests d’interopérabilité qui sont importants pour assurer et conserver une haute qualité dans une banque de ressources.

  •  Tests de conformité – Il s’agit du processus consistant à évaluer la conformité d’un produit avec la spécification ou la norme retenue. Plusieurs outils spécialisés de test sont utilisés pour exercer un contrôle sur un produit afin de déterminer si les bonnes actions et réactions sont produites. L’outil de test est normalement la seule application à laquelle le produit sous évaluation est connecté. Un test de conformité réussi augmente la probabilité d’interopérabilité avec d’autres produits qui ont également passé avec succès les tests de conformité.
  • Tests d’interopérabilité – Il s’agit du processus consistant à évaluer la capacité d’un système à échanger de l’information électronique utilisable par d’autres systèmes, tel que spécifié dans leurs documents de requis techniques.   Des outils spécialisés de tests sont utilisés pour suivre la performance de produits afin de déterminer si les bonnes actions et réactions sont produites. Un système est certifié comme étant interopérable lorsqu’il complète avec succès les tests d’interopérabilité.
  • Tests opérationnels - Il s’agit du processus consistant à évaluer la performance de  produits dans un environnement fonctionnel opérationnel. A cause des requis exigés des ressources pour générer des environnements réalistes, les tests opérationnels sont généralement effectués dans l’environnement dans lequel la banque de ressources sera déployée.

Voici quelques outils permettant de valider l’interopérabilité des REA dont les scénarios doivent se conformer à SCORM ou à la spécification IMS-LD

Liens/références utiles

http://www.scorm.com/products/scormengine.aspx

Ce site contient des outils pour construire des unités et diffuser des scénarios SCORM, IMSLD ainsi qu’un éditeur des métadonnées et content packaging. http://www.reload.ac.uk/

Ce site contient toutes les informations de base pour construire des scénarios compatibles avec cette spécification.
Ce site contient des ressources pour comprendre comment implémenter la spécification IMS LD.
Ce site contient une méthodologie d’implantation de la spécification IMS LD, un éditeur MOT+LD pour construire une unité IMS LD, une banque d’exemples d’unités d’apprentissage conformes. 
The Open Universiteit Nederland (OUNL) released the 3.0 version of CopperCore. CopperCore is world’s first open source IMS Learning Design Engine that supports all three levels of IMS Learning Design (A, B and C).

2.1.4 Contrôle de qualité d’une ressource

Le contrôle de qualité d’une ressource est généralement réalisé par un comité de pairs ou un comité responsable de la banque regroupant du personnel pouvant juger de la pertinence des contenus. Il sera important aussi d’impliquer du personnel plus technique pouvant juger de l’interopérabilité de la REA.

Il est suggéré d’analyser la réutilisabilité de la REA. Dans ce cas, la demande est analysée par un évaluateur ou un comité d’évaluation, en fonction de sa spécificité et à l’aide de critères de réutilisation. Est-ce que la ressource est particulière à un groupe d’individus? Réfère-t-elle à une situation précise d’apprentissage? S’agit-il d’un contenu pointu? Est-il applicable à différents contextes?   Il convient d’élaborer un formulaire ou une liste de vérification (« check list ») pour établir les critères de réutilisabilité en fonction des objectifs de la banque.

Il est recommandé de prévoir un budget et du temps pour cette dernière étape de la phase de conception. Il est aussi possible de créer une communauté de pratique pour les concepteurs ou les fournisseurs/contributeurs afin de promouvoir la collaboration et diminuer les besoins d’évaluation par les pairs/utilisateurs ainsi que des révisions tardives dans la production.

Voir des exemples de critères d’Évaluation. Au gestionnaire de choisir lesquels seront proposés aux fournisseurs/contributeurs de ressources.

2.2 Phase 2 : Publication dans la banque

Lorsqu’une banque de ressources applique une stratégie de qualité à toutes les phases de gestion de la REA, la publication dans la banque se limitera à réaliser un référencement de qualité. 

Cependant, plusieurs banques permettent à des contributeurs de publier directement dans la banque de ressources. Il n’y a pas alors d’évaluation a priori sur la conception de la REA. Il est possible, voire même souhaitable, de limiter l’accès à des contributeurs fiables et de limiter les erreurs lors de la publication. Cette section présente plusieurs moyens de contrôler la qualité de ce type de contribution.

2.2.1 Stratégies de qualité liées au métaréférencement 

Pour assurer un métaréférencement de qualité, il est important d’impliquer des experts dans le domaine du référencement. Des techniciens en documentation peuvent être très utiles à cette étape. Les techniciens doivent bien comprendre le profil d’application et les règles le régissant. Voir la section des « Services » sur ce site pour une assistance à la formation de ce personnel.

Peu importe si on peut compter sur des experts en référencement, le captage automatique est la première façon d’éviter des erreurs telles des fautes de frappe. Les métadonnées visées principalement par le captage automatique sont les suivantes : ID catalogue, schéma de métadonnées, taille et format de la REA, localisation de la REA.

Lorsque la banque doit moissonner ou fédérer d’autres banques, il importe de former les techniciens informatiques afin de résoudre les problèmes d’interopérabilité entre banques.

Bien que plusieurs protocoles soient toujours en expérimentation, il est possible d’effectuer des transcriptions[i] d’un standard à l’autre et d'utiliser des logiciels visant la transcription des données provenant d’autres standards, tels que Mark21 et Z39,5 qui sont fréquemment utilisés par les bibliothécaires. En guise d'exemple :

Finalement, plusieurs banques font usage d’une fiche simplifiée de métadonnées. Les données XML sont conformes au profil, cependant l’interface utilise un vocabulaire simplifié pour faciliter la saisie par des contributeurs inexpérimentés.

2.2.2 Stratégies de qualité liées à la publication de REA non validée lors de la phase de conception

La publication d’une REA nécessite de la soumettre à une banque pour qu’elle soit acceptée, métaréférencée et éventuellement téléchargée dans un dépôt. Si aucune méthode d’évaluation de la qualité n’a été appliquée préalablement à cette phase, il est suggéré d’appliquer diverses méthodes pour améliorer la qualité de la banque :

  • s'assurer que que le contributeur (auteurs et ou concepteurs) de la REA soit membre d'une organisation accréditée;
  • soumettre la REA à un comité d'évaluation;
  • s'assurer que la REA respecte le standard de métadonnées prévu par l’organisation;
  • assurer le respect des droits de propriété intellectuelle. Il faut souligner que plusieurs enseignants ne sont pas très informés concernant les droits de publication du travail de tiers. Un formulaire où l’enseignant certifie que les droits d’auteur ont été dégagés est peut être souhaitable. Plusieurs banques exigent que le matériel référencé dans la banque soit entièrement libre de droit, ou sous licence Creative Commons.

2.3 Phase 3 : Réutilisation

À cette phase, la majeure partie des stratégies de qualité à mettre en place dépendent directement de la banque et non de la REA elle-même. Il s’agit donc de fonctionnalités à mettre en place dans l'outil gestionnaire de la REA, par exemple dans COMÈTE.

On améliorera les capacités de réutilisation d’une REA en :

  • permettant des méthodes variées de recherche et une présentation ergonomique des résultats ;
  • fournissant des capacités d’annotations, de recommandations, permettant à l’utilisateur de juger de la qualité de la REA etc.;
  • identifiant clairement les stratégies de contrôle de qualité en phase I et II mises en place dans la banque ;
  • en établissant des méthodes de maintenance pour assurer la qualité des métadonnées. 

2.3.1 Les méthodes de recherche et de présentation des résultats

Les stratégies dans cette phase consistent à fournir des méthodes variées de repérage et des affichages de description de la REA faciles à lire, notamment:

  • Inclure des multiples façons de recherche, par exemple par mots-clés, par métadonnées, par relations entre REA, par classification, par accessibilité, etc.
  • Offrir une recherche ontologique ([ii] [iii] [iv]) grâce à la mise en relation sémantique de différentes métadonnées.
  • Présenter la description, les mots-clés, les contributeurs et la banque d’origine.
  • Garantir l’interopérabilité en intégrant des fiches dont le métaréférencement est de qualité, de façon à permettre de transposer ces métadonnées d’un standard à un autre, et de communiquer et de chercher des ressources dans des banques en réseau (Littlejohn, 2003).

2.3.2 Annotations et recommandations

Un des aspects les plus critiques d’une banque de ressources est de permettre l’évaluation par les pairs. Les banques les plus populaires fournissent :

  • des statistiques intéressantes et parlantes (« peer», ressource la plus réutilisée, etc.) ;
  • des recommandations et suggestions du contexte d’usage ;
  • des échelles d’appréciation.

Il est suggéré d’utiliser la métadonnée « Annotation » pour recueillir des informations sur l’utilité de la ressource ainsi que sur sa qualité. Conciçấo, Olgren & Ploetz (2006)[v] suggère l’utilisation d’un formulaire d’évaluation détaillé permettant de ressortir les qualités de la ressource. Ainsi, cette information faisant partie intégrante de la fiche de métadonnées décrivant la REA, il n’y aura pas de perte d’information en cas de moissonnage.

Selon Duval (2005), on ne peut évaluer la qualité d’une REA que dans son contexte d’utilisation. Les différentes métriques proposées ne peuvent alors être prises en compte dans un algorithme, car il est impossible de tenir compte du contexte d’utilisation. Son approche, appelée « LearnRank » est basée sur le concept de « PageRank » de Google. Ce système utilise la trace de réutilisation de la ressource pour en induire la qualité. Ainsi, si un grand nombre d’utilisateurs d’un domaine utilisent une ressource, on peut en déduire que la ressource est de qualité. Si une ressource est utilisée dans plusieurs domaines, cela représente aussi un indice de qualité. Finalement, le système tentera de capter les évaluations réalisées par les apprenants suite à l’utilisation d’une REA pour en dégager la qualité.

L’approche « peer trust » est une autre approche qui permet de déduire la qualité d’une ressource selon l’utilisation que l’usager en fait. Émanant des systèmes distribués de P2P (peer to peer), Chen & Yeager (2003) et Wang & Vassileva (2003) proposent d’exploiter des algorithmes de confiance basés sur la réputation entre utilisateurs pour définir la qualité d’une ressource.

Une autre avenue d’évaluation d’une REA porte sur des idées de « Social Tagging[vi] » ou «Social Bookmarking [vii]», le filtrage collaboratif[viii] et « folksomies ». Toutes ces méthodes pour décrire ou évaluer la qualité sont basées sur l’utilisation ou la réutilisation annotée des usagers et non pas sur des standards. Sans une autre stratégie de qualité bien encadrée, le résultat risque d’être ambigu et confus. (Currier, Campell & Beetham, 2005).

La banque MERLOT (http://www.merlot.org/merlot/index.htm) fait largement usage de méthodes d’évaluation et de valorisation des ressources. Ces méthodes sont parmi les plus avancées en termes de statistiques d’utilisation, commentaires et annotations. Elles mettent en œuvre aussi des statistiques par contributeur, permettant ainsi de juger de la qualité par inférence. Comme les responsables de MERLOT intègrent constamment de nouvelles approches d’évaluation, il est fortement suggéré de les consulter régulièrement.

2.3.3 Identification des stratégies de qualité

Comme souligné à la section 1, les niveaux de qualité soutenus par la banque doivent être explicites aux concepteurs, aux utilisateurs et aux partenaires de la banque, de façon à ce qu’ils comprennent les efforts investis dans la démarche, les effets de cette démarche et les avantages qu’elle présente pour eux. La communication auprès des clients et des partenaires doit également avoir pour but de les inciter à s'engager eux-mêmes dans une démarche de qualité. [x]

2.3.4 La maintenance

La maintenance d’une banque consiste à :

1. Assurer que les métadonnées sont justes                                                                          Les responsables devront vérifier notamment les liens brisés. Il faut aussi prévoir un mécanisme par lequel une REA dont le contenu est désuet puisse être identifiée.

2. Assurer que les REA présentes dans la banque sont pertinentes                                         Les opinions et les rétroactions recueillies aident à évaluer l’utilité et la qualité d’une ressource. Elles facilitent la prise de décision pour statuer sur la conservation d’une ressource dans une banque. C’est un processus de mise à jour continue d’une banque. Il est possible aussi de se référer aux évaluations des pairs, en enlevant de la banque des ressources qui n’ont pas été évaluées positivement.

Conclusion

L’évolution de la technologie est très rapide. Pour assurer le contrôle de qualité d’une banque de ressources, il importe d’appliquer des principes de contrôle de qualité dans le cadre d’un processus dynamique impliquant divers acteurs, ainsi que des stratégies particulières à chacune des phases de gestion d’une REA. 

Les efforts visant à développer et à maintenir la qualité d’une banque de ressources ne peuvent ignorer l’importance d’atteindre une masse critique (tipping point) d’utilisateurs prêts à alimenter la banque et à réutiliser les REA.  Pour atteindre une telle masse critique,  il y a trois grandes considérations à prendre en compte, notamment i) la gestion de changement, ii) l’adoption de stratégies de qualité modérées et iii) l’automatisation de plusieurs stratégies de qualité. Voici quelques orientations en lien avec ces considérations.

i) Élaborer des stratégies de gestion de changement

- S’assurer le support de toutes les catégories d'usagers afin qu’ils deviennent des parties prenantes (stakeholders).
- Former des communautés de pratique par type d’acteurs.
- Offrir de la formation adaptée pour satisfaire les besoins des différents acteurs.

ii) Adopter des stratégies de qualité modérées

-  Fournir des guides, des principes et des grilles pour faciliter la conception des REA.
- Demander l’adhésion ''formelle'' à la banque à ceux qui veulent proposer une ressource (engagement à respecter certains principes).
-  Permettre des suggestions de contribution au moyen d’un formulaire léger.
-  Mettre en place un mécanisme pour avertir les usagers sur les droits d’utilisation (par exemple, lien aux licences Creative Commons ou GNU).
-  Faciliter la conception des REA en appliquant les initiatives de code source ouvert. 

Inclure des systèmes automatiques parmi les indicateurs de la qualité

-  Fournir un système pour formuler des recommandations. Exemple : le nombre des étoiles indique le niveau de qualité; dans Amazon, 5 = excellent ; 0 = pas conseillée.
-  Utiliser des formulaires d’évaluation informatisés montrant les résultats instantanément, par exemple une fonction de vote interactif.
-  Instaurer un système avertissant l’usager des bris de liens, des changements d’adresse de la ressource et de conditions sur sa qualité, par exemple si elle est obsolète.
-  Inclure un compteur du nombre de téléchargements de la REA.
-  Fournir des moyens graphiques et symboliques pour donner les informations sur la réutilisation.

[ii]http://ontology.univ-savoie.fr/condillac/en/activities/valorisation/price/fondationrhonealpesfutur.pdf

[iii]http://xtasy.slis.indiana.edu/jcdlui/slides/qin.ppt#256,1,Ontological Representation for Learning Objects

[iv]http://lore.iat.sfu.ca/index.html

[v]http://www.itdl.org/Journal/April_06/article01.htm

[vi]http://www.headshift.com/archives/002085.cfm

[vii]http://del.icio.us/

[viii]http://www.ukoln.ac.uk/ukoln/staff/t.koch/pres/tagging0602.html


 

 

 

 

 

 

Vous êtes ici : Guides Guide du gestionnaire