Humanités numériques, jour 365: L’évaluation par les pairs, le début d’un projet

Voilà une bonne chose de faite, une année en ligne, des moments forts via le choix pédagogique de l’université de nous proposer uniquement des rendus de travaux de groupe malgré la distance géographique entre les étudiants, des états d’âme pour lesquels ce blog a servi d’expiatoire ! Un mémoire sur l’évaluation par les pairs rédigé pendant les week-end de canicule pendant que tout le monde était à la plage, soutenu à distance… et une belle réussite, avec un joli diplôme… mais mon projet de MOOC visant à former les évaluateurs des diplômes professionnels du sport et de l’animation n’est pas encore terminé, loin s’en faut !

Et donc nouvelle idée, je profite du MOOC Elearn2 pour continuer à conduire une analyse réflexive pendant la construction du MOOC que je réalise avec le bureau des formations du ministère.

Pour le plaisir mes réflexions après le module 1 de Elearn2 :

Analyse réflexive en rapport à la formation des évaluateurs des diplômes professionnels du sport et de l’animation, au révélateur d’un exemple extrait de la formation

Comment adapter le scénario de formation pour un déroulement en présentiel à une version MOOC (en ligne)

Etude d’un exemple :

Partie : « Pendant l’évaluation », séance « Comment questionner pour évaluer ? »

En présentiel:

  • Je me base sur l’outil Guide des évaluateurs
  • J’extrais un cas concret et le joue devant le groupe. Je leur demande de réagir à la formulation proposée sur le fond et la forme.
  • Je leur demande de proposer une réaction appropriée en situation (devant le candidat) puis post évaluation (avec le deuxième évaluateur avant de proposer une décision commune).
  • Enfin, je commente leurs proposition en faisant référence à la fois aux éléments théoriques, déontologiques et pragmatiques décrits dans le guide.
  • Enfin, je propose des ressources pour aller plus loin.

 

Afin d’analyser cette séquence de formation en présentiel et en présenter une adaptation, je vais utiliser la Grille d’analyse pour stimuler la réflexivité de BATIER et LEBRUN, proposée dans le MOOC Elearn2 (apprendre à apprendre en ligne). l’objectif est ainsi de dépasser une simple adaptation et de profiter des opportunités pédagogiques offertes par le format MOOC.

Les critères de la grille :

1. Description, narration de l’activité telle qu’elle s’est déroulée de la façon habituelle d’enseigner le cours

2. Justification des choix pédagogiques : pourquoi on enseigne de telle façon)?

3. Analyse personnelle de l’activité : identification de forces et de faiblesses, d’événements critiques, de problèmes…

4. Analyse de l’activité en regard de modèles théoriques (par exemple,le modèle de l’alignement constructiviste de Biggs, le modèle IMAIP de Lebrun…)

5. Analyse de l’activité en regard d’indicateurs d’efficacité pédagogique : quels indicateurs me permettent d’affirmer que les étudiants “ont appris” ? Quelles “preuves” (evidence based approach)?

6. Vision/imagination d’alternatives (comment on pourrait faire autrement)

7. Exploration et évaluation d’alternatives (à priori et/ou suite à une mise en pratique)

8. Questionnement ou réflexion éthique (valeurs, sens de l’enseignement, profil des étudiants qu’on veut former…)

Donc, suivant la narration ci-dessus, voilà une analyse selon plusieurs critères :

Critère 2, justification des choix pédagogiques :

Interroger la question de l’évaluation à partir d’un exemple concret faisant débat pour les évaluateurs me semble donc une accroche intéressante pour la construction du MOOC pour la formation des évaluateurs. Bien sûr, les éléments de base sur les règles pragmatiques et la déontologie dans l’acte d’évaluation devront figurer dans cette formation, mais des études de cas comme celle amorcée dans cette vidéo permettront de susciter l’intérêt et surtout je l’espère de provoquer la réflexion des évaluateurs sur leur propre rôle d’évaluateur, et ainsi une forme de prise de recul sur leur pratique.

Critère 5, efficacité pédagogique :

Pendant l’échange avec le groupe je vois si les stagiaires ont compris via leur réponses (mais uniquement ceux qui ont participé).

Critère 8, réflexion, qui forme t’on et comment?

Évaluer un pair professionnel et valider ou non son accès au diplôme professionnel, sorte de sésame pour l’emploi, est une activité délicate. Cette formation vise plus à faire réfléchir sur sa posture d’évaluateur que d’acquérir une théorie sur l’évaluation de compétences. C’est plus les ingénieurs de formation qui s’appuient sur les modèles théoriques pour expliciter ce qui rentre en jeu dans les exemples concrets présentés.

Après avoir formulé ces réflexions voici un scénario que je proposerai pour une version MOOC (en ligne) de cette séquence.

En version MOOC :

  • Je propose  le cas concrets en vidéo (permet d’avoir en plus l’intonation et le langage non-verbal).
  • Je demande de formuler leur remarque via un forum et de commenter les propositions d’autres personnes sur le forum.
  • Je propose la lecture d’un extrait du guide
  • Je propose un quizz avec des réactions appropriées mêlées à des réactions plus ou moins inappropriées.
  • Quizz corrigé, avec explication du choix des réponses appropriées et inappropriées.
  • Pour aller plus loin, lien vers les ressources supplémentaires

 

Critère 2: idem, mais cela demande des transformations pour être réalisé en mode MOOC, et en même temps créer de nouvelles opportunités.

Exemple :

J’ai présenté le projet de MOOC des évaluateurs du BPJEPS à l’occasion du séminaire « Environnements Numériques sport, formation et animation de réseaux » à l’ENVSN le 31 mars 2017. Ce séminaire regroupait au total 75 personnes. La retranscription vidéo de mon intervention réalisée par iCAP montre bien à quel moment le public a réagi durant l’intervention. Selon le principe de l’analyse ethnographique d’une démonstration technique, le visionnage de la vidéo, montre un public passif durant 13 minutes avant que les personnes présentes dans la salle posent plusieurs questions et qu’un débat s’amorce. Ce débat a fait suite au visionnage d’un extrait vidéo issu de la vidéo du CNAM, présentant un regard croisé d’évaluateurs suite à l’observation d’un candidat en épreuve de certification. Cet extrait met en scène leur difficulté à porter un jugement lorsque les items de la grille de certification semble remplis alors que la cohérence du tout crée le doute. En suivant, je présentais mon interprétation du doute qui s’emparait des évaluateurs, en exposant les thèses sur l’évaluation s’y rapportant.

C’est bien le visionnage d’une situation réelle d’évaluateurs en action accompagné des doutes et réflexions du formateur autour de la situation qui a provoqué la participation du public et aurait permis en formation de favoriser l’apprentissage.

Critère 5, efficacité pédagogique:

Après le forum, les lectures et enfin le quizz, le LMS pourra fournir un badge de travail. C’est une évaluation plus quantitative que qualitative mais elle permet de vérifier si tout le monde a obtenu un socle minimum de compréhension

Critère 6 comment faire autrement, innovation :

En plus d’une réponse écrite dans le forum, on peut demander aux stagiaires de se mettre par 2 ou 3 pour jouer la scène solution qu’ils proposent et la filmer.

Je propose d’intégrer cette proposition dans le cas concret présenté à la suite de cette analyse.

Critère 7, exploration et évaluation d’alternatives :

En suivant moi-même, le MOOC Elearn2, d’une part je cherche des idées ou innovations possibles et d’autre part j’analyse mon propre MOOC par une première expérimentation sur moi-même et une confrontation/interaction avec une communauté de formateurs.

Exemple des cas concrets à utiliser dans ce scénario de formation, pour répondre à des problématiques observées :

Cas concret issu du Guide des évaluateurs utilisé en formation en présentiel tel quel :

CAS CONCRET

Vous vous rendez compte que votre binôme d’évaluateur pose des questions qui n’ont apparemment rien à voir avec le référentiel de certification

Vous pouvez posez votre question suivante en relisant une phrase du référentiel de certification pour recentrer l’entretien

Après l’entretien vous pourrez demander à votre binôme s’il avait une stratégie particulière en posant cette question et lui faire comprendre que vous avez recentré l’entretien de manière volontaire en relisant le référentiel.

Pour le MOOC je reprend le même cas concret, présenté via une vidéo, et propose des solutions inappropriées via un quizz. Au vu des réponses une correction type expliquera pourquoi ‘on défend ces deux réponses dites appropriées :

CAS CONCRET

En vidéo, scène filmée : Évaluateur : D’accord vous avez décrit votre séance, mais savez vous qui à inventé ce type de progression ? (Air professoral avec une intention de coller un candidat qui ne sait pas même s’il a bien agît en situation)

Sous-titre : Vous vous rendez compte que votre binôme d’évaluateur pose des questions qui n’ont apparemment rien à voir avec le référentiel de certification

1) Vous déposerez votre réflexion sur le fond et la forme sur le forum de la séance

2) Vous produirez la suite de la scène en vidéo, avec un binôme évaluateur qui reprend les propositions formulées. Pour effectuer ce travail, vous constituerez un groupe de 2 ou 3 personnes et posterez votre vidéo dans le forum de la séance.

De plus la version MOOC, permettra après un travail qualitatif de reprendre un ensemble d’éléments de compréhension via un quizz de fin de séance, permettant à chacun de s’auto-évaluer.

Reprise du cas concret en fin de séance dans le quizz du MOOC :

CAS CONCRET

En vidéo, scène filmée : Évaluateur : D’accord vous avez décrit votre séance, mais savez vous qui à inventé ce type de progression ? (Air professoral avec une intention de coller un candidat qui ne sait pas même s’il a bien agît en situation)

Sous-titre : Vous vous rendez compte que votre binôme d’évaluateur pose des questions qui n’ont apparemment rien à voir avec le référentiel de certification

Vous pouvez posez votre question suivante en relisant une phrase du référentiel de certification pour recentrer l’entretien (oui)

Après l’entretien vous pourrez demander à votre binôme s’il avait une stratégie particulière en posant cette question et lui faire comprendre que vous avez recentré l’entretien de manière volontaire en relisant le référentiel. (oui)

comme le candidat ne connaît pas cette théorie vous l’aider en expliquant le rapport, comme ça vous êtes sûr qu’il aura bien compris

vous interrompez votre binôme en disant que les questions théoriques sont interdites

vous riez et dites que même vous ne connaissez pas cet auteur et donc que le candidat ne peu pas le savoir non plus

Éléments de correction :

En effet, en tant qu’évaluateur vous n’êtes pas là pour évaluer des connaissances mais bien des compétences en situation, donc une réaction pertinente et de recentrer les questions en prenant appui sur le référentiel, et ensuite une fois l’entretien terminé d’en discuter avec votre binôme en exprimant votre incompréhension face à son questionnement théorique.

Bien sûr un questionnement théorique en relation avec le propos du candidat peut avoir lieu à condition qu’il serve l’évaluation des compétences.

Dans tous les cas le binôme d’évaluateurs n’est pas là pour faire un cours.

Le quizz de fin de séance du MOOC permettra d’intégrer d’autres exemples de cas concrets :

 

CAS CONCRET

En vidéo, scène filmée : candidat bavard, avec digressions sur sa ville, ses collègues… alors que la question posée était sur les consignes de sa direction.

Sous-titre : Comment réagir quand le candidat semble trop bavard et part dans des digressions sans fin

Je recadre en cas de digressions et le ramène vers les items du référentiel de certification (oui)

Je reformule son propos pour recentrer l’entretien (oui)

Tant pis pour lui, l’heure tourne et il n’y aura rien à retenir, il reviendra une prochaine fois puisqu’il aime parler

Je regarde mes mails sur mon téléphone en attendant que ça passe

Je lui signifie que dans un acte de communication il faut savoir être synthétique et lui demande de se corriger s’il veut valider quelque chose

Éléments de correction :

L’évaluateur doit faire preuve de bienveillance, il n’est pas là pour recadrer les candidats ou leur donner des conseils, par contre en recentrant l’entretien il doit pouvoir aider le candidat à répondre aux objectifs décrit dans les items du référentiel

 

Publicités

Une réflexion sur “Humanités numériques, jour 365: L’évaluation par les pairs, le début d’un projet

Laisser un commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s