Puntenboek (peer reviewing)

Printvriendelijke pagina

Via de module Puntenboek is ook peer reviewing mogelijk. Zo kunnen studenten elkaars uitgevoerde of ingediende opdrachten beoordelen via feedback en/of scores.

Enkele scenario's

  1. De student beoordeelt een mondelinge presentatie van één of meerdere studenten
  2. De student beoordeelt één of meerdere groepspresentaties maar is geen lid van deze groepen
  3. De student beoordeelt één of meerdere individuele bijdrages aan een groepspresentatie maar is geen lid van deze groepen
  4. De student beoordeelt een paper van één of meerdere studenten
  5. De student beoordeelt één of meerdere groepspapers maar is geen lid van deze groepen
  6. De student beoordeelt één of meerdere individuele bijdrages van een groepspaper en is lid van deze groep

Overzicht

Een nieuwe peer review aanmaken

  1. Open de module Puntenboek.
  2. Selecteer de link "Nieuwe peer review maken".
  3. Stel de algemene instellingen van de opdracht in:
    • een titel voor de opdracht
    • een beschrijving voor de opdracht
    • het type opdracht, zoals bijvoorbeeld:
      • "dropbox" als de peer review moet gebeuren op een document dat wordt ingediend via de module Dropbox
      • "externe bijdrage" als de peer review moet gebeuren op een uitgevoerde klassikale presentatie
    • of het gaat om een individuele opdracht of een groepsopdracht (als het bv. een in te dienen groepsopdracht betreft, dan zal slechts één van de groepsleden het document kunnen indienen voor de hele groep)
    • of iedereen of enkel een selectie van gebruikers en/of groepen deze opdracht moet maken.
      Resultaat: Op basis van deze algemene instellingen zal Minerva een specifieke set geavanceerde instellingen aanbieden op het volgende scherm.
  4. Stel de geavanceerde instellingen van de opdracht in:
    • het soort preview (deze opties worden beperkt afhankelijk van de algemene instellingen)
    • wie de review moet uitvoeren (alle studenten of een selectie van studenten)
    • het aantal items dat elke geselecteerde reviewer dient te maken
    • of de studenten de identiteit van de te reviewen (groepen) student(en) mogen kennen, zoniet worden de te reviewen opdrachten anoniem aangeboden
    • of de reviewende studenten:
      • feedback mogen geven (en nog mogen aanpassen in een latere fase)
      • scores mogen geven
      • het ingediende materiaal mogen bekijken/downloaden
      • andere reviews mogen bekijken
    • of de gereviewde studenten de reviews mogen bekijken
    • de start- en einddatum waarbinnen de review dient te gebeuren
    • een overzicht van de reviews (om de matching te bekijken en desgewenst nog manueel aan te passen - Minerva zorgt er automatisch voor dat niemand zichzelf kan reviewen).
      Resultaat: De overzichtspagina van deze opdracht verschijnt.
  5. Stel eventueel een actieve periode in om het werkstuk te laten indienen (in het scherm "Score-element wijzigen" dat u opent via het actie icoon met het potloodje rechts van het score element op de startpagina van de module Puntenboek).
  6. ​Laat de studenten hun opdracht indienen (via de module Puntenboek) of uitvoeren (buiten Minerva).
  7. Laat de studenten hun medestudenten reviewen (via de module Puntenboek).

Voorbeeld 1: de paper van twee andere studenten laten reviewen

Uitgangspunt: elke student dient zijn paper in via de module Dropbox. Elke paper wordt nadien (anoniem) beoordeeld door 2 andere studenten.

  1. Open de module Puntenboek.
  2. Selecteer de link "Nieuwe peer review maken".
  3. Stel de algemene instellingen van de peer review opdracht als volgt in:
  4. Stel de geavanceerde instellingen van de peer review opdracht als volgt in:

    Resultaat: De overzichtspagina voor deze peer review verschijnt.
  5. Laat de studenten (zodra de actieve periode start) hun eigen paper opladen (via de module Puntenboek).

    Resultaat: Op de overzichtspagina van de lesgevers verschijnt de ingediende paper als bijlage.
  6. Laat de studenten de (ingediende) papers reviewen (via de module Puntenboek) door op de naam van de student naast het label "Door mij uit te voeren peerreview(s)" te klikken.

Resultaat: Op de overzichtspagina van de lesgevers verschijnen details van de review door één of beide reviewers.

Voorbeeld 2: een video van een andere student laten reviewen

Uitgangspunt: elke student dient zijn video in via de module Dropbox en geeft nadien feedback op de video welke hij (anoniem) moet reviewen, namelijk door het toevoegen van annotaties per tijdsframe.

  1. Open de module Puntenboek.
  2. Selecteer de link "Nieuwe peer review maken".
  3. Stel de algemene instellingen van de peer review opdracht als volgt in:
  4. Stel de geavanceerde instellingen van de peer review opdracht als volgt in:

    Resultaat: De overzichtspagina voor deze opdracht verschijnt.
  5. Laat de studenten (zodra de actieve periode start) hun eigen video toevoegen (via de module Puntenboek).

    Resultaat: Op de overzichtspagina van de lesgevers verschijnt de ingediende video als bijlage.
  6. Laat de studenten de video van hun medestudent reviewen (via de module Puntenboek) door achtereenvolgens:
    • op de naam van de student naast het label "Door mij uit te voeren peerreview(s)" te klikken
    • vrije opmerkingen toe te voegen aan het veld "Inhoud" en/of tijdsgebonden opmerkingen toe te voegen via de knop "Annotatie toevoegen"
    • (eventueel) een extra bestand toe te voegen als bijlage aan de review
    • de review af te sluiten door te klikken op de knop "OK".

Resultaat: Op de overzichtspagina van de lesgevers verschijnen details van de reviews.

Voorbeeld 3: een groepspresentatie laten reviewen

Uitgangspunt: elke student dient een groepspresentatie te reviewen. De student maakt geen deel uit van deze groep en beoordeelt de groep als geheel op vorm en inhoud.

  1. Open de module Puntenboek.
  2. Selecteer de link "Nieuwe peer review maken".
  3. Stel de algemene instellingen van de peer review opdracht als volgt in:
  4. Stel de geavanceerde instellingen van de peer review opdracht als volgt in:

    Resultaat: De overzichtspagina voor deze opdracht verschijnt.
  5. Laat de groepen hun presentatie geven.
  6. Laat de studenten (zodra de actieve periode start) de groepspresentatie reviewen (via de module Puntenboek) door achtereenvolgens:
    • op het icoon van de te reviewen groep te klikken
    • op de link "Commentaar toevoegen/wijzigen" te klikken
    • te drukken op de knop OK na het schrijven van de review.

Resultaat: Op de overzichtspagina van de lesgevers verschijnen details van de reviews.

Voorbeeld 4: studenten elkaar laten reviewen op basis van rubrics

"Komend semester willen we de studenten in de lerarenopleiding een oefening laten maken in groepjes 3. Elke student binnen hetzelfde groepje bekijkt eerst een videoclip van een gesprek tussen een leraar en een ouder. De videoclip stopt op verschillende momenten en de student wordt vervolgens gevraagd om neer te schrijven wat hij/zij nu zou zeggen of doen mocht hij/zij de leraar zijn tijdens dit gesprek. Vervolgens gaat de videoclip verder en zo herhaalt het proces zich. Nadat de studenten deze oefening hebben afgewerkt, is het de bedoeling dat ze elkaars commentaar op de video beoordelen ("peer review"). Het zou dus mogelijk moeten zijn dat ze de Curios taak (de filmfragmenten en de antwoorden) van hun medestudenten kunnen raadplegen om vervolgens aan de hand van een rubric feedback te geven.

Wat is mogelijk?

De student kan een video bekijken binnen Curios (door de lesgever toe te voegen in de inleiding nadat de video's eerst opgeladen werden in de Minervasite als nieuwe video) en daarna bv. in een tekstveld neerschrijven wat hij/zij nu zou zeggen of doen mocht hij/zij de leraar zijn tijdens dit gesprek. Aan elke vraag kan je als lesgever ook feedback koppelen, of geautomatiseerd aangeven of een antwoord correct is of niet (dit werkt wel bij bv. een meerkeuzevraag maar niet bij open vragen).

Voor de interactie zal je wel elke video in verschillende delen moeten knippen (op de plaatsen waar je een interactie/commentaar verwacht)​. Elk videodeeltje met bijhorende vraag kan je dan in Curios toevoegen als een aparte vraag binnen de vragenreeks over deze video.

Voor het peer reviewen (scoren en/of feedback geven op de commentaar van een andere student op zijn/haar video) biedt Curios "rubrics" aan in de vorm van likert schalen of matrixen.

Belangrijke tips

  1. Zorg dat de periode om commentaar te geven op een video afgelopen is voordat je de periode om een andere student te reviewen laat aanvangen.
  2. Ervaring leert dat je dit peer review proces best eens uittest met (in dit geval) 2 andere collega's zodat elke rol getest is op voorhand.

Wat is (nog) niet mogelijk?

Momenteel is het niet mogelijk om een peer review te doen op een Curios taak.

Je kan een Curios taak als opdracht instellen. En je kan een Curios vragenlijst gebruiken om de peer review in te vullen. Maar je kan (nog) geen peer review laten uitvoeren via een Curios vragenreeks op een door een andere student uitgevoerde Curios opdracht.

FAQ

Is het mogelijk om de peer review te laten lopen (met automatische indeling) op enkel die studenten die een paper hebben ingediend? 

Antwoord: Momenteel is het niet mogelijk om enkel studenten toe te voegen die een bestand hebben ingediend aan de peer review.

De snelste manier van werken is de volgende:

  1. Maak een score-element (bijvoorbeeld Dropbox opdracht) waar de studenten hun paper/opdracht kunnen indienen tegen een bepaalde datum.
  2. Open dat score element (op moment van deadline indienen van de paper/opdracht).
    Resultaat: Op dit scherm zie je alle studenten en hun ingediend materiaal op 1 scherm.
  3. Noteer op een blad de studenten die niets hebben ingediend.
  4. Activeer de peer review.
  5. Maak een eigen selectie van gebruikers.
  6. Voeg eerst alle studenten toe en verwijder dan de studenten die je hebt genoteerd op een blad.
    Resultaat: Er zal een mapping gegenereerd worden op basis van alle studenten die een bestand hebben ingediend.

De peer review kan dus pas later geactiveerd worden, bijvoorbeeld op het moment dat je weet welke studenten een bestand hebben ingediend.