Επιλογές αναζήτησης

Inter-rater reliability

Αξιοπιστία αξιολογητών. Κανίδης &Φανίκος 2005:2.

*Διαβαθμολογική αξιοπιστία.

Μέθοδος της αξιοπιστίας των βαθμολογητών ή των ενδοβαθμολογήσεων. Γεωργούσης 1999:300.

Η διαβαθμολογική αξιοπιστία αποτελεί μια υποκατηγορία της ευρείας έννοιας της αξιοπιστίας, η οποία επικεντρώνεται στους βαθμολογητές και απεικονίζει το βαθμό της υποκειμενικότητάς (subjectivity) τους κατά τη βαθμολόγηση. Όταν η βαθμολογία δύο βαθμολογητών διαφοροποιείται αρκετά, τότε δημιουργείται η υποψία σφάλματος (Γεωργούσης 1999:300). Ειδικότερα, παράγοντες όπως το ανθρώπινο λάθος, η προκατάληψη, η απροσεξία, η απειρία καθώς και η υποκειμενικότητα (δηλαδή η διαφορά άποψης ή στάσης ή κρίσης) στη βαθμολόγηση έχουν ιδιαίτερη βαρύτητα στον τομέα της δοκιμασιολογίας, καθώς η επίδρασή τους μπορεί να οδηγήσει σε μη έγκυρα συμπεράσματα όσον αφορά την επίδοση των εξεταζόμενων (Douglas Brown 2004:21). Ο έλεγχος της αξιοπιστίας της αξιολόγησης, επομένως, στοχεύει στον εντοπισμό αυτών των υποκειμενικών διαφορών εκτίμησης, του σφάλματος μέτρησης όπως αναφέρεται συχνά, και στη μείωσή τους (Κανίδης & Φανίκος 2005:2). Εύλογα, ο έλεγχος αξιοπιστίας των αξιολογητών κρίνεται απαραίτητος στην περίπτωση εξετάσεων με ιδιαίτερη επικινδυνότητα, όπως για παράδειγμα στις εξετάσεις επάρκειας προφορικού ή γραπτού λόγου, όπου οι βαθμολογητές είναι πολλοί (Davies et al. 1999:88).

Κατά τον έλεγχο της διαβαθμολογικής αξιοπιστίας, το στοιχείο της υποκειμενικότητας μπορεί να εξουδετερωθεί με την ανάθεση της βαθμολόγησης σε δύο ή περισσότερους ανεξάρτητους αξιολογητές και την εξαγωγή μέσου όρου (Baker 1989:60). Σημαντική προϋπόθεση για την εξασφάλιση της διαβαθμολογικής αξιοπιστίας είναι, επίσης, οι συγκεκριμένοι αξιολογητές να έχουν κοινά και προκαθορισμένα κριτήρια αξιολόγησης και να να είναι επαρκώς εκπαιδευμένοι στην εφαρμογή τους (Ward 1997:74).

Για τον υπολογισμό της διαβαθμολογικής αξιοπιστίας, η αξιολογική κρίση (βαθμολογία) δύο ή περισσότερων αξιολογητών που βαθμολόγησαν έναν αριθμό γραπτών ή προφορικών παραγωγών υφίσταται στατιστική επεξεργασία για να προκύψει ένας δείκτης συνάφειας (Baker 1989:60). Ο συντελεστής αυτός ονομάζεται «συντελεστής αξιοπιστίας των βαθμολογητών» (coefficient of scorer reliability) ή «συντελεστής συσχέτισης των ενδοβαθμολογήσεων» (coefficient of inter-ratings) (Γεωργούσης 1999:300). Πιο συγκεκριμένα, ο συντελεστής αυτός δείχνει κατά πόσο οι βαθμολογητές ήταν συνεπείς στη βαθμολόγηση των ίδιων μαθητών. Ο υπολογισμός αυτού του συντελεστή είναι πολύ χρήσιμος σε περιπτώσεις όπου, λόγω της μορφής του τεστ, ανακύπτει το ζήτημα της υποκειμενικότητας του βαθμολογητή, δηλαδή στις περιπτώσεις των δοκιμασιών ελεύθερης ανάπτυξης, δημιουργικότητας και προσωπικότητας (Γεωργούσης 1999).

Η αξιοπιστία της βαθμολόγησης, όταν δεν ελέγχεται συγκρίνοντας τη βαθμολογία που έδωσαν διαφορετικοί βαθμολογητές στα ίδια γραπτά, αν, για παράδειγμα, πρόκειται για γραπτές εξετάσεις, αλλά συγκρίνοντας τη βαθμολογία που έδωσαν οι ίδιοι βαθμολογητές στα ίδια γραπτά σε διαφορετική χρονική στιγμή, λέγεται ενδοβαθμολογική αξιοπιστία. Συνεπώς, τα πρώτα συνθετικά (διά- και ένδο-) φανερώνουν τη μέθοδο με την οποία γίνεται ο έλεγχος της ίδιας ιδιότητας: της αξιοπιστίας.

Βιβλιογραφία

  • Γεωργούσης Π. (1999). Η Μέτρηση και η Αξιολόγηση της Επίδοσης των Μαθητών. Αθήνα.
  • Κανίδης Ε., Φανίκος Α. (2005). Σύγκλιση Κριτηρίων Βαθμολόγησης σε Πανελλαδικό Επίπεδο. Η Περίπτωση του μαθήματος Ανάπτυξη Εφαρμογών σε Προγραμματιστικό Περιβάλλον στις Γενικές Εξετάσεις του 2006. Εργασία για το 4ο Συνέδριο στη Σύρο - ΤΠΕ στην Εκπαίδευση. Πρόσβαση [on line]: http://www.epyna.gr/~agialama/synedriosyros_4/pliroforikoi/912_Kanides_Fanikos.pdf [06/07/09].
  • Baker D. (1989). Language Testing. A Critical Survey and Practical Guide. London: Edward Arnold.
  • Brown D. H. (2004). Language Assessment: Principles and Classroom Practices. New York: Pearson Education, Inc.
  • Davies A., Brown A., Elder C., Hill K., Lumley T., McNamara T. (1999). Dictionary of Language Testing. Cambridge: University of Cambridge Local Examinations Syndicate.
  • Ward S. (1997). Inter-rater reliability in an ESP context [on line]. Available: http://www.ltrc.unimelb.edu.au/mplt/papers/06_2_5_Ward.pdf [06/07/09].