ที่จริงว่าด้วย "เทคนิก" แล้ว การปรับมาตรฐานคะแนนที่เป็น subjectivity มีหลายวิธี
1. การใช้ RUBIC system คือการพยายามสร้าง "เกณฑ์" ว่าอะไรคือ 1, 2, 3, 4, 5 คะแนน และเขียนอธิบาย ซักซ้อมความเข้าใจให้คนให้คะแนน ว่าที่จะให้ 1, 2, 3 นั้น มันมี reference อ้างอิงอยู่
2. การฝึกอบรมให้ความรู้ผู้ให้คะแนน (แพทยศาสตร์คงจะบอกได้ว่ามีการฝึกอบรม facilitator มากน้อยแค่ไหน ในช่วงที่ผ่านมา)
3. การมีคะแนนเฉลี่ยของ facilitator หลายๆคน เนื่องจากเป็นคะแนน subjective (ตามมาตรฐานของผู้ให้) เป็นส่วนประกอบ การมี "ค่าเฉลี่ย" ตามหลักแล้วก็น่าจะช่วยกลมกลืนคะแนนส่วน extreme (ทั้งสองปลายนะครับ คือทั้งมากเกิน และน้อยเกิน)
ทีนี้ที่เราพึงตระหนักอีกประการหนึ่งก็คือ การทำ standardize นั้น จุดประสงค์ไม่ได้ต้องการจะ "เพิ่ม" คะแนน แต่ต้องการให้มี reliability คือความคงที่มากที่สุดเท่าที่เป็นไปได้ หลังจาก standardize ดีแล้ว trend ที่เกิดขึ้นอาจจะเป็นคะแนนตกวูบทั้งชั้นปีก็ได้ หากที่ผ่านมามีการปล่อยคะแนนเยอะ หรือดีขึ้นทั้งชั้นปี หากที่ผ่านมาอาจารย์ส่วนใหญ่กดคะแนนสุดขีด เพราะคะแนนที่น้องได้มาเป็นคะแนนเฉลี่ยแล้ว คะแนนที่เป็น extreme นิดหน่อยๆจะไม่มีผล จะขึ้นกับภาพรวมของผู้ให้คะแนนทั้งหมดมากกว่า
คิดตามหลักวิชาการแล้วการทำ standardize ย่อมเป็นเรื่องที่ดีแน่ๆ และโดยส่วนตัวของผมคิดว่ายิ่งทำได้มากเท่าไหร่ยิ่งดีครับ แต่ถ้าถามว่าคะแนนของนักศึกษาจะเป็นอย่างไรหลังจากนี้ ผมคิดเองว่าอาจารย์ "ส่วนใหญ่" มักจะให้คะแนน subjective แบบยกประโยชน์ให้จำเลย คือมีแนวโน้มให้ไว้ก่อน ไม่ใช่หักไว้ก่อน คนที่ให้คะแนนน้อยๆน่าจะเป็นเพราะมีอะไรที่ไม่ถูกใจให้พบเห็น ไม่ใช่เป็นเพราะให้น้อยไว้ก่อนจนกว่าจะเจออะไรที่ถูกใจจริงๆจึงเพิ่มคะแนนให้ พวกเราลองคิดดูดีๆก็ได้ครับว่าน่าจะเป็นแบบไหน
ผมยังเคยเสนอว่าถ้าคณะมีงบประมาณจ้างคนและเพิ่มเครื่องมือ น่าจะมี video record เอาไว้ให้คนประเมินมาดูต่างหาก จะได้เห็นกันชัดๆเลยว่าเป็นอย่างไร มีหลักฐานแน่อน ตรวจสอบได้ คิดว่าคะแนนที่ออกมาอาจจะ standardize ดีกว่า (แต่ผมคิดว่าคะแนน mean ของทั้งหมดน่าจะลดลง เมื่อนักศึกษาทุกคนถูกพิจารณาเป็นรายบุคคลตลอด 6 ชั่วโมงต่อ session จริงๆจังๆ)
Posted by : Aquarius , Date : 2007-01-04 , Time : 09:29:32 , From IP : 172.29.3.231
|