Designing coding competency measurement system for 9th grade students with the application of generalizability theory
0
0
Files
Issued Date
2024-11-28
Resource Type
Language
tha
Rights
Sukhothai Thammathirat Open University
Suggested Citation
(2024). Designing coding competency measurement system for 9th grade students with the application of generalizability theory, การออกแบบระบบการวัดสมรรถนะด้านการโค้ดดิ้งสำหรับนักเรียนระดับชั้นมัธยมศึกษาปีที่ 3 ด้วยการประยุกต์ใช้ทฤษฎีการสรุปอ้างอิง. สืบค้นจาก: https://hdl.handle.net/20.500.14770/6598
Advisor(s)
Other Contributor(s)
Abstract
The purposes of this research were to: (1) develop coding competency criteria for 9th grade students, (2) develop and validate tasks for measuring coding competency for 9th grade students, and (3) develop a method for reporting coding competency for 9th grade students. The sample consists of 90 9th grade students from Chumphon province, selected through a multi-stage random sampling. Two facets were investigated and the r : ( p x i ) designed was adopted, where p denotes student component (90 students), i denotes task (4 tasks) and r denotes rater (3 raters). Experimental instruments were scoring criteria and tasks to measure coding competency. Statistics used in data analysis included descriptive statistics and reliability analysis based on the generalizability theory.The results showed that (1) the scoring criteria for coding competency for 9th grade students met content validity (Aiken index value was 1.0), (2) the tasks measuring non-computerized and computerized coding performance also met content validity (Aiken index value is 1.0), with the discrimination indices ranged from .61 to .70, the difficulty ranged from .53 to .60, and the interrater reliability coefficients among the 1st, 2nd and 3rd raters were .991, .994 and .997, respectively. According to the variance component, the highest source of variability was the student within the examiners for both non-computerized and computerized coding performance assessments (90.7% and 91.5%, respectively). The estimation of generalizability coefficients suggested acceptable reliability coefficients for the relative and absolute decision of non-computerized coding and computerized coding The results of the decision study suggested that, to achieve acceptable accuracy in measuring coding performance, students should be assigned two non-computerized coding tasks and two computerized coding tasks to be rated by one rater. (3) The results of the development of a reporting method for assessing the coding competency of 9th grade students by using the contrasting groups method to establish two cut-scores that classifies students’ coding competency into 3 levels: advanced; intermediate; and low, revealed that the cut-scores were 27 points and 38 points, respectively
การวิจัยครั้งนี้มีวัตถุประสงค์เพื่อ (1) พัฒนาเกณฑ์การวัดสมรรถนะด้านโค้ดดิ้งสำหรับนักเรียนระดับชั้นมัธยมศึกษาปีที่ 3 (2) พัฒนาและตรวจสอบคุณภาพชิ้นงานสำหรับการวัดสมรรถนะด้านการโค้ดดิ้งของนักเรียนชั้นมัธยมศึกษาปีที่ 3 และ (3) พัฒนาวิธีการรายงานผลการวัดสมรรถนะด้านการโค้ดดิ้งของนักเรียนชั้นมัธยมศึกษาปีที่ 3 กลุ่มตัวอย่างเป็นนักเรียนระดับมัธยมศึกษาปีที่ 3 จังหวัดชุมพร จำนวน 90 คน ได้มาจากการสุ่มหลายขั้นตอน ผู้วิจัยออกแบบการศึกษาเป็น 2 องค์ประกอบ ในรูปแบบ r : ( p x i ) เมื่อกำหนดให้ p แทนนักเรียน i แทน ชิ้นงาน และ r แทนผู้ตรวจ ในการวิจัยครั้งนี้ จำนวน p, i และ r คือ 90, 4 และ 3 ตามลำดับ เครื่องมือที่ใช้ในการทดลอง คือ เกณฑ์การให้คะแนนและชิ้นงานในการวัดสมรรถนะด้านการโค้ดดิ้ง สถิติที่ใช้ในการวิเคราะห์ข้อมูล ได้แก่ ค่าเฉลี่ย ส่วนเบี่ยงเบนมาตรฐาน และการวิเคราะห์สัมประสิทธิ์ความเที่ยงตามทฤษฎีสรุปอ้างอิงผลการวิจัย พบว่า (1) เกณฑ์การให้คะแนนสมรรถนะด้านโค้ดดิ้งสำหรับนักเรียนระดับชั้นมัธยมศึกษาปีที่ 3 มีความตรงเชิงเนื้อหา ค่าดัชนี Aiken เท่ากับ 1.00 (2) ชิ้นงานในการวัดสมรรถนะด้านการโค้ดดิ้งแบบที่ไม่ใช้คอมพิวเตอร์และแบบใช้คอมพิวเตอร์มีความตรงเชิงเนื้อหา ค่าดัชนี Aiken เท่ากับ 1.00 ค่าอำนาจจำแนกอยู่ระหว่าง .61 - .70 ค่าความยาก อยู่ระหว่าง .53 - .60 และค่าความเที่ยงภายในระหว่างผู้ตรวจคนที่ 1 คนที่ 2 และคนที่ 3 เท่ากับ .991, .994 และ .997 ตามลำดับ ผลการประมาณค่าความแปรปรวน พบว่า องค์ประกอบความแปรปรวนของนักเรียนภายในผู้ตรวจ ทั้งการตรวจให้คะแนนแบบวัดสมรรถนะด้านการโค้ดดิ้งแบบใช้คอมพิวเตอร์และไม่ใช้คอมพิวเตอร์มีความแปรปรวนมากที่สุด (ร้อยละ 90.7 และร้อยละ 91.5 ตามลำดับ) และผลการประมาณค่าสัมประสิทธิ์การสรุปอ้างอิงความน่าเชื่อถือของผลการวัดเสนอแนะค่าสัมประสิทธิ์ความน่าเชื่อถือของผลการวัดที่ยอมรับได้สำหรับการตัดสินใจเชิงสัมพัทธ์และเชิงสัมบูรณ์ของแบบวัดสมรรถนะด้านการโค้ดดิ้งที่ไม่ใช้คอมพิวเตอร์และใช้คอมพิวเตอร์ ตามลำดับ โดยผลการออกแบบรูปแบบการวัดเพื่อให้ได้ความแม่นยำที่ยอมรับได้ในการวัดสมรรถนะด้านการโค้ดดิ้ง เสนอว่านักเรียนควรได้รับมอบหมายชิ้นงานแบบไม่ใช้คอมพิวเตอร์และแบบใช้คอมพิวเตอร์อย่างละ 2 ชิ้น และตรวจด้วยผู้ตรวจ คนเดียว และ (3) ผลการพัฒนาวิธีรายงานผลของการวัดสมรรถนะด้านการโค้ดดิ้งของนักเรียนชั้นมัธยมศึกษาปีที่ 3 ด้วยวิธีกลุ่มเปรียบเทียบและหาจุดตัดจำนวน 2 จุดตัด เพื่อแบ่งระดับความสามารถด้านการเขียนโค้ดของนักเรียนออกเป็น 3 ระดับ คือ สูง กลาง และต่ำ จุดตัดคือ 27 คะแนน และ 38 คะแนน
การวิจัยครั้งนี้มีวัตถุประสงค์เพื่อ (1) พัฒนาเกณฑ์การวัดสมรรถนะด้านโค้ดดิ้งสำหรับนักเรียนระดับชั้นมัธยมศึกษาปีที่ 3 (2) พัฒนาและตรวจสอบคุณภาพชิ้นงานสำหรับการวัดสมรรถนะด้านการโค้ดดิ้งของนักเรียนชั้นมัธยมศึกษาปีที่ 3 และ (3) พัฒนาวิธีการรายงานผลการวัดสมรรถนะด้านการโค้ดดิ้งของนักเรียนชั้นมัธยมศึกษาปีที่ 3 กลุ่มตัวอย่างเป็นนักเรียนระดับมัธยมศึกษาปีที่ 3 จังหวัดชุมพร จำนวน 90 คน ได้มาจากการสุ่มหลายขั้นตอน ผู้วิจัยออกแบบการศึกษาเป็น 2 องค์ประกอบ ในรูปแบบ r : ( p x i ) เมื่อกำหนดให้ p แทนนักเรียน i แทน ชิ้นงาน และ r แทนผู้ตรวจ ในการวิจัยครั้งนี้ จำนวน p, i และ r คือ 90, 4 และ 3 ตามลำดับ เครื่องมือที่ใช้ในการทดลอง คือ เกณฑ์การให้คะแนนและชิ้นงานในการวัดสมรรถนะด้านการโค้ดดิ้ง สถิติที่ใช้ในการวิเคราะห์ข้อมูล ได้แก่ ค่าเฉลี่ย ส่วนเบี่ยงเบนมาตรฐาน และการวิเคราะห์สัมประสิทธิ์ความเที่ยงตามทฤษฎีสรุปอ้างอิงผลการวิจัย พบว่า (1) เกณฑ์การให้คะแนนสมรรถนะด้านโค้ดดิ้งสำหรับนักเรียนระดับชั้นมัธยมศึกษาปีที่ 3 มีความตรงเชิงเนื้อหา ค่าดัชนี Aiken เท่ากับ 1.00 (2) ชิ้นงานในการวัดสมรรถนะด้านการโค้ดดิ้งแบบที่ไม่ใช้คอมพิวเตอร์และแบบใช้คอมพิวเตอร์มีความตรงเชิงเนื้อหา ค่าดัชนี Aiken เท่ากับ 1.00 ค่าอำนาจจำแนกอยู่ระหว่าง .61 - .70 ค่าความยาก อยู่ระหว่าง .53 - .60 และค่าความเที่ยงภายในระหว่างผู้ตรวจคนที่ 1 คนที่ 2 และคนที่ 3 เท่ากับ .991, .994 และ .997 ตามลำดับ ผลการประมาณค่าความแปรปรวน พบว่า องค์ประกอบความแปรปรวนของนักเรียนภายในผู้ตรวจ ทั้งการตรวจให้คะแนนแบบวัดสมรรถนะด้านการโค้ดดิ้งแบบใช้คอมพิวเตอร์และไม่ใช้คอมพิวเตอร์มีความแปรปรวนมากที่สุด (ร้อยละ 90.7 และร้อยละ 91.5 ตามลำดับ) และผลการประมาณค่าสัมประสิทธิ์การสรุปอ้างอิงความน่าเชื่อถือของผลการวัดเสนอแนะค่าสัมประสิทธิ์ความน่าเชื่อถือของผลการวัดที่ยอมรับได้สำหรับการตัดสินใจเชิงสัมพัทธ์และเชิงสัมบูรณ์ของแบบวัดสมรรถนะด้านการโค้ดดิ้งที่ไม่ใช้คอมพิวเตอร์และใช้คอมพิวเตอร์ ตามลำดับ โดยผลการออกแบบรูปแบบการวัดเพื่อให้ได้ความแม่นยำที่ยอมรับได้ในการวัดสมรรถนะด้านการโค้ดดิ้ง เสนอว่านักเรียนควรได้รับมอบหมายชิ้นงานแบบไม่ใช้คอมพิวเตอร์และแบบใช้คอมพิวเตอร์อย่างละ 2 ชิ้น และตรวจด้วยผู้ตรวจ คนเดียว และ (3) ผลการพัฒนาวิธีรายงานผลของการวัดสมรรถนะด้านการโค้ดดิ้งของนักเรียนชั้นมัธยมศึกษาปีที่ 3 ด้วยวิธีกลุ่มเปรียบเทียบและหาจุดตัดจำนวน 2 จุดตัด เพื่อแบ่งระดับความสามารถด้านการเขียนโค้ดของนักเรียนออกเป็น 3 ระดับ คือ สูง กลาง และต่ำ จุดตัดคือ 27 คะแนน และ 38 คะแนน
Degree Name
Master of Education (Educational Measurement and Evaluation) (M.Ed. (Educational Measurement and Evaluation))
ศึกษาศาสตรมหาบัณฑิต (การวัดและประเมินผลการศึกษา) (ศษ.ม. (การวัดและประเมินผลการศึกษา))
ศึกษาศาสตรมหาบัณฑิต (การวัดและประเมินผลการศึกษา) (ศษ.ม. (การวัดและประเมินผลการศึกษา))
Degree Level
Master's Degree
ปริญญาโท
ปริญญาโท
Degree Discipline
Master of Education (Educational Measurement and Evaluation)
ศึกษาศาสตรมหาบัณฑิต (การวัดและประเมินผลการศึกษา)
ศึกษาศาสตรมหาบัณฑิต (การวัดและประเมินผลการศึกษา)