분야
hwp1. 타당도와 신뢰도를 각각 설명하되 교육현장에서 사용되고 있는 사례를 포함하여 구체적으로 설명하시오.
2. 문항 유형별 제작과정에 대해 설명하시오.
교육평가
1. 타당도와 신뢰도를 각각 설명하되 교육현장에서 사용되고 있는 사례를 포함하여 구체적으로 설명하시오.
2. 문항 유형별 제작과정에 대해 설명하시오.
1. 타당도와 신뢰도를 각각 설명하되 교육현장에서 사용되고 있는 사례를 포함하여 구체적으로 설명하시오.
타당도의 개념을 살펴보면, 연구자들이 측정하고자 하는 것들을 측정도구를 이용하여 실제 정확하게 측정하는지에 관한 척도이다. 즉, 타당도는 다시 말해 측정의 정확도와 정확성을 의미한다. 쉽게 말하면 연구자가 측정하고자 하는 것들이 실제로 측정되고 있는지, 측정 방법에 있어 정확하게 이루어지고 있는지의 문제이다. 예를 들자면 지능을 측정하기 위해서 사용되는 도구가 글로 적힌 시험지의 형태라고 할 때, 그 측정도구를 사용하여 나타나는 지능검사의 결과가 과연 그들의 지능을 측정하는 것인지, 아니면 글을 읽어내는 속도를 측정하는 지를 의심할 수 있다. 바로 이러한 의심과 질문들에 대해 답을 찾기 위해 타당도의 확인이 필요한 것이다.
타당도의 종류는 크게 내용의 타당도, 그리도 구성의 타당도로 나뉠 수 있다. 내용의 타당도는 측정하고자 하는 도구에 포함이 되는 것으로 설문 문항이나 관찰의 내용이 측정하고자 하는 내용, 속성, 개념을 대표할 수 있게 포함하고 있는 것인지에 대해 주관적 혹은 상호 주관적으로 판단을 하는 것이다. 이를 위해 사용되는 개념에 익숙한 전문가를 찾거나 측정할 수 있는 도구, 혹은 측정대상자들을 통해 측정한 내용들에 대해 타당성을 확인하는 것이다. 연구자들의 직관이나 검사내용 전문가들의 견해를 통하여 문제를 판단하는 방법으로 내용의 타당도는 측정의 타당도를 판단하는 가장 기본적인 방법이다. 그 사례를 살펴보면 지능검사를 할 때, 그 내용에는 문제의 해결능력, 창의력, 주의력, 순발력, 판단력 등 모든 문제를 포괄해야 하는 것이다. 이는 측정값이 주관적인 판단에 의존하는 것이기 때문에 편견이나 오류의 가능성을 배제하기 어렵기 때문이다.
다음으로 구성 타당도는 측정도구에 있어, 이론적인 분석이나 가설에 대한 검증 이 2가지가 모두 포함되어 있는지를 경험적인 방식으로 검정하는 가장 기본이 되고 발전된 측정 방법이다. 이는 검사가 해당 이론의 개념이나 특성을 측정하는 정도를 얘기하는 것이다. 이는 검사를 함에 있어, 측정하고자 하는 것은 대부분 추상적인 것이기 때문이다. 이런 것은 모두 직접적으로 관찰할 수 없는 가상적인 개념이다. 측정하는 방법에 따라 판별 타당도, 수렴 타당도, 요인 분석 등이 있다. 요인 분석법은 검사의 타당도를 점검하기 위해 우리가 흔히 사용하는 통계적인 방법이다. 이 방법은 검사를 구성하는 문항들 간 서로 상관관계를 분석하여 서로 상관이 높은 문항들을 연결해 주는 방법이다. 이 구성 타당도는 개념적인 타당도라고도 부르는데, 이는 측정도구가 기존의 이론적인 관점에 알맞게 구성되어 있는가를 검증하는 방법이기 때문이다.
신뢰도란 검사를 함에 있어, 개인의 특성을 측정하는 경우 얼마나 오차가 없이 측정하느냐에 따르는 개념인 것으로, 측정 결과가 얼마나 일정하게 산출이 되는지 정확성을 동반한 일관성에 주 관심을 두고 있다. 다시 말해, 검사가 어떤 대상을 일관성 있게 측정을 하면, 그 검사는 신뢰를 할 수 있다고 판단한다. 즉 검사의 신뢰도가 높으면 한 집단을 검사한다 하더라도 집단 내에 측정 순위는 대체로 비슷하게 유지될 것이기 때문이다. 즉, 측정도구를 동일한 대상에게 2번 이상 사용하거나, 둘 이상의 또 다른 연구자가 측정을 하였을 때에도 그 결과가 안정이 되고 일관성이 있게 나온다면, 이 측정도구는 다른 것보다 높은 신뢰도를 갖고 있다고 평가를 할 수 있다. 그리고 측정결과가 신뢰도가 낮은 경우에는, 측정도구의 신뢰도가 낮거나 혹은 관찰한 대상들 자체가 편차가 나기 때문에 일관되게 측정이 되지 않는 경우가 대부분의 경우라고 할 수 있다. 예를 들어 과학적으로 산의 높이를 측정하는 것에 있어 2개 이상의 측정도구를 사용할 때, 이를 측정 구간과 동등하거나 비슷하게 되면 이 값이 신뢰도가 되는 것을 의미하고, 이 때 측정도구는 겉으로는 달라 보여도 측정하고자 하는 목적은 같아야 한다.
이러한 타당도와 신뢰도의 관계에 있어서는, 신뢰도가 비록 있다고 할지라도, 타당도가 없을 수 있는데, 이는 타당도 없이도 신뢰도를 확보할 수 있다는 것이다. 그리고 타당도가 있다면, 대게 일반적으로 신뢰도가 있다고 볼 수 있다. 또한, 신뢰도와 타당도는 그 값을 측정하는 측정도구가 과학적이다는 것을 보여주는 근거로 볼 수도 있다.
신뢰도와 타당도는 2가지 모두 중요한 요소이지만, 2가지 모두를 확보하는 것은 쉽지 않다. 그리고 연구자가 측정하고자 하는 것을 얼마나 정확하게 측정할 수 있는가를 확인할 때에는 신뢰도와 타당도가 더 큰 의미를 지니게 된다. 신뢰도는 타당도를 높이기 위해서 필요한 필요조건이 되지만, 신뢰도가 높다고 하여 타당도가 높은 것은 아니고, 타당도를 높이기 위해서는 바로 이 신뢰도를 높여 나가야 한다.
참고문헌
최현철(2008년) 『사회통계방법론』. 서울: 나남
고영희 외), 심리학, 양서원, 2008
성태제(2005), 현대교육평가, 서울 학지사
성태제, 타당도와 신뢰도. 학지사, 2009
2. 문항 유형별 제작과정에 대해 설명하시오.
좋은 문항을 제작하는 과정을 살펴보기 위해, 먼저 문항 제작자들이 갖추어야 할 자질은 이러하다.
교사들이 교육과정을 충분히 이해해야 하고 피험자 집단에 대해 심리적이고 교육학적인 특성을 잘 파악해야 한다. 또 자신의 생각을 보다 정확하고 분명하게 표현할 수 있는 문장력도 갖추어야 한다. 그리고 문항을 평가하기 위해, 검사 이론에 관한 전문적이고 해박한 지식을 갖추어야 한다.
다음으로 좋은 문항을 만들기 위해 고려해야 할 점에 있어 여러 가지 사항이 있는데 이를 7가지로 나타내면 아래와 같다.
먼저 문항 내용의 적절성을 고려해야 하는 것이다. 그리고 문항 내용의 복합성인 측면을 고려해야 한다. 또 문항 내용 구성에 있어 단순 사실을 열거하고 요약, 일반화 및 추상화시킬 수 있는 내용을 포함해야 한다. 그리고 문항의 참신성을 고려하고 적용해야 한다. 그리고 각 문항은 서로 구조화되는 측면이 있어야 하고 문항의 난이도를 구성함에 있어서도 쉬운 것, 어려운 것 등 적절하게 배분이 되어야 한다. 문항은 학습자로 하여금 학습동기를 유발시켜야 한다는 점을 우리는 고려해야 한다.
문항의 유형은 크게 선택형 문항과 선다형 문항이 있다.
선택형 문항은 진위형의 문항으로 제시되어 진 진술문에 피험자가 그 진술문의 진위, 즉 옳고 그름을 판단하는 형태이다. 객관식으로 구성이 되어 있으며, 고정 반응형, 양자 택일식 문항으로 이루어진다. 그리고 이러한 선택형 문항을 제작할 때 주의할 점으로는, 중요한 내용이 먼저 포함이 되어야 한다는 것이다. 중요하지 않은 내용으로 피험자를 헷갈리게 해서는 안 되기 때문이다. 또, 한 개의 문항은 하나의 내용만을 포함하도록 하며, 부정문의 사용은 최소로 줄이고 이중부정문 구성은 피해야 한다. 또, 가능한 한 단순하게 구성되도록 문장을 구성하고 질문은 간단하고 명료하게 질문을 하는 것이 필요하다. 또, 답의 단서가 되는 절대적인 어구나 일반적인 어구는 사용하지 않는점이 필요하다.
이 선택형 문항의 장점으로는, 문항을 제작하는 것이 용이하며, 짧은 시간에 많은 양의 문항을 출제 할 수 있는 장점이 있다. 또, 채점을 하는 것에도 빠르고 신뢰할 수 있으며, 객관적으로 접근을 할 수 있고 누구나가 채점도 가능한 장점이 있다.
읽기능력이나 언어능력 등이 부족한 초등학교 저학년이 평가의 대상인 경우에 적절하다고 판단된다.
반대로 선택형 문항의 단점으로는, 추측에 의한 진술이 많이 이루어지기 때문에 신뢰도가 상대적으로 낮다고 할 수 있다. 그리고 고등 정신 능력보다는 단순한 기억력을 요구하는 지식을 주로 구성하며 이를 통해 측정할 가능성이 높다. 때문에 이로 하여금 학습자의 학습동기를 감소시킬 우려가 있는 것이 단점이라 할 수 있다.
선다형 문항이라는 것은, 우리가 문항을 제작할 때 가장 많이 쓰이는 형태이다. 이는 두 가지 이상의 답안을 주고 그 중에 맞는 답지 혹은 가장 알맞은 답안를 선택하는 문항을 말한다. 이 선다형 문항의 분류는, 정답형 문항과 최선답형 문항, 즉 답지 중에 가장 맞는 답을 선택하는 것으로 분류를 하고 있다.
이 선다형 문항을 제작할 때, 유의점으로는 간단하고 명확하게 문제를 제시함으로 질문이 무엇을 묻는 것인지에 대해 명확하게 드러나야 한다는 것이다. 정답을 고를 수 있거나 혹은 오답을 제거할 수 있는 단서를 주어서는 안 되는 것이다. 그리고 답지의 형태 또는 길이는 서로 비슷해야 하고, 답지의 형태가 다를 경우에는 짧은 답지부터 배열하는 것이 바람직한 방법이다. 그리고 정답의 번호가 특정 번호에 너무 치우치지 않도록 구성을 해야 하며 정답의 위치는 다양하게 배치하도록 주의를 기울여야 한다.
이 선다형 문항의 장점으로는 학습내용의 많은 영역을 측정할 수 있기 때문에 다양하고 포괄적인 것이고, 주어진 시간 안에 많은 문항의 검사를 실시할 수 있으며, 내용이 포괄적이기 때문에 그 바탕이 되는 근거가 타당하기도 하다. 채점을 하는 것에 있어서도 좀 더 용이하고 객관적이며 기계적으로 할 수 있어서 채점의 신뢰도를 높일 수 있다.
선다형 문항의 단점으로는, 창의성이나 분석하는 능력, 문제를 해결하는 능력 등 고등의 정신능력을 측정하는 것에는 한계가 있다, 또 매력적인 오답을 제시하기 쉽지 않고 특히 좋은 문항을 제작하는 데에는 많은 시간이 소요되기도 한다. 또, 추측에 의해 정답을 맞힐 확률은 완전히 배제할 수 없는 단점도 있다.
참고문헌
김대현(2020), 교육과정 및 교육평가, 학지사
강봉규, 심리검사의 이론과 기법, 동문사, 2006.
김용래, 교육심리학, 문음사, 2007.
성태제(2019), 교육평가의 기초, 학지사
잘 참고하셔서 도움 되셨으면 좋겠습니다.