신뢰도와 타당도 확보의 예
분야
hwp측정도구의 신뢰도와 타당도를 확인하는 작업은 주로 측정도구를 개발하는 연구자에게 요구되는 것이다. 따라서 사회복지 실천현장에 종사하는 사회복지사는 자신이 사용하는 측정도구를 직접 개발하기보다는 이미 만들어진 측정도구를 선택해서 사용하는 경우가 많다. 그러나 사회복지사는 자신이 진행하는 프로그램의 효과성을 보여 줄 경우나 지역주민 또는 기관 이용자를 대상으로 설문조사를 할 경우 적절한 측정도구를 만들거나 선택해야 하는 경우가 있다.
따라서 사회복지사는 자신의 연구를 수행할 경우 연구에 필요한 최소한의 측정 개념이 무엇인지 확인하고, 척도를 구성하고 있는 개별 문항이 어떠한지 확인해 살펴볼 필요가 있다. 또한 사회복지사는 자신의 연구에 적합하도록 측정도구의 문구를 수정하거나 보완할 필요도 있기 때문에 측정도구의 신뢰도와 타당도를 확보하는 방안을 활용할 수 있어야 할 것이다. 다음에서는 기존의 사회복지 관련 연구에서 측정도구의 신뢰도와 타당도를 어떻게 확보하고 있는지 예를 통해 살펴보자.
1) 사회복지 서비스 이용자 만족도 척도 개발에서 신뢰도와 타당도 검정
본 연구에서는 사회복지기관 이용자를 대상으로 만족도 척도를 개발하는 과정을 담고 있다. 또한 척도 개발을 위해 측정도구의 신뢰도와 타당도를 확인하는 다양한 방법을 소개하면 다음과 같다.
첫째, 연구자는 측정도구의 내용타당도를 확인하기 위해서 만족도에 관한 기존 연구를 검토하여 40개의 예비문항을 작성하였다. 이후 측정문항의 내용타당도는 사회복지 실무경력이 10년 이상인 실무자 3인, 사회복지학과 교수 1인이 검토하는 방법으로 확인하였다. 예비문항 평가에서 2명 이상의 전문가가 부적격이라고 판정을 내린 문항은 문항 목록에서 삭제하여 문항의 적절성을 검토하는 방식을 사용하였다.
둘째, 연구자는 측정도구의 내적일관성을 평가하기 위해 개별 문항들 간의 상관관계와 개별 문항과 총점 간의 상관관계를 분석하였으며, 크론바흐 a값을 계산하였다. 개별 문항들 간의 상관관계 크기는 .30 이상, 개별 문항과 총점 간의 상관관계 크기는 .50 이상, 크론바흐 a는 .70 이상을 기준으로 하여 측정하였다. 또한 측정의 표준오차andard error of measurement)를 계산하였으며, 측정의 표준오차는 관찰점수가 실제 점수로부터 벗어난 정도를 의미하기 때문에 그 값이 작을수록 신뢰도가 양호한 상태를 의미한다. 이 점수는 척도 총점의 5%이내를 기준으로 설정하였다.
셋째, 본 연구에서 측정도구의 구조를 분석하기 위해 탐색적 요인분석(exploratory factor analysis)을 실시하였다. 탐색적 요인분석 결과, 총 33개 문항들은 2개의 요인으로 묶였으며, 요인부하량(factor loading)이 .50 미만인 문항들을 제외하였다. 또한 2개 요인의 모형적합도를 평가하기 위해 AMOS 프로그램을 이용하여, NNFI, CFI, SRMR, RSMEA값을 통해 적합도 지수를 확인하였다.
넷째, 측정도구의 구성타당도를 검정하기 위해 수렴타당도와 판별타당도를 평가하였다. 본 연구에서는 연구자가 개발한 만족도 척도와 보건복지부에서 개발한 만족도 척도 및 크로닌과 테일러(Cronin & Taylor, 1992)가 개발한 서비스 질 척도를 사용하였다. 연구자는 자신이 개발한 이용자 만족도 척도와 보건복지부에서 개발한 만족도 척도가 모두 동일한 개념을 측정한다고 가정하여 두 척도의 정적 상관관계를 보일 것으로 예상하였다. 또한 서비스 질이 양호할 수록 이용자 만족도가 높아진다고 가정하였기 때문에 이용자 만족도 척도와 서비스 질 척도도 정적 상관관계를 보일 것으로 보았다. 따라서 연구자는 이들 3개 척도의 상관관계 간 정적 상관관계를 보이면 수렴타당도를 확보할 수 있다고 보았다. 또한 판별타당도는 연구자가 개발한 만족도 척도와 보건복지부에서 개발한 만족도 척도의 상관관계 크기가 서비스 질 척도와의 상관관계보다 높을 것이라고 가정하고, 이를 확인하였다. 판별타당도를 확인하게 되는 이유는 연구자가 만족도 척도의 문항들이 모두 만족도를 측정하기 위해 만들어진 문항이기 때문에 서비스 질을 측정하는 척도보다 더 높은 상관관계를 보여야 한다고 보았기 때문이다.
2) 한국 노인의 성공적 노화 척도 개발을 위한 연구에서 신뢰도와 타당도 검정
본 연구는 고령화 사회를 맞이하여 노인의 성공적 노화를 측정하기 위한 척도를 개발하는 것이었다. 본 연구에서도 성공적 노화 척도의 신뢰도와 타당도를 확보하기 위해서 다양한 시도를 하였으며, 이를 요약하면 다음과 같다.
첫째, 본 연구는 만 65세 이상의 노인을 대상으로 대도시, 중소도시, 농어촌 지역과 남녀 비율을 고려하여 총 600명을 대상으로 예비문항을 설문 조사하였다. 또한 예비문항 설문결과를 가지고 탐색적 요인분석을 하였으며, 이를 통해 측정도구의 요인구조를 파악하여 구성타당도를 확보하였다. 탐색적 요인분석은 요인 간 상관을 고려하여 사각회전(Oblimin)을 이용하였다. 사각회전은 요인 간에 상관이 없다는 것을 가정한 요인분석방법이다. 또한 문항 간 상관을 고려하여 문항 전체 합과 각 문항의 상관계수가 r=.30이하인 문항을 제거하였으며, 요인부하량이 여러 요인에 걸쳐 높거나 낮게 나타나는 문항들, 개념이 서로 다른 문항들이 묶인 경우 문항들을 제거하였다. 요인의 수는 이론적 근거가 명확하지 않거나 요인 수를 예측하기 어려운 경우에는 요인 수를 지정하지 않고 탐색적 요인분석을 실시한다. 그러나 본 연구에서는 노인들을 대상으로 면접조사를 실시하였고, 6개의 범주를 개발하였으며, 요인 수를 +/-1개로 하여 적합한 요인 수를 결정하는 방법을 적용하였다. 탐색적 요인분석 결과, 총 66문항 가운데 전체 합과 상관분석 에서 r=.30 이하인 문항과 요인부하량이 40이하인 문항을 제거하였다.
둘째, 탐색적 요인분석 이후에 타당도를 검정하기 위하여 확인적 요인분석(confirmatory factor analysis)을 실시하였다.
확인적 요인분석에서 모형의 적합도를 확인하는 지표는 NNFKNon-Normal Fit Index), CFI(Comparative Fit Index), RMSEA(Root Mean Square Error Approximation)등이 있으며, 분석결과의 적합도를 확인할 수 있다.
이때 CFI는 .90 이상이면 좋은 적합도를 나타내며, RMSEA는 값이 .05보다 작으면 적합도 판정기준을 만족시키는 것으로 받아들여진다.
셋째, 기준관련 타당도를 확인하기 위해서 노인의 성공적 노화 개념과 유사한 노인의 삶의 질 척도와 본 연구에서 개발한 한국 노인의 성공적 노화 척도 점수의 상관관계를 분석하였다. 분석 결과, 상관계수 T=.72로 높게 나타났으며, 성공적 노화의 하위요인들의 상관계수도 .40 이상으로 나타나 동시타당도를 확인할 수 있었다.
사회복지의 이해 : 윤찬영 저, 정민사, 2017
한국 사회복지실천과 복지경영 : 최성균/이준우 저, 파란마음, 2017
사회복지 사례관리 : 이채석 저, 어가, 2017
사회문제와 사회복지 : 최선화, 박광준 외 3명 저, 양서원, 2014
사회복지 행정실무 : 이세형 저, 양성원, 2017
사회복지행정의 이해 : 강종수 저, 학지사, 2019
사회복지서비스 : 한국산업인력공단, 진한엠앤비, 2015
사회복지정책입문 : 김태성 저, 청목출판사, 2018
인간행동과 사회환경 - 고명수/이승현 외 3명 저, 정민사, 2018
지역사회복지와 사회복지시설 : 이병록 저, 청목출판사, 2007
사회복지조사방법론 : 최창현, 황민철 저, 윤성사, 2018
사회복지실천론 : 이영분/김기환 등 저, 동인, 2010