분야
pptx평가항목 선정
1차 평가 항목 추출
평가 항목 선정 절차
PILOT TEST
최종 평가항목 선정
1차 평가항목 선정 (1/2)
1차 28개 평가항목 추출
다양한 평가항목으로 성능측정의 객관성 확보
선행연구에서 빈번하게 사용되는 평가항목 규명+기타 항목 추가
1차 평가항목 영역화
28개 항목을 정보시스템 평가영역으로 구조화
연구 참여자들이 28개 항목에 해당하는 품질영역 투표, 의견조율
⇒ 시스템 품질, 정보품질, 사용성으로 구분, 이용자 만족도 제외
1차 평가항목 선정 (2/2)
측정방법 선정
28개 평가항목 세분화 ⇒ 총 3개 영역
28개 항목 69개 세부항목
평가 참여자수, 평가자 선정
측정방법 : 실험평가, 조사평가, 업체방문
① 실험평가 : 적합성, 중복성 등 직접 성능평가 가능 항목
② 조사평가 : 구문검색, 불리언 연산자 제공 등 조사비교를 통한
성능평가 가능 항목
③ 업체방문 : DB 및 색인 사이즈 등 실험 및 조사평가로 규명이
어려운 항목
Pilot test
테스트 기간 : 2005년 11월 17일 ~ 21일
테스트 목적 및 결과
① 평가영역 설정의 적절성
정보품질 ⇒ 시스템품질
사 용 성 ⇒ features 조사
② 평가목적의 명료성
평가목적과 방법이 유사, 중복되는 항목은 통합, 삭제
검색 결과 상위 10개 중 적합 문헌수 vs 상위 10개에 대한 3점 척도 적합성 평가 ⇒ 통합
특정 주제영역(문헌정보학) 적합성 조사 ⇒ 삭제
③ 평가항목 측정 및 조사가능성
측정 불가항목 제외
랭킹 알고리즘, 최신 검색어 설정 기준
실험평가 ⇒ 특징조사로 방법변경
구문검색, 다국어 및 특수기호 입력지원 등
④ 평가기준과 방법 정교화
- 3점 척도 적합성 평가 기준
중복성 기준 구체화, 표준화
웹 문서 검색 결과 평가로 한정
Pilot test
최종 평가항목 선정(1/5)
1. 질의(query) 실험 평가
평가환경 및 참여자
동일 장소, 동일 시간에 실험평가 실시
실험환경과 적합성 판단기준 차이 최소화
평가자 : 6명
질의 평가내용
동일 질의를 5개 검색엔진에 동일하게 적용
한가지 실험을 통해 다수의 요소 종합적 평가