빅데이터
분야
hwp1. 빅 데이터란 무엇인가?
빅 데이터 (Big data)란 기존 데이터베이스 관리도구의 데이터 수집·저장·관리·분석의 역량을 넘어서는 대량의 정형 또는 비정형 데이터 세트 및 이러한 데이터로부터 가치를 추출하고 결과를 분석하는 기술을 의미한다. 다양한 종류의 대규모 데이터의 생성·수집·분석·표현을 그 특징으로 하는 빅 데이터 기술의 발전은, 다변화된 현대 사회를 보다 정확하게 예측하여 효율적으로 작동케 하고, 개인화된 현대 사회 구성원 마다 맞춤형 정보를 제공·관리·분석 가능케 하며, 과거에는 불가능 했던 기술을 실현시키기도 한다. 이같이 빅 데이터는 정치·사회·경제·문화·과학 기술 등 전 영역에 걸쳐서 사회와 인류에게 가치 있는 정보를 제공하며, 그 중요성 또한 부각되고 있다. 세계 경제 포럼은 2012년 떠오르는 10대 기술 중 그 첫 번째를 빅 데이터 기술에 선정하였으며, 대한민국 지식경제부 R&D 전략기획단은 IT 10대 핵심기술 가운데 하나로 빅 데이터를 선정하는 등, 최근 세계는 빅 데이터를 주목하고 있다.
2. 개념
기존 빅 데이터의 개념은 단순히 데이터의 양이 많은 것을 의미했다면, 최근의 일반적인 빅 데이터의 개념은 기존 데이터에 비해 너무 방대해 일반적으로 사용하는 방법이나 도구로 수집, 저장, 검색, 분석, 시각화 등을 하기 어려운 정형 또는 비정형 데이터세트를 의미한다. 빅 데이터의 정의에 합의된 바는 없지만, 맥킨지와 IDC는 데이터베이스의 규모와 업무수행에 초점을 맞춰, 빅 데이터를 다음과 같이 정의하였다.
- 데이터베이스의 규모에 초점을 맞춘 정의 (McKinsey, 2011)
일반적인 데이터베이스 SW가 저장, 관리, 분석할 수 있는 범위를 초과하는 규모의 데이터
- 데이터베이스가 아닌 업무수행에 초점을 맞춘 정의 (IDC, 2011)
다양한 종류의 대규모 데이터로부터 저렴한 비용으로 가치를 추출하고 (데이터의) 초고속 수집, 발굴, 분석을 지원하도록 고안된 차세대 기술 및 아키텍처
3. 출현 배경
기존 소셜 네트워크 서비스로 대표되는 소셜 미디어의 성장과, 최근 스마트 폰으로 대변되는 모바일 장치의 확산이 결합되어, 일상 속에서 다양한 종류의 대규모 데이터가 급속히 생성, 유통, 저장되고 있다. 또한 RFID와 같이 정보를 감지하는 센서 장비의 이용 확대와 이러한 정보를 수집하는 클라우드 컴퓨팅 기술의 확산은, 물류의 이동 및 재고의 변화뿐만이 아닌 개별 소비자들의 개인정보 및 소비행태와 같은 모든 일상에 대한 디지털 기록을 가능케 하고 있다. 기업 및 사회는 이러한 수집된 데이터를 기반으로 예측 분석을 하기 위하여, 다양한 종류의 대규모 데이터 처리, 분석 및 활용 기술을 필요로 하고 있다. 대량의 다양한 데이터 생산 기술의 진보와, 이에 필요한 데이터 저장·관리·분석 기술의 발전 속에서 빅 데이터가 출현하게 된다.
4. 특징
빅 데이터는 TB(테라바이트)단위의 데이터 양으로 정의되거나 데이터 수집 및 분석에 장기적인 시간을 요하므로, 데이터 양의 증가를 그 특징으로 하는 것이 명확해 보인다. 그러나 단순한 데이터양의 증가를 넘어서서, 빅데이터는 크게 데이터 양(volume), 데이터 속도(velocity), 그리고 데이터 다양성(variety) 등 세 가지 요소의 복합적인 변화를 그 특징으로 한다.