빅데이터

1 개요 

빅데이터하면 떠오르는 단어들 

비정형 

사람

분석 analyze 

흘러가는 데이터 조각 

가치 

데이터의 강에서 사금을 채취하는 것 

2 빅데이터 배경 

pc시대 -> 인터넷 시대 -> 모바일 시대 -> 스마트 시대 

                                                           M2M(자동화시대) 지금 우리에게 온 새로운 시대  

volume 

variety 

velocity         3v + 1v  

2 빅데이터 기술 

처리과정 

데이터소스   ->    수집      ->     저장       ->       처리       ->     분석   ->    표현

'정형'                크롤링         병렬DBMS          분석하기 위한   Machine        Visualization

'비정형'                               NoSQL               준비                Learning

'반정형'                               분산파일시스템 

=> value   

NoSQL : Not only Structure Query Language (비정형 데이터 SQL) 

3 빅데이터 응용 사례 

관광사 

TV광고 

서비스 

SPARK 

HDFS 

4 세부 기술 

Hadoop Ecosystem (open source)

인 메모리 기술 : 디스크가 아니라 메모리로 실시간으로 접근 

메모리를 physical로 남겨놓는 일종의 컴퓨터식 기억법 

단기기억과 장기기억의 연동  (인 메모리 기술은 디스크 만큼 많은 메모리를 확보할 수는 없기 때문에 

현재 기술력으로는 제타바이트와 엑사바이트의 데이터를 다루지는 못한다)

빅 데이터 보안 :

Infratructure Security  

Data Management 

Data privacy 

Integrity and Reactive Security