왜 큰일인가?
'빅 데이터'는 대량의 비정형 데이터를 연구하여 인간 행동을 이해하고 예측하는 새로운 과학입니다. 빅 데이터는 '예측 분석'이라고도합니다.
트위터 게시물, 페이 스북 피드, eBay 검색, GPS 추적기 및 ATM 컴퓨터를 분석하는 것은 큰 데이터 예제입니다. 보안 비디오, 교통 데이터, 날씨 패턴, 항공편 도착, 휴대 전화 타워 로그 및 심박수 추적기를 연구하는 것은 다른 형태입니다. 빅 데이터는 매주 변경되는 지저분한 새로운 과학이며 소수의 전문가 만이 모든 것을 이해합니다.
정기적 인 생활에서 빅 데이터의 예는 무엇입니까?
대부분의 빅 데이터 프로젝트가 매우 모호하지만, 개인, 회사 및 정부의 일상 생활에 영향을 미치는 큰 데이터의 성공 사례가 있습니다.
바이러스 발발 예측 : 사회 - 정치 데이터, 날씨 및 기후 데이터 및 병원 / 임상 데이터를 연구함으로써이 과학자들은 4 주 사전 예고로 뎅기열 발발을 예측하고 있습니다.
살인자 감시 : 워싱턴 DC에있는이 큰 데이터 프로젝트는 희생자, 용의자 및 범죄자를 살생합니다. 고인을 존경하는 방법으로 그리고 사람들을위한 인식 리소스로서이 큰 데이터 프로젝트는 매력적입니다.
Transit Travel Planning, NYC : WNYC 라디오 프로그래머 인 Steve Melendez는 온라인 지하철 일정과 여행 일정 소프트웨어를 결합했습니다. 그의 창조는 뉴요커들이지도에서 자신의 위치를 클릭하게하고 열차와 지하철의 여행 시간 예측이 나타납니다.
Xerox는 인력 손실을 줄였습니다. 콜센터 작업은 감정적으로 힘들었습니다. Xerox는 전문 분석가의 도움을 받아 많은 양의 데이터를 연구했으며, 이제는 어떤 콜센터 채용이 회사와 가장 오래 머무를 지 예측할 수 있습니다.
테러 지원 : 소셜 미디어, 금융 기록, 항공 예약 및 보안 데이터를 연구함으로써 법 집행 기관은 악의적 인 행위를하기 전에 테러리스트 용의자를 예측하고 찾아 낼 수 있습니다.
소셜 미디어 리뷰를 기반으로 한 브랜드 마케팅 조정 : 사람들은 펍, 레스토랑 또는 피트니스 클럽에서 자신의 온라인 생각을 퉁명스럽게 빠르게 공유합니다. 이 수백만 개의 소셜 미디어 게시물을 조사하고 사람들이 자신의 서비스에 대해 생각하는 것에 대해 회사에 피드백을 제공하는 것이 가능합니다.
빅 데이터를 사용하는 사람은 누구입니까? 그들은 그것으로 무엇을합니까?
많은 모 놀리 식 기업은 큰 데이터를 사용하여 고객 만족을 극대화하기 위해 제품 및 가격을 조정합니다.
- 예를 들어, Macy 's 백화점 은 7 천만 개가 넘는 제품에 대해 큰 데이터를 사용하여 즉석에서 가격을 조정합니다. 그들은 Macy 's가 관심이 있다고 생각하는 것을 기반으로 맞춤 이메일을 고객에게 보냅니다.
- 보스턴 마라톤 폭탄 테러에 대한 경찰의 대응 : 비디오 및 감시 이미지를 연구하기 위해 큰 데이터를 사용함으로써 경찰은 용의자에 대한 수색 범위를 신속하게 좁힐 수있었습니다.
- 모튼 스 스테이크 하우스 (Morton 's Steakhouse) 는 트위터를 사용하여 유명한 뉴저지 공항에서 포터 하우스 스테이크와 새우 저녁 식사를 포함한 마케팅 묘기를 해냅니다.
- Visa는 사기꾼을 식별하고 파악하기 위해 큰 데이터를 사용합니다. 여기 저기에있는 단일 거래로 부정직 한 신용 카드 사용자를 쉽게 숨길 수 있지만 수백만 건의 거래를 신중하게 살펴봄으로써 사기의 패턴을 감지 할 수 있습니다.
- Facebook은 광고를 맞춤화하기 위해 큰 데이터를 사용합니다 . 신중하게 FB 즐겨 찾기와 브라우징 습관을 연구함으로써 소셜 미디어 거물은 자신의 취향에 대한 섬뜩한 통찰력을 가지고 있습니다. Facebook 피드에 표시되는 사이드 바 광고는 Facebook의 습관을 지켜보고있는 매우 신중하고 복잡한 알고리즘에 의해 선택됩니다.
왜 빅 데이터는 큰 거래일까요?
큰 데이터를 만드는 4 가지 일 :
1. 데이터가 방대합니다. 그것은 하나의 하드 드라이브 , 훨씬 적은 USB 스틱 에 적합하지 않습니다. 데이터의 양은 인간의 마음이 인식 할 수있는 양을 훨씬 초과합니다 (10 억 메가 바이트를 생각하고 수십억을 곱합니다).
2. 데이터가 복잡하고 구조가 복잡합니다. 큰 데이터 작업의 50 % ~ 80 %는 검색 및 정렬이 가능하도록 정보를 변환 및 정리합니다. 지구상에있는 수천 명의 전문가 만이 데이터 정리를하는 방법을 완전히 알고 있습니다. 이 전문가들은 또한 HPE 및 하둡과 같은 매우 전문화 된 도구가 필요합니다. 어쩌면 10 년 안에 거대 데이터 전문가가 십분의 일이 될 것입니다.하지만 지금은 매우 희귀 한 애널리스트입니다. 그들의 작업은 여전히 매우 모호하고 지루합니다.
3. 데이터는 판매 및 구매가 가능한 ** 상품이되었습니다. 데이터 마켓 플레이스는 기업과 개인이 테라 바이트의 소셜 미디어 및 기타 데이터를 구입할 수있는 곳입니다. 대부분의 데이터는 클라우드 기반으로, 단일 하드 디스크에 들어가기에는 너무 큽니다. 데이터를 구매할 때 일반적으로 클라우드 서버 팜에 연결하는 가입비가 포함됩니다.
** 큰 데이터 도구 및 아이디어의 리더는 Amazon, Google, Facebook 및 Yahoo입니다. 이러한 회사는 온라인 서비스를 통해 수 백만 명의 사람들에게 서비스를 제공하기 때문에 큰 데이터 분석의 수집 지점이자 비전 제시자가 될 수 있습니다.
4. 빅 데이터의 가능성은 무한합니다. 아마도 의사들은 언젠가 일주일 전에 심장 발작과 뇌졸중을 예측할 것입니다. 항공기 및 자동차 충돌은 기계 데이터 및 교통량 및 기상 패턴에 대한 예측 분석을 통해 줄일 수 있습니다. 온라인 데이트는 큰 데이터를 통해 귀하에게 적합한 인물을 예측함으로써 개선 될 수 있습니다. 음악가는 대상 고객의 변화하는 취향에 가장 적합한 음악 구성을 파악할 수 있습니다. 영양 학자들은 상점에서 구매 한 식품의 조합을 악화 시키거나 사람의 건강 상태를 도울 것으로 예측할 수 있습니다. 표면은 긁힌 상태이며 매주 큰 데이터에서 발견됩니다.
빅 데이터가 지저분하다.
빅 데이터는 예측 분석입니다. 엄청난 비정형 데이터를 검색 가능하고 분류 가능한 것으로 변환합니다. 이것은 특별한 종류의 지식과 인내가 필요한 지저분하고 혼돈스러운 공간입니다.
모 놀리 식 UPS 배달 서비스를 예로 들어 보겠습니다. UPS의 프로그래머는 운전자의 GPS 및 스마트 폰의 데이터를 분석하여 교통 정체에 가장 효과적으로 적응할 수있는 방법을 분석합니다. 이 GPS 및 스마트 폰 데이터는 아주 많으며 분석을 위해 자동으로 준비되지 않습니다. 이 데이터는 다양한 스마트 폰 하드웨어 장치를 통해 다양한 GPS 및지도 데이터베이스에서 유입됩니다. UPS 분석가는 몇 달 동안 모든 데이터를 쉽게 검색 및 정렬 할 수있는 형식으로 변환했습니다. 그러나 그 노력은 그만한 가치가있었습니다. 오늘날 UPS는 이러한 대형 데이터 분석을 사용하기 시작한 이래로 800 만 갤런 이상의 연료를 절약했습니다.
커다란 데이터가 지저분 해지고 정리 작업에 많은 시간을 필요로하기 때문에 데이터 과학자들은 지루한 작업에 대해 '데이터 수위병'으로 별명을 붙였습니다.
하지만 대용량 데이터 및 예측 분석 기술은 매주 향상되고 있습니다. 2025 년까지 누구나 쉽게 이용할 수있는 큰 데이터를 기대하십시오.
빅 데이터는 프라이버시에 대한 침해 위협이 아닙니까?
예, 당사의 법률 및 개인 정보 보호 정책을 신중하게 관리하지 않으면 큰 데이터가 개인 정보에 침투합니다. 구글과 유튜브, 페이스 북은 이미 일상적인 온라인 습관을 추적하고있다 . 스마트 폰과 컴퓨팅 라이프는 매일 디지털 발자국을 남기며 정교한 회사는 이러한 발자국을 연구하고 있습니다.
빅 데이터에 관한 법률은 진화하고 있습니다. 개인 정보 보호는 더 이상 기본 권리로 기대할 수 없으므로 이제 개인 책임을 져야하는 상태입니다.
개인 정보를 보호하기 위해 할 수있는 일 :
당신이 취할 수있는 가장 큰 단일 단계는 VPN 네트워크 연결을 사용하여 매일의 습관을 숨기는 것 입니다. VPN 서비스는 신원과 위치가 추적기에서 적어도 부분적으로 가려 지도록 신호를 스크램블합니다. 이렇게해도 100 % 익명 성을 갖출 수는 없지만 VPN을 사용하면 세계가 온라인 습관을 얼마나 많이 관찰 할 수 있는지가 크게 줄어 듭니다.
빅 데이터에 대해 더 자세히 알 수있는 곳은 어디입니까?
큰 데이터는 분석 정신을 갖고있는 사람들과 기술에 대한 사랑을 가진 사람들에게 매력적인 데이터입니다. 그것이 당신이라면 흥미로운 빅 데이터 프로젝트의이 페이지를 꼭 방문하십시오.