Spark 분산환경

[빅데이터를 지탱하는 기술] 트위터 API를 이용한 데이터 파이프라인 만들기 # 3

트위터 API를 이용하여 데이터 파이프라인 만들기 이전 포스팅에 이어서 진행합니다. [빅데이터를 지탱하는 기술] 트위터 API를 이용한 데이터 파이프라인 만들기 # 2 트위터 API를 이용하여 데이터 파이프라인 만들기 이전에 작성했던 포스팅에 이어서 진행합니다. [빅데이터를 지탱하는 기술] 트위터 API를 이용한 데이터 파이프라인 만들기 # 1 트위터 API를 이 my-develop-note.tistory.com 이번 포스팅에서는 VM에 Spark 분산환경을 구축한 경험을 공유해보고자 합니다. Hadoop YARN에서 Spark를 실행하는 방법입니다. java-8이 설치되어 있다고 가정하겠습니다. 이전에 Hadoop을 설치했던 것과 마찬가지로 master, slave VM 모두 동일하게 /usr/loca..