티스토리

나의 개발 노트

검색하기

블로그 홈

나의 개발 노트

my-develop-note.tistory.com/m

학습한 것을 기록합니다.

구독자: 43

방명록 방문하기

주요 글 목록

[KAFKA] 기록#1 [listeners vs advertised.listeners] feat Nifi Docker 환경에서 Kafka와 Nifi를 연결해야 하는 상황이 있었습니다.같은 Docker 네트워크 환경이 아니라 각기 다른 VM위에 Docker에 설치된 Kafka와 Nifi였습니다.VM들은 네트워크 동일 서브넷에 위치한 동일 네트워크 환경이었지만, 각자의 Docker에 위치하였고, Nifi 쪽에서 Kafka와 연결하지 못한 상황이 발생하여 해결한 경험과 함께 이번에 알게된 kafka config 중 listeners, advertised.listeners 에 대하여 같이 기록하고자 합니다. - VM1(kafka) IP : 10.10.10.2- VM2(nifi) IP : 10.10.10.3 docker-compose.ymlservices: kafka1: image: bitnami/kafka.. 공감수 1 댓글수 0 2024. 11. 28.
[Airflow] Webserver 속도 개선 프로젝트에서 사용중인 airflow의 webserver 속도가 느리다는 피드백이 종종 있었습니다.webserver의 ui이 등장할 때, Variables, Connetions의 정보를 화면에서 보여줄 때같은 상황에서 짧으면 3초 길면30초 이상 화면이 느리게 등장했던 이슈가 있어 약간의 속도개선을 한 경험을 공유하려고 합니다. 체감상 빨라진 경우이며, 다양한 케이스를 확인한 것이 아닙니다.구글링을 해보아도 속도 문제를 개선한 사례들이 많이 없어, 원인을 찾아보며 개선하려고 하고 있습니다. 몇가지 영향을 주었을 것 같은 작업들을 나열하겠습니다.1. Airflow DB 관련 작업현재 사용중인 airflow는 kubernetes위에서 동작하며, kubernetes excuter를 사용하고 있습니다. Kube.. 공감수 1 댓글수 0 2024. 11. 4.
[Trino] id/password 적용하기 현재 투입된 프로젝트에서 Trino 쿼리엔진을 활용하고있습니다. Fast API를 이용하여 API로 Trino에 쿼리를 날리고 있지만,특정 사용자의 경우 직접 데이터에 쿼리를 날리고 싶다는 클라이언트의 요구사항이 있었습니다.Trino에서 간단하게 id/password로 보안요소를 적용해보려고 합니다. 실습환경은 Docker를 사용하였고, 실 운영 환경은 K8S로 운영되지만 이번예제는 간단하게 config 수정을 볼 것이기 때문에config에 집중하면 좋을 것 같습니다. 참고링크 : https://trino.io/docs/current/security/password-file.html Password file authentication — Trino 463 DocumentationPassword file .. 공감수 0 댓글수 0 2024. 10. 25.
[PyFlink] 기록 # 2 Iceberg 도입시 Error 진행중인 프로젝트에 Iceberg를 도입 중 등장한 Error 처리에 대한 기록NoClassDefFoundError: org/apache/hadoop/conf/Configurationjava.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration at org.apache.iceberg.flink.FlinkCatalogFactory.clusterHadoopConf(FlinkCatalogFactory.java:211) at org.apache.iceberg.flink.FlinkCatalogFactory.createCatalog(FlinkCatalogFactory.java:139) at org.apache.flink.table.factories.Fac.. 공감수 1 댓글수 1 2024. 9. 21.
[PyFlink] 기록#1 Dictionary in List 처리 현재 진행하는 프로젝트에 flink를 도입하려고 기존에 있던 파이프라인을 pyflink로 코드화하여 정상동작을 하고 있는지 테스트를 진행중이다.flink에 대한 자료뿐 아니라 pyflink에 대한 자료가 적고, 의지할 수 있는것은 공식문서밖에 없기 때문에 코드를 한줄한줄 바꿔가며 적용해보고 있다.이번 포스팅에서도 프로젝트 상황과 비슷하게 구현하여, 테스트한 내용과 기록을 남기려고 한다.배경먼저 현재 프로젝트에는Kakfa에 저장되어 있는 데이터를 가져와 Flink로 전처리, partitioning 하여 S3에 parquet format으로 적재하고 있다.이번 포스팅에서는 Kafka에서 데이터를 가져와 Flink로 전처리하여 print하는 작업에 대하여 기록하려고 한다.Kafka에 저장되어 있는 데이터는 아.. 공감수 1 댓글수 1 2024. 8. 31.
[Flink] Flink Architecture 최근 진행하고 있는 프로젝트에 pyflink를 도입하기 위하여 기술 연구를 진행하고 있습니다.flink 공식문서를 보고 학습 및 번역한 내용을 정리하였습니다. Flink ArchitectureFlink 분산 시스템이며 스트리밍 애플리케이션을 실행하려면 컴퓨터 리소스의 효과적인 할당 / 관리가 필요함Hadoop YARN 및 Kubernetes 와 같은 클러스터 리소스 관리자와 통합됨Standalone cluster 또는 라이브러리로 실행되도록 설정할 수 있음Standalone cluster는 머신에서 직접, container로 혹은 Yarn과 같은 리소스 프레임워크로 관리됨TaskManager는 Jobmanager에 연결하여 자신이 사용가능한 것으로 알리고 JobManager에서 작업을 할당받음Anato.. 공감수 0 댓글수 0 2024. 8. 24.
[kafka] kafka cluster 구축하기 데이터 플랫폼 운영업무를 진행하면서 예전 장비가 노후되어 신규 서버가 들어오면서 kafka cluster를 구축하는 일이 생기기도 했고,EOS 문제도 있으며 보안상의 이유로 신규 카프카를 설치해야 하는 경우도 있었습니다. 물론 예전버전의 카프카를 사용하는 경우 rolling upgrade를 진행 할 수도 있습니다. rolling upgrade는 나중에 이야기를 해보려고 합니다. 이번 포스팅에서는 kafka cluster를 구축해보려고 합니다. 각 버전은 다음과 같습니다. zookeeper : 3.6.4 kafka : 3.0.0 monitoring : kafka for ui 현재 업무에서는 예전에 구축했던 버전들을 사용하고 있고, rolling upgrade를 위한 복선으로 위와 같은 버전을 사용하겠습니다.. 공감수 1 댓글수 2 2024. 1. 28.
[Kafka] kafka 아키텍처와 구성 MOM(Meesage Oriented Middle ware) 아키텍처 카프카 아키텍처에 대해서 이야기하기 전에 먼저 MOM과 메시지 브로커(Pub/Sub 패턴)을 정리하겠습니다. 메시지 공급자를 이용하여 클라이언트(애플리케이션)들의 메시지를 중간에서 관리해줌 메시지를 보낸(송신) 클라이언트는 응답이 오지 않더라도 다른 작업을 계속 수행할 수 있음(비동기) 메시지 공급자는 수신 클라이언트가 메시지를 소비할 때까지 메시지를 보관 시스템의 개별 구성 요소나 연결이 실패하여도 중단 없이 안정적으로 작동할 수 있는 느슨한 연결을 함 여기서 중요한 것은 MOM은 이론, 개념, 어떤 설계적인 방향성을 제시하고 있고 직접적인 구현체는 아닙니다. 메시지 브로커(Pub/Sub 패턴) 메시지 브로커는 송신자(Publishe.. 공감수 0 댓글수 0 2024. 1. 21.
[Kafka] Apache kafka 소개와 배경 현재 업무상 데이터 인프라, 데이터 엔지니어링, 데이터 플랫폼을 운영하고 있습니다. 데이터 엔지니어라는 포지션이 꼭 데이터 엔지니어링만을 다루는 것이 아니라 해당 시스템을 뒷받침하는 인프라적인 요소를 잘 다루어야 한다는 것을 크게 체감하고 있습니다. 데이터 인프라적인 요소 또한 조금씩 포스팅하려고 합니다.. 위에서 이야기한 두가지 요소를 포함하는 것을 데이터 플랫폼이라고 규명하겠습니다. 현재 운영하는 데이터 플랫폼의 첫 시작인 카프카에 대해서 이야기하려고 합니다. Apache Kafka(아파치 카프카) 카프카는 카프카 공식문서를 통하면 더욱 자세하게 알 수 있습니다. 아파치 카프카란? 오픈소스로 확장성이 뛰어난 메시지 브로커 프로젝트입니다. 분산형 데이터 스트리밍 플랫폼이며 대용량의 실시간 데이터를 처리.. 공감수 1 댓글수 1 2024. 1. 19.
[빅데이터를 지탱하는 기술] 빅데이터의 축적 # 2 스트리밍 형의 데이터 전송 웹 브라우저, 모바일 앱, 센서 기기등 각종 디바이스에서는 데이터가 바로 생성이 되고 어디에도 저장이 되지 않는 데이터는 바로 전송을 하고 수집을 해야합니다. 이러한 데이터는 벌크 형 도구로 모으는 것은 불가능하기 때문에 스트리밍 형 데이터 전송이 필요합니다. 웹 브라우저나 모바일 앱은 메시지 배송의 통신 프로토콜로 HTTP(S)를 사용합니다. lot 같은 머신 데이터는 MQTT 등의 오버헤드가 작은 프로토콜이 사용되는 경우도 있습니다. 이러한 데이터 전송의 공통점은 다수의 클라이언트에서 작은 데이터들이 전송되는 것입니다. 이러한 데이터 전송 방식을 '메시지 배송(message delivery)'이라고 하며 메시지 배송 시스템은 통신을 위한 오버헤드가 커지기 때문에 이를 처리하.. 공감수 0 댓글수 0 2023. 5. 27.
[빅데이터를 지탱하는 기술] 빅데이터의 축적 # 1 객체 스토리지와 데이터 수집 빅데이터의 대부분은 확장성이 높은 '분산 스토리지(distributed storage)'에 저장됩니다. 일반적으로는 파일을 저장하기 위한 '객체 스토리지(object storage)'가 많이 이용됩니다. 대표적으로 Hadoop의 HDFS, Amazon S3가 있습니다. 객체 스토리지의 파일을 읽고 쓰는 과정은 네트워크를 통해서 일어납니다. 데이터는 여러 디스크에 복사되기 때문에 하나의 디스크가 고장이 나도 데이터가 손실되지 않는다는 장점을 가지고 있습니다. 또한 읽고 쓰는 작업을 여러 하드웨어에 분산하기 때문에 데이터의 양이 늘어나도 성능이 떨어지지 않도록 설계되어 있습니다. 하지만 객체 스토리지는 데이터의 양이 많을 때에는 효율적이지만 소량의 데이터인 경우에는 비효율적입니다.. 공감수 0 댓글수 0 2023. 5. 26.
[빅데이터를 지탱하는 기술] 대규모 분산 처리의 프레임워크 # 5 데이터 마트의 구축 팩트 테이블(Fact Table) 데이터 분석의 시작은 데이터를 구조화입니다. 많은 정보를 담고 있는 팩트 테이블은 데이터 분석의 많은 부분을 차지하고 있습니다. 팩트 테이블의 크기가 작다면 메모리에 올릴 수 있지만 빅데이터의 경우에는 팩트 테이블의 크기가 커서 열 지향 스토리지에서 데이터를 압축해야 빠른 집계를 할 수 있습니다. 새로운 데이터가 들어왔을 때 팩트 테이블은 추가(append), 치환(replace) 두 가지의 작성방법이 있습니다. 추가(append)는 새로 도착한 데이터만 기존의 데이터에 추가해주는 방식이고 치환(replace)은 과거의 데이터와 새로운 데이터를 포함하여 테이블 전체를 치환하는 방식입니다. 테이블 파티셔닝 효율면에서는 추가(append)가 유리합니다. .. 공감수 0 댓글수 0 2023. 5. 24.
[빅데이터를 지탱하는 기술] 대규모 분산 처리의 프레임워크 # 4 쿼리엔진 데이터 마트 구축의 파이프라인 위의 예제는 Hive와 Presto를 사용한 간단한 데이터 파이프라인입니다. 우선 분산 스토리지에 저장된 CSV, 텍스트 데이터 등을 Hive를 통하여 구조화하고 열 지향 스토리지 형식으로 저장합니다. 이때 Hive에서 만든 테이블의 정보는 Hive 메타 스토어에 저장됩니다. SQL-on-Hadoop의 쿼리엔진에서도 공통의 테이블 정보를 참고합니다. 그리고 열 지향 스토리지에서 Presto의 쿼리를 이용하여 구조화된 데이터를 결합, 집계하는 과정을 거쳐 비정규화 테이블로 만들어 데이터 마트로 내보냅니다. Hive에 의한 구조화 데이터 작성 Hive를 비롯한 대부분의 SQL-on-Hadoop의 쿼리 엔진은 MPP 데이터베이스처럼 데이터를 내부로 가져오지 않아도 텍스트.. 공감수 0 댓글수 0 2023. 5. 23.
[빅데이터를 지탱하는 기술] 대규모 분산 처리의 프레임워크 # 3 Spark Apache Spark는 Hadoop의 MapReduce 보다 더 효율적인 데이터 처리를 하기 위해 개발이 진행되고 있는 독립된 프로젝트입니다. 기존의 MapReduce와의 차이로는 대량의 메모리를 활용하여 데이터 처리를 빠르게 진행한다는 점입니다. MapReduce가 개발되는 시절에는 처리해야 할 데이터의 크기에 비하여 훨씬 적은 메모리를 사용할 수 밖에 없었고 데이터 처리를 대부분 디스크 I/O에 사용하였습니다. Tez의 경우 또한 MapReduce의 불필요한 단계를 감소하였지만 기본적으로 디스크를 사용합니다. Spark에서는 중간 데이터를 디스크에 쓰지 않고 메모리에 보존합니다. 현재는 메모리의 발전으로 메모리가 취급할 수 있는 데이터의 양이 증가하여 가능한 많은 데이터를 메모리에 올려 .. 공감수 1 댓글수 1 2023. 5. 22.
[빅데이터를 지탱하는 기술] 대규모 분산 처리의 프레임워크 # 2 Hadoop Hadoop은 현재 빅데이터를 대포하는 시스템입니다. 사실 Hadoop은 단일 소프트웨어가 아니라 분산 시스템을 구성하는 다수의 소프트웨어로 이루어진 집합체입니다. 분산 시스템(Hadoop)의 구성요소 HDFS(Hadoop Distributed File System) : 하둡 분산 파일 시스템 YARN(Yet Another Resource Negotiator) : 리소스 관리자 MR(Map Reduce) : 분산 데이터 처리(distributed data processing : 맵리듀스) 그 외의 프로젝트들은 Hadoop과 독립적으로 개발되어 Hadoop을 이용한 분산 애플리케이션으로 동작합니다. 모든 분산 시스템이 Hadoop에 의존하는 것이 아니라 Hadoop을 일부 사용하거나 전혀 이용.. 공감수 0 댓글수 0 2023. 5. 19.
[빅데이터를 지탱하는 기술] 대규모 분산 처리의 프레임워크 # 1 구조화 데이터와 비구조화 데이터 SQL로 데이터를 집계하는 경우 테이블의 컬러명, 데이터형태, 테이블의 관계를 스키마로 정하게 됩니다. 이때 스키마가 명확하게 정의된 데이터를 구조화 데이터(structured data : 정형데이터)라고 합니다. 빅데이터는 반드시 구조화된 데이터만 존재하지 않습니다. 텍스트 데이터, 동영상 데이터, 음성 데이터 등등 스키마가 없는 데이터를 비구조화 데이터(unstructed data : 비정형데이터)라고 합니다. 비구조화된 원시데이터를 분산 스토리지에 저장하고 그것을 분산시스템으로 처리하는 것이 데이터 레이크의 개념이고 이런 비구조화된 데이터를 데이터 가공, 스키마 정의를 통하여 구조화된 데이터로 바꾸어 데이터 웨어하우스로 옮겨 데이터 분석작업을 할 수 있습니다. 스키마.. 공감수 0 댓글수 0 2023. 5. 18.
[빅데이터를 지탱하는 기술] 빅데이터의 탐색 # 3 데이터 마트의 기본구조 데이터 분석을 위하여 BI도구(Tableau, Redash, PowerBI, Looker ..)에서 데이터를 시각화하려면 시각화에 필요한 정보를 모아놓은 데이터 마트가 필수입니다. 데이터 마트의 설계에 기본이 되는 개념을 정리합니다. 시각화에 적합한 데이터 마트 만들기(OLAP) 데이터 분석, 데이터 시각화에서 가장 핵심적인 개념은 OLAP(Online Analytical Processing)입니다. OLAP는 사용자가 정보에 직접 접근하여 대화식으로 정보를 분석하고 의사결정에 활용하는 과정을 말합니다. OLAP의 개념을 몰라도 BI도구를 사용할 수 있지만 데이터 마트를 구축할 때는 지식이 필요해 보입니다. 다차원 모델과 OLAP 큐브 데이터 웨어하우스를 모델링할 때 사실(Fact.. 공감수 0 댓글수 0 2023. 5. 17.
[빅데이터를 지탱하는 기술] 빅데이터의 탐색 # 2 열 지향 스토리에 의한 고속화 데이터베이스의 지연을 줄이기 데이터양이 증가함에 따라 집계에 시간은 길어집니다. 데이터 집계에 몇 분 이상의 시간이 소모된다면 다음 작업에 영향을 주게 되고 대기 시간이 늘어나 전반적으로 작업이 느려지는 상황이 나오게 됩니다. 짧은 시간안에 데이터를 집계하려면 아래의 시스템을 만들어 적용해야 합니다. 메모리를 초과하는 대량의 데이터를 짧은 시간에 집계하려면 데이터를 미리 집계에 적합한 형태로 변경해야합니다. 수집한 대량의 데이터를 처리할 수 있는 데이터 레이크 혹은 데이터 웨어하우스에 적재를 하고 원하는 데이터를 추출하여 데이터를 집계합니다. 그리고 데이터 마트를 구축하여 짧은 시간에 응답을 얻을 수 있도록 합니다. 데이터 처리의 지연 일반적으로 데이터 처리의 응답이 빠르다.. 공감수 0 댓글수 0 2023. 5. 17.
[빅데이터를 지탱하는 기술] 빅데이터의 탐색 # 1 크로스 집계의 기본 데이터 시각화 에서 가장 기본이 되는 것은 '크로스 집계' 입니다. '크로스 집계'의 개념의 대하여 알아보겠습니다. 크로스 테이블 어떤 상품의 월별 매출을 정리한 데이터입니다. 크로스 테이블은 다음의 특징을 가집니다. 행 방향(세로)으로는 '상품명'이 나열되고, 열 방향(가로)으로는 '매출 월'이 나열됨 행과 열이 교차하는 부분에 숫자 데이터가 들어감 사람이 보기 편한 형식 트랜잭션 테이블 트랜잭션 테이블은 다음의 특징을 가집니다. 새로운 행을 추가하는 것은 간단하지만 열을 추가하는 것은 어려움 데이터가 증가할 때 행 방향으로 증가하고 열 방향으로 증가하지 않아야 함 데이터베이스가 다루기 편한 방식 크로스 집계(cross tabulation) 크로스집계는 트랜잭션 테이블에서 크로스 테.. 공감수 0 댓글수 0 2023. 5. 16.
[빅데이터를 지탱하는 기술] 빅데이터 시대의 데이터 분석 # 2 데이터 엔지니어링의 바이블이라 할 수 있는 책 "빅데이터를 지탱하는 기술"을 학습하고 정리한 글입니다. 데이터 웨어하우스와 데이터 마트 데이터 웨어하우스는 웹 서버나 업무 시스템에서 일반적으로 이용되는 RDB와는 달리 "대량의 데이터를 장기 보존하는 것"에 최적화 되어있습니다. 정리된 데이터를 한 번에 전송하는 것은 뛰어나지만 소량의 데이터를 자주 쓰고 읽는 데는 적합하지 않습니다. 데이터 소스 : 업무 시스템을 위한 RDB나 로그(로우 데이터) 등을 저장하는 파일 서버 ETL 프로세스 : 로우 데이터를 추출하고 필요에 따라 가공한 후 저장하는 과정 데이터 마트 : 데이터 웨어하우스에서 필요한(분석을 위한) 데이터만 추출하여 구축 데이터 레이크 여러 곳에서 흘러오는 데이터를 데이터 원래의 형태로 축적하는.. 공감수 0 댓글수 0 2023. 4. 18.
[빅데이터를 지탱하는 기술] 빅데이터 시대의 데이터 분석 # 1 데이터 엔지니어링의 바이블이라 할 수 있는 책 "빅데이터를 지탱하는 기술"을 학습하고 정리한 글입니다. 여기서는 "빅데이터 기술"이 기존의 솔루션과 어떻게 다른지와 새롭게 등장하는 용어들에 대하여 정리하겠습니다. 빅데이터 기술 - 분산 시스템을 활용해서 데이터를 가공해 나가는 구조 데이터 파이프라인 일반적으로 차례대로 전달해나가는 데이터로 구성된 시스템을 "데이터 파이프라인"이라고 합니다. 어디에서 데이터를 수집, 무엇을 실현하고 싶은지에 따라 변화 데이터 수집에서 워크플로 관리까지 데이터 수집 데이터 파이프라인의 시작은 데이터를 모으는 단계에서 부터 시작합니다. 데이터는 여러 장소에서 발생하며 각각 다 다른 형태를 보입니다. 데이터베이스에 쓰인 거래처 데이터 파일 서버에 축적된 로그 파일 스마트 폰에서.. 공감수 0 댓글수 0 2023. 4. 11.
[빅데이터를 지탱하는 기술] 배경 데이터 엔지니어링의 바이블이라 할 수 있는 책 "빅데이터를 지탱하는 기술"을 학습하고 정리한 글입니다. 여기서는 '빅데이터'의 역사에 관하여 간단하게 확인하겠습니다. 빅데이터의 정착 분산 시스템에 의한 데이터 처리의 고속화 - 빅데이터의 취급하기 어려운 점을 극복한 두가지 기술 "빅데이터"라는 단어는 많은 기업들이 데이터 처리에 분산 시스템을 도입하기 시작했을 때 퍼지게 되었습니다. 데이터를 비즈니스에 활용하려는 움직임이 활발해졌고, 책이 출간되고 난 뒤 현재에는 거의 모든 기업들이 데이터를 기반으로 비즈니스에 중요한 의사결정을 하고 있습니다. 책에서는 "데이터 처리에 수고와 시간이 걸린다"는 점을 주목하였습니다. 알고 싶은 정보가 있다는 전제하에 그것을 어떻게 효율적으로 실행할 것인가? 생각하는 것이 .. 공감수 0 댓글수 0 2023. 4. 11.
[빅데이터를 지탱하는 기술] 트위터 API를 이용한 데이터 파이프라인 만들기 # 7 트위터 API를 이용하여 데이터 파이프라인 만들기 이전 포스팅에 이어서 진행합니다. [빅데이터를 지탱하는 기술] 트위터 API를 이용한 데이터 파이프라인 만들기 # 6 트위터 API를 이용하여 데이터 파이프라인 만들기 이전 포스팅에 이어서 진행합니다. [빅데이터를 지탱하는 기술] 트위터 API를 이용한 데이터 파이프라인 만들기 # 5 트위터 API를 이용하여 데이 my-develop-note.tistory.com 이번 포스팅에는 전에 진행했던 task1,2,3을 워크플로 도구인 airflow를 이용하여 자동화시킨 경험을 공유하겠습니다. Task 1 : Embulk에 의한 데이터 추출 Task 2 : Hive에 의한 데이터 구조화 Task 3 : Presto에 의한 데이터 집계 Airflow 설치 & 세팅.. 공감수 0 댓글수 0 2023. 3. 29.
[빅데이터를 지탱하는 기술] 트위터 API를 이용한 데이터 파이프라인 만들기 # 6 트위터 API를 이용하여 데이터 파이프라인 만들기 이전 포스팅에 이어서 진행합니다. [빅데이터를 지탱하는 기술] 트위터 API를 이용한 데이터 파이프라인 만들기 # 5 트위터 API를 이용하여 데이터 파이프라인 만들기 이전 포스팅에서 했던 작업을 embulk, hive, presto, airflow를 이용하여 작업해보도록 하겠습니다. 이전 포스팅은 아래와 같습니다. [빅데이터를 지탱 my-develop-note.tistory.com Presto 설치 & 세팅 presto 공식문서를 참고하였습니다. 링크는 아래와 같습니다. Deploying Presto — Presto 0.279 Documentation Create an etc directory inside the installation directory.. 공감수 0 댓글수 0 2023. 3. 28.
[빅데이터를 지탱하는 기술] 트위터 API를 이용한 데이터 파이프라인 만들기 # 5 트위터 API를 이용하여 데이터 파이프라인 만들기 이전 포스팅에서 했던 작업을 embulk, hive, presto, airflow를 이용하여 작업해보도록 하겠습니다. 이전 포스팅은 아래와 같습니다. [빅데이터를 지탱하는 기술] 트위터 API를 이용한 데이터 파이프라인 만들기 # 4 트위터 API를 이용하여 데이터 파이프라인 만들기 이전 포스팅에 이어서 진행합니다. [빅데이터를 지탱하는 기술] 트위터 API를 이용한 데이터 파이프라인 만들기 # 3 트위터 API를 이용하여 데이 my-develop-note.tistory.com MongoDB로 부터 데이터를 추출하기 위하여 오픈소스 벌크 전송 도구인 "Embulk"를 사용하였습니다. Embulk 설치 Embulk 공식 홈페이지를 참고하여 설치하였습니다. .. 공감수 0 댓글수 0 2023. 3. 28.
[빅데이터를 지탱하는 기술] 트위터 API를 이용한 데이터 파이프라인 만들기 # 4 트위터 API를 이용하여 데이터 파이프라인 만들기 이전 포스팅에 이어서 진행합니다. [빅데이터를 지탱하는 기술] 트위터 API를 이용한 데이터 파이프라인 만들기 # 3 트위터 API를 이용하여 데이터 파이프라인 만들기 이전 포스팅에 이어서 진행합니다. [빅데이터를 지탱하는 기술] 트위터 API를 이용한 데이터 파이프라인 만들기 # 2 트위터 API를 이용하여 데이 my-develop-note.tistory.com 이전 포스팅에서는 Hadoop Yarn에서 Spark 클러스터 분산 환경을 구축한 경험과 방법에 대하여 공유했습니다. 여기서는 Spark 클러스터를 이용하여 데이터 파이프라인을 구축한 경험을 이야기하고자 합니다. 먼저 파이썬용 패키지 설치 프로그램인 pip를 이용하여 pyspark를 설치하였습니.. 공감수 0 댓글수 0 2023. 3. 28.
[빅데이터를 지탱하는 기술] 트위터 API를 이용한 데이터 파이프라인 만들기 # 3 트위터 API를 이용하여 데이터 파이프라인 만들기 이전 포스팅에 이어서 진행합니다. [빅데이터를 지탱하는 기술] 트위터 API를 이용한 데이터 파이프라인 만들기 # 2 트위터 API를 이용하여 데이터 파이프라인 만들기 이전에 작성했던 포스팅에 이어서 진행합니다. [빅데이터를 지탱하는 기술] 트위터 API를 이용한 데이터 파이프라인 만들기 # 1 트위터 API를 이 my-develop-note.tistory.com 이번 포스팅에서는 VM에 Spark 분산환경을 구축한 경험을 공유해보고자 합니다. Hadoop YARN에서 Spark를 실행하는 방법입니다. java-8이 설치되어 있다고 가정하겠습니다. 이전에 Hadoop을 설치했던 것과 마찬가지로 master, slave VM 모두 동일하게 /usr/loca.. 공감수 0 댓글수 0 2023. 3. 26.
[빅데이터를 지탱하는 기술] 트위터 API를 이용한 데이터 파이프라인 만들기 # 2 트위터 API를 이용하여 데이터 파이프라인 만들기 이전에 작성했던 포스팅에 이어서 진행합니다. [빅데이터를 지탱하는 기술] 트위터 API를 이용한 데이터 파이프라인 만들기 # 1 트위터 API를 이용하여 데이터 파이프라인 만들기 트위터의 API로 트위터 텍스트 데이터를 수집하고 간단한 데이터 파이프라인을 만드는 프로젝트를 진행하였고, 프로젝트는 [빅데이터를 지탱하 my-develop-note.tistory.com 데이터 수집 먼저 데이터 수집에는 트위터 API를 이용하고 파이썬 스크립트를 작성하였고 master VM에 mongodb를 이용하여 데이터에 저장했습니다. 파이썬 스크립트를 작성하기 전에 크게 2가지 작업을 해야합니다. 먼저 트위터의 API를 사용하기 위해서는 트위터에 개발자 등록을 하고 API.. 공감수 0 댓글수 0 2023. 3. 24.
[빅데이터를 지탱하는 기술] 트위터 API를 이용한 데이터 파이프라인 만들기 # 1 트위터 API를 이용하여 데이터 파이프라인 만들기 트위터의 API로 트위터 텍스트 데이터를 수집하고 간단한 데이터 파이프라인을 만드는 프로젝트를 진행하였고, 프로젝트는 [빅데이터를 지탱하는 기술] 책에 나오는 예제입니다. 책이 나왔던 당시와 현재 사용하는 기술들의 버전이 차이가 나고, 책에서는 분산처리 환경에 대해서는 나와있지 않기 때문에 개인 프로젝트로 진행하고 작업한 내용을 공유하고자 포스팅을 진행하겠습니다. 먼저 Virtualbox 의 가상머신(VM)을 이용하여 환경을 구축하였습니다. VM 환경에서 데이터를 분산처리 하기 위하여 구성한 환경은 아래와 같습니다. 모든 VM은 ubuntu-20.04를 사용했습니다. master_node : cpu 프로세서 4개, RAM 8GB slave_nodes : .. 공감수 0 댓글수 0 2023. 3. 24.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.