kafka

[KAFKA] 기록#1 [listeners vs advertised.listeners] feat Nifi

Docker 환경에서 Kafka와 Nifi를 연결해야 하는 상황이 있었습니다.같은 Docker 네트워크 환경이 아니라 각기 다른  VM위에 Docker에 설치된 Kafka와 Nifi였습니다.VM들은 네트워크 동일 서브넷에 위치한 동일 네트워크 환경이었지만, 각자의 Docker에 위치하였고, Nifi 쪽에서 Kafka와 연결하지 못한 상황이 발생하여 해결한 경험과 함께 이번에 알게된 kafka config 중 listeners, advertised.listeners 에 대하여 같이 기록하고자 합니다. - VM1(kafka) IP : 10.10.10.2- VM2(nifi) IP : 10.10.10.3 docker-compose.ymlservices: kafka1: image: bitnami/kafka..

[kafka] kafka cluster 구축하기

데이터 플랫폼 운영업무를 진행하면서 예전 장비가 노후되어 신규 서버가 들어오면서 kafka cluster를 구축하는 일이 생기기도 했고,EOS 문제도 있으며 보안상의 이유로 신규 카프카를 설치해야 하는 경우도 있었습니다. 물론 예전버전의 카프카를 사용하는 경우 rolling upgrade를 진행 할 수도 있습니다. rolling upgrade는 나중에 이야기를 해보려고 합니다. 이번 포스팅에서는 kafka cluster를 구축해보려고 합니다. 각 버전은 다음과 같습니다. zookeeper : 3.6.4 kafka : 3.0.0 monitoring : kafka for ui 현재 업무에서는 예전에 구축했던 버전들을 사용하고 있고, rolling upgrade를 위한 복선으로 위와 같은 버전을 사용하겠습니다..

[Kafka] kafka 아키텍처와 구성

MOM(Meesage Oriented Middle ware) 아키텍처 카프카 아키텍처에 대해서 이야기하기 전에 먼저 MOM과 메시지 브로커(Pub/Sub 패턴)을 정리하겠습니다. 메시지 공급자를 이용하여 클라이언트(애플리케이션)들의 메시지를 중간에서 관리해줌 메시지를 보낸(송신) 클라이언트는 응답이 오지 않더라도 다른 작업을 계속 수행할 수 있음(비동기) 메시지 공급자는 수신 클라이언트가 메시지를 소비할 때까지 메시지를 보관 시스템의 개별 구성 요소나 연결이 실패하여도 중단 없이 안정적으로 작동할 수 있는 느슨한 연결을 함 여기서 중요한 것은 MOM은 이론, 개념, 어떤 설계적인 방향성을 제시하고 있고 직접적인 구현체는 아닙니다. 메시지 브로커(Pub/Sub 패턴) 메시지 브로커는 송신자(Publishe..

[Kafka] Apache kafka 소개와 배경

현재 업무상 데이터 인프라, 데이터 엔지니어링, 데이터 플랫폼을 운영하고 있습니다. 데이터 엔지니어라는 포지션이 꼭 데이터 엔지니어링만을 다루는 것이 아니라 해당 시스템을 뒷받침하는 인프라적인 요소를 잘 다루어야 한다는 것을 크게 체감하고 있습니다. 데이터 인프라적인 요소 또한 조금씩 포스팅하려고 합니다.. 위에서 이야기한 두가지 요소를 포함하는 것을 데이터 플랫폼이라고 규명하겠습니다. 현재 운영하는 데이터 플랫폼의 첫 시작인 카프카에 대해서 이야기하려고 합니다. Apache Kafka(아파치 카프카) 카프카는 카프카 공식문서를 통하면 더욱 자세하게 알 수 있습니다. 아파치 카프카란? 오픈소스로 확장성이 뛰어난 메시지 브로커 프로젝트입니다. 분산형 데이터 스트리밍 플랫폼이며 대용량의 실시간 데이터를 처리..