전체 글
[ArgoCD] multiple sources 적용하기
ArgoCD에서 UI, CLI로 multiple sources를 적용하는 방법에 대하여 이야기해보려고 합니다.ArgoCD 구축 및 간단한 설명은 아래 링크 참고 부탁드립니다. [infra] k8s에 argocd 구축하기데이터 플랫폼 업무를 진행하면서, infra에는 kubernetes를 사용하고 있습니다.현재 운영중인 환경에는 argocd가 구축되어 있지 않아, 도입하면 좋겠다는 생각이 들어 argocd에 대해서 이야기해보려고my-develop-note.tistory.comArgoCD UI상에서 App을 생성하려고 할때의 모습입니다.아래의 내용을 채우면 단일 source를 이용하여 App을 배포할 수 있습니다.하지만 빨간색 박스의 'EDIT AS YAML'을 이용하여 Yaml 파일을 직접 작성하면 mu..
2024년 회고
2024년도 회고를 진행하려고 합니다. 2024년도는 신입 데이터 엔지니어로 일을 하며 데이터 엔지니어링 및 플랫폼 개발, 운영 경험을 쌓을 수 있었던 한 해였습니다.업무와 공부를 병행하며 2024년도 상반기에는 정보처리기사 자격증을 취득할 수 있었습니다.단순히 이론으로만 접했던 개념들이 실제로 업무를 하는데 기본이 되고, 영향을 준다는 것에 대해서 깨달을 수 있었습니다.업계에서 사용하는 용어들이 들리기 시작했고, 이해가 되기 시작하니 신기한 경험이었습니다. 단순히 취업시장에서는 자격증이 필요없다는 의견들이 있고, 그 의견들에 어느정도 공감하지만 비전공자로서 기본적인 용어로 인한 소통의 부재를 경험하였기 때문에 저에게 있어서는 정보처리기사를 공부하고 알게된 지식들이 자격증보다도 더 소중하게 다가옵니다.신..
[KAFKA] 기록#1 [listeners vs advertised.listeners] feat Nifi
Docker 환경에서 Kafka와 Nifi를 연결해야 하는 상황이 있었습니다.같은 Docker 네트워크 환경이 아니라 각기 다른 VM위에 Docker에 설치된 Kafka와 Nifi였습니다.VM들은 네트워크 동일 서브넷에 위치한 동일 네트워크 환경이었지만, 각자의 Docker에 위치하였고, Nifi 쪽에서 Kafka와 연결하지 못한 상황이 발생하여 해결한 경험과 함께 이번에 알게된 kafka config 중 listeners, advertised.listeners 에 대하여 같이 기록하고자 합니다. - VM1(kafka) IP : 10.10.10.2- VM2(nifi) IP : 10.10.10.3 docker-compose.ymlservices: kafka1: image: bitnami/kafka..
[Docker] 폐쇄망 환경에서 Docker 설치
프로젝트 진행 중 oracle linux 7.9를 사용하는 폐쇄망환경에서 Docker를 설치경험을 공유하고자 합니다.서버는 폐쇄망 환경으로 인터넷에서 docker 공식 repo를 받을 수 없는 환경입니다. 실습은 VMware로 oracle linux 7.9 VM을 만들어 진행하였습니다. yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo위 명령어를 입력했을 때 repo정보를 받을 수 없어, docker.repo를 받을 수 없는 상황입니다.docker.repo 파일을 확인해보면 rpm파일을 제공하는 주소를 찾을 수 있고, docker 공식문서에서도 나와있습니다. Docker에서 제공하는 rpm 파일을 이..
[Airflow] Webserver 속도 개선
프로젝트에서 사용중인 airflow의 webserver 속도가 느리다는 피드백이 종종 있었습니다.webserver의 ui이 등장할 때, Variables, Connetions의 정보를 화면에서 보여줄 때같은 상황에서 짧으면 3초 길면30초 이상 화면이 느리게 등장했던 이슈가 있어 약간의 속도개선을 한 경험을 공유하려고 합니다. 체감상 빨라진 경우이며, 다양한 케이스를 확인한 것이 아닙니다.구글링을 해보아도 속도 문제를 개선한 사례들이 많이 없어, 원인을 찾아보며 개선하려고 하고 있습니다. 몇가지 영향을 주었을 것 같은 작업들을 나열하겠습니다.1. Airflow DB 관련 작업현재 사용중인 airflow는 kubernetes위에서 동작하며, kubernetes excuter를 사용하고 있습니다. Kube..
[Trino] id/password 적용하기
현재 투입된 프로젝트에서 Trino 쿼리엔진을 활용하고있습니다. Fast API를 이용하여 API로 Trino에 쿼리를 날리고 있지만,특정 사용자의 경우 직접 데이터에 쿼리를 날리고 싶다는 클라이언트의 요구사항이 있었습니다.Trino에서 간단하게 id/password로 보안요소를 적용해보려고 합니다. 실습환경은 Docker를 사용하였고, 실 운영 환경은 K8S로 운영되지만 이번예제는 간단하게 config 수정을 볼 것이기 때문에config에 집중하면 좋을 것 같습니다. 참고링크 : https://trino.io/docs/current/security/password-file.html Password file authentication — Trino 463 DocumentationPassword file ..