2023년 하반기 회고

2023년 하반기(7~12월) 회고를 진행해보려고 합니다.

신입 데이터 엔지니어

2023년에 개인적으로 가장 큰 이벤트는 바로 취업이었습니다.

데이터 엔지니어로 취업을 하여 개인적으로 뿌듯한 해 였지만.. 데이터 공부를 많이 하지 못했다는 것이 아쉬움으로 남습니다.

 

현재는 프로젝트에 투입되어 실시간으로 대용량 데이터를 다루는 일을 하고 있습니다.

 

운영중인 서버의 환경은 리눅스 위에 kafka, nfii, kubernetes, airflow, trino와 같은 기술들을 사용하다 보니 리눅스를 비롯한 사용 기술들에 대한 이해가 필요했고, 출퇴근 시간을 이용하여 인터넷 강의를 보며 열심히 따라가고 있지만.. 아직은 많이 부족함을 느끼고 있습니다.

 

최근에는 카프카 클러스터를 구축하고 Topic을 이관하는 작업을 진행했습니다.

OJT때 VM을 이용해서 카프카 클러스터를 구축하고 produce, consume 테스트를 진행해본 경험과 레퍼런스 자료 그리고 사수분의 도움으로 클러스터를 구축하고 이관작업을 진행할 수 있었습니다.

 

단순하게 구축으로 끝나는 것이 아니라 현재 운영상황에 맞는 설정 값들을 어떻게 설정해야 할지 그런것들을 고려해야 한다는 것을 배웠습니다. 

 

또한 데이터 파이프라인 뿐만 아니라 데이터 플랫폼 운영을 같이하고 있다보니 kubernetes 환경을 경험할 수 있었고, 예전에는 고민할 수 없었던 아키텍처라는 것에 대하여 고민해 볼 수 있었습니다.

 

여러 비슷한 기술들의 장점과 단점을 비교해보고 현재 프로젝트에 부합한 기술들을 선택하는 과정은 너무나도 어려운것 같습니다.

 

하루하루 배워가며 실전에 적용해보는 시간을 가지고 있습니다.. 조금 더 능숙하게 다루고 싶지만 쉽지가 않습니다..

마무리

2024년도에는 2023년도처럼  공부를 조금 더 해야겠다는 생각이 들었습니다.

나열을 해보자면

• Kafka
• Kubernetes(Helm)
• Airflow
• Trino(대용량 데이터 쿼리엔진)
• Linux

데이터 인프라, 데이터 파이프라인에 대한 기술들입니다.

또한 2023년도에는 공부, 블로그를 많이 하지 못한 것에 아쉬움이 있으니 2024년에도는 조금 더 노력해야겠습니다.