자격증을 따게 된 배경
2021년 3월 처음 인공지능이라는 것을 알게되었다. 당시에 가장 핫한 키워드인 '빅데이터'를 이용하여 미래를 예측하고, 인간과 비슷하거나 혹은 더욱 뛰어난 정확도를 보여준다는 것에 무작정 유튜브로 찾고 공부하기 시작하였다. 그렇게 캐글이라는 데이터 사이언스 경진대회 플랫폼을 알게 되었고, 타이타닉 대회를 시작으로 나의 부족함을 많이 알게 되었다. 다른 사람들이 작성한 코드들을 보며 따라치며 조금씩 조금씩 데이터 사이언스에 대하여 알아가며 스스로 로드맵을 정리해 보았다.
첫번째 단계
캐글 대회를 필사하던 도중에 파이썬으로 작성한 코드 중 아주 화려한 코드들을 보게 되었고, 다시 파이썬을 공부해야겠다는 마음으로 파이썬 프로그래밍을 공부의 단계를 세웠다.
두번째 단계
파이썬 코드로 작성된 머신러닝, 딥러닝 라이브러리는 '사이킷런', '텐서플로우', '파이토치' 라이브러리가 있고, 데이터 시각화를 위한 '맷플롯립', '시본' 라이브러리가 있다. 이 모든 라이브러리를 제대로 다루어야 데이터 분석과 올바른 예측을 위한 모델을 만들 수 있으며 평가지표를 활용하여 경진대회에 도움이 될 수 있을것이라 생각하여 단계에 추가하였다.
세번째 단계
로드맵에서는 '캐글'만 적혀있지만 국내에는 '데이콘'이라는 경진대회도 존재한다. 기본적으로 첫번째, 두번째 단계를 바탕으로 학습한 내용을 각 경진대회 주제에 맞게 배운 기술들을 활용하여 멋진 결과를 도출해내면 된다.
Kaggle: Your Machine Learning and Data Science Community
Kaggle is the world’s largest data science community with powerful tools and resources to help you achieve your data science goals.
www.kaggle.com
데이터사이언티스트 AI 컴피티션
4만 AI팀이 협업하는 인공지능 플랫폼
dacon.io
첫번째 단계로 파이썬 프로그래밍언어에 대하여 학습하고 바로 두번째 단계로 들어가보니 데이터분석을 할때 사용하는 그래프, 통계학의 개념들, 그리고 머신러닝 모델에 대한 이론적 개념들이 필요하단 것을 알게 되었다.
그렇게 저 내용들을 배울 수 있고, 성취감도 느낄 수 있는 것이 무엇이 있을까 열심히 검색을 하던 도중 바로 우리의 주제 중 하나인 ADsP(데이터분석준전문가) 국가공인 자격증이 있다는 것을 알게되었다.
ADsP(데이터분석준전문가)
2021년 6월달에 ADsP 공부를 시작하였다. 처음으로 도전해보는 자격증시험으로 8월 29일 시험기준으로 약 2달전 부터 공부를 시작한 것인데, 자격증을 도전한 다른분들이나 여러 의견을 보면 많게는 4주~2주 정도의 시간을 투자하는 것으로 보였다.
ADsP의 상위시험으로는 ADP(데이터분석 전문가)가 있는데 데이터 관련 시험 중 가장 난이도가 있다는 시험이니 나중에 도전을 해보려고 한다.
공부한 자료는 ADsP 자격증 시험책으로 제일 유명한 민트책을 보았다.
이론적 개념을 얻으려고 시작하였지만 점점 자격증을 합격해야겠다는 생각에 점점 개념보다는 시험합격에 포커스를 맞추게 되었다. 그렇게 약 1달 동안의 시간이 흐른뒤에 데이터 관련 자격증에 관한 많은 정보가 있는 데이터 전문가 포럼(네이버 카페)를 알게 되었다.
카페에서 모르는 내용이나 궁금했던 점들을 질문할 수 있고, 시험에 관한 다양한 정보들을 얻을 수 있었다.
데이터 관련 자격증을 준비하는 사람들은 꼭! 가입하는 것을 추천한다.
시험은 기출문제형식으로 민트책 혹은 다른책이 있다면 그 책에 있는 기출문제를 반복해서 풀고, 데이터 전문가 포럼에서 기출문제를 받아 여러번 풀어보는 것을 추천한다. 나는 민트책만 보았고, 민트책에 있는 기출문제를 여러번 반복해서 풀었다. 하지만 시험에서는 민트책안에 있는 기출문제도 나왔지만 그 전회차들의 기출문제도 등장하였기에 다소 어려움과 당황함이 있었다.
시험결과는 고득점은 아니지만 시험에 합격할 수 있었다. 합격의 기쁨을 누리면서 쉴시간은 없었다 바로 있을 빅데이터 분석기사(빅분기) 필기 시험이 있었기 때문이다.
빅데이터 분석기사 필기
8월 29일 ADsP 시험을 치르고 난 후에 쉴 시간도 없이 10월 2일에 있을 빅데이터 분석기사 필기 시험을 준비하였다.
제 3회 빅데이터 분석기사라고 되어있었지만 제 1회 시험이 코로나로 인하여 취소가 되었고 제 3회는 사실상 두번째 시험이 되었다.
두번째로 시행되는 시험이었기에 시험문제에 대한 자료들은 많이 없었고, 믿을건 저번시험 회차의 시험문제와 시중에 판매하는 책이었다.
제 2회 빅데이터분석기사 시험을 위한 이기적에서 나온 책이다.
우연하게 서점에 방문하였다가 끌리듯 구매한 책이었다.
이 책을 구매하여 이기적 스터디 카페에 관하여 알게 되었고, 카페에 가입할 수 있었다.
밑의 데이터 캠퍼스 책보다는 내용이 어렵지만 깊은 내용을 다루고 있다. 데이터 캠퍼스 책이 나오기 전에 이 책으로 개념을 읽고 데이터 캠퍼스 책을 보니 훨씬 읽기에는 편했다.
데이터캠퍼스에서 판매하는 책으로 그림과 쉬운 설명으로 내용을 이해하기 쉬웠다. 위의 이기적 책에는 없었던 제 2회 빅데이터 분석기사 시험문제를 복기한 모의고사가 있었기에 이 책을 구매하게된 가장 큰 이유이기도 하였다.
시험은 아직 시행된지 얼마 안되었기 때문에 조금 시간이 지난뒤에 보는것도 하나의 방법으로 보인다. 나는 모의고사를 여러번 풀기도 하였지만 역시 그 내용이 많지 않았기 때문에 이기적 스터디 카페에서 제공하는 자료들로 공부를 하기도 했다.
시험은 운이 좋게도 합격하였지만, 빅데이터 모델링 과목에서 정말 힘들게 합격하였다. ADsP를 준비하면서 겹쳤던 부분들도 많았지만 ADsP보다는 빅데이터 분석기사 필기 시험이 체감상 난이도가 더 높았고, 책에서는 나오지 않았거나 중요하게 생각하지 않았던 부분들이 나왔기 때문에 책 뿐만 아니라 여러 다양한 자료들을 보는것이 고득점이나 안정적으로 합격할 수 있을것이다.
빅데이터 분석기사 필기 시험이후 실기 시험까지 약 2달의 시간이 남았고, 실기시험은 단답형문제와 코딩으로 시험보기 때문에 필기 시험보다는 마음편하게 준비할 수 있었다.
데이터 전문가 포럼에서 ADsP, 빅분기와 더불어 SQLD(데이터 개발자)또한 유명하였는데, 시험날짜도 실기시험 1달전에 있어 실기 시험과 같이 준비하기로 하였다.
SQLD(데이터 개발자)
SQLD는 데이터 자체보다는 데이터베이스(DB)나 SQL 언어에 더 집중한 시험이었다.
상위 시험으로는 SQLP(데이터 전문가)가 있다. SQLP는 SQLD에서 다룬 내용도 포함하고, 데이터 고급 튜닝도 같이 다루고 있다.
SQLD는 현업에서 SQL을 다루고 있는 사람들에게는 SQL 기본 개념으로 개념적으로 부족한 부분을 채워줄 수 있을 것이다.
SQLP는 기본 개념을 넘어서 튜닝에 대하여 알려주기에 실전에서 활용도가 높으니 SQL을 다루는 분들은 SQLP를 도전하는 것도 좋은 방법으로 보인다.
데이터분석 & 머신러닝을 공부하는 나는 왜 SQLD를 따려고 했을까 위에서 말한 것 처럼 실기시험 전에 시간이 남은 이유도 있었고, 데이터베이스의 기본언어나 개념을 알게되면 나중에 데이터분석을 할때 SQL을 사용하여 데이터를 조회하거나 다른 사람이 쓴 SQL 코드를 볼때 도움이 될까 하여 준비하게 되었다.
하지만 나와 같은 상황에서 파이썬을 처음접하거나 프로그래밍을 처음하는 사람들은 SQLD를 준비할 시간에 파이썬 프로그래밍(데이터핸들링, 전처리 등)이나 머신러닝(모델링, 평가 등) 알고리즘&라이브러리에 더 시간을 투자하는 것을 추천한다. 현재 빅데이터 분석기사 실기에서 높은 비중을 차지하고 있으며, 기본적으로! 갖추어야할 역량이기 때문이다.
데이터 핸들링, 전처리, 머신러닝, 모델링, 평가에 더 많은 시간을 투자하고
반복하여 자기것으로 완벽하게 습득하라!
SQLD를 공부할 때는 데이터 전문가 포럼에서 노랭이책이라 불리는 책으로 공부하였다.
이 책은 개념의 내용을 다루기 보다는 각 시험 과목에 대하여 문제와 문제를 풀기 위한 약간의 팁을 담고 있다. SQLD 또한 기출문제 형식으로 기출문제나 비슷한 유형의 문제가 나오기 때문에 많은 문제를 푸는것이 합격을 하는데 유리하다.
SQLD를 넘어 SQLP를 준비한다면 SQLP에서 보는 시험과목도 포함하고 있으니 구매하는 것이 좋아 보인다.
하지만 나 처럼 개념에 대하여 알고 싶다면 이 책이 있다.
하지만 이 책은 많이 두껍고, 가격이 비싸다 보니 나는 구매하지 않았고 아래의 사이트를 이용하여 개념을 학습하였다.
SQL – DATA ON-AIR
dataonair.or.kr
SQL 전문가 가이드 책을 보지는 않았지만 해당 사이트에 책에 나와있는 개념들이 나와있다고 하니 개념을 학습하기에는 좋을 것으로 보인다.
위의 자료는 내가 SQL 자격검정 책과 위의 사이트에서 학습한 내용을 정리한 자료이다. 많은 사람들에게 도움이 되었으면 하는 마음에 첨부한다.
위의 모든 자료를 바탕으로 공부를 해도 이해가 되지 않는 문제나 내용이 있었다. 그때는 유튜브를 찾아 도움을 얻었는데 내가 도움을 받았던 유튜버들을 첨부하도록 하겠다.
-전광철 OCP
전광철 OCP
SQL자격검정 실전문제 풀이와 관련한 채널입니다. 주로 SQL 개발자를 위한 시험 과목 중에서 과목 Ⅱ에 대한 풀이에 중점을 두었습니다. 채택한 교재는 데이터베이스 진흥원에서 출간한 [SQL자격
www.youtube.com
-sql전문가정미나
SQL전문가 정미나
안녕하세요, SQL전문가 정미나입니다. 이 채널의 궁극적인 목표는 전공자 포함 Database에 관심이 있는 초보자분들께 조금이나마 도움을 드리는 것입니다. 지금은 어떨지 모르겠지만 제가 학부생
www.youtube.com
두 분의 깔끔한 설명으로 많음 도움을 받았고 감사함을 전한다.
두 분의 좋은 강의 덕분으로 합격을 할 수 있었다.
SQLD 시험을 준비하다보니 빅데이터 분석기사 필기 시험의 합격소식을 듣게 되었고, 마음 편하게 SQLD 시험을 볼 수 있었다. 2021년만 해도 3번째 시험이고, 같은 시험장을 선택하여 시험을 보니 시험장에 대하여 적응을 하여 여유롭게 문제를 풀 수 있었던 것 같다. 문제는 SQL 자격검정 실전문제에 있는 내용이나 비슷한 문제 유형들이 나와 어렵지 않게 풀 수 있었다. 몇 개월동안 필기시험을 준비하고 시험을 치르다 보니 나에게는 어느덧 빅데이터 분석기사 실기 시험이 기다리고 있었다.
빅데이터 분석기사 실기
빅데이터 분석기사 실기는 위에서 언급한대로 단답형 시험과 코딩으로 문제를 해결하는 시험으로 구성되어있다. 코딩은 R이나 Python(파이썬)을 선택할 수 있는데 나는 당연히 그동안 공부해왔던 파이썬을 선택하여 시험을 보았다.
시험의 구성은 더 자세하게는 단답형시험, 작업형1, 작업형2로 구분이 되어있다.
책은 남은 시험 시간을 고려해보았을때 사지 않는게 더 좋을 것 같다는 생각에 구매하지 않기로 하였다.
필기시험과 마찬가지로 문제와 시험에 대한 정보가 많이 없기에 위에서 언급한 이기적 스터디 카페, 데이터 전문가 포럼을 적극적으로 이용하였다.
단답형 시험
문제유형은 필기시험에서 공부한 내용을 바탕으로 키워드에 대한 내용이 출제가 되어 키워드를 맞추는 문제거나, 키워드와 내용이 출제가 되고 해당 지문에 빈칸을 만들어 빈칸을 채우는 문제, 모델의 알고리즘을 이해하여 계산을 하는 문제들이 출제가 되었던 것으로 기억한다.
이기적 스터디 카페에서는 매주마다 단답형시험 문제를 대비하여 자체 문제를 만들어 올려주었기 때문에 약 100여개의 문제와 답을 얻을 수 있었고, 해당 내용을 정리한 문제와 답을 카페에 공유하기도 하였다. 카페외의 곳에는 올리지 못할 것 같아 필요하다면 해당 카페에 가입하여 확인하면 좋겠다.
작업형1
문제유형은 데이터핸들링을 기반으로 결측치, 평균, 해당 컬럼 등을 추출할 수 있는 문제로 출제가 되었다. 파이썬 프로그래밍을 기반으로 판다스(Pandas), 넘파이(Numpy) 라이브러리를 자유롭게 사용할 수 있어야 한다. 캐글, 데이콘 경진대회를 준비하면서 배웠던 내용과 판다스 라이브러리의 공식사이트의 튜토리얼 자료를 바탕으로 공부할 수있었다.
아래의 사이트가 판다스 공식사이트의 튜토리얼 자료이다.
10 minutes to pandas — pandas 1.3.5 documentation
Note While standard Python / NumPy expressions for selecting and setting are intuitive and come in handy for interactive work, for production code, we recommend the optimized pandas data access methods, .at, .iat, .loc and .iloc.
pandas.pydata.org
그리고 이기적 스터디 카페에 단답형문제와 더불어 작업형 문제들도 많이 올려주었기 때문에 참고 할 수 있었다.
작업형1을 공부하기 위한 자료들은 유튜브나 각종 블로그에 많이 있기 때문에 따로 첨부하지는 않겠지만 앞으로 계속 성장하기 위해서는 검색하는 습관들이는 것을 추천한다.
작업형2
문제유형은 데이터가 주어지면 데이터를 로드하여 결측값, 이상치를 처리하고, 변수들을 스케일링(표준화, 정규화 등) 하는 과정을 통하여 데이터를 전처리하고 머신러닝을 이용하여 모델링하고 문제에 따라 분류 및 회귀를 하고 평가를 하는 방식이다. 특히 작업형2는 데이콘, 캐글을 바탕으로 학습하고 실제로 대회에 참여해보며 역량을 늘릴 것을 추천한다.
나는 실기시험은 자격증시험을 준비하기 전부터 진행을 해왔기 때문에 무리없이 시험을 볼 수 있었지만 처음 도전하는 사람들은 조금 어려움을 느낄 수 있을 것이고, 분석을 위한 툴이나 ide등 처음들어보는 개념들이 있을 것이다.
구글 코랩을 통하여 코딩을 하였고, 코랩은 다양한 라이브러리를 지원해주는 것을 포함하여 다른 정말 좋은 기능들을 제공한다. 무료로 사용할 수 있으며, 내가 사용하는 컴퓨터 혹은 노트북의 성능이 그다지 좋지 않다면 사용하는 것이 좋겠다.
Google Colaboratory
colab.research.google.com
실기 시험은 자동완성, 검색을 사용할 수 없고, 구글 코랩처럼 한 셀마다 실행하는 것이 불가능하기 때문에 시험과 유사한 환경에서 코딩하는 것이 좋지만, 그렇게 하게 되면 진행이 다소 느리기 때문에 나는 코랩에서 자동완성기능을 끄고, 코딩을 하였다. 시험에서는 help(), dir() 같은 함수들은 사용할 수 있었기 때문에 코랩을 사용하다가 모르는것이 나오면 바로 검색을 하기 전에 help(), dir() 함수를 사용하여 해결하는 습관을 만들어 실제 시험에서 사용할 수 있었다.
시험을 보기전에는 반드시 시험에 사용할 수 있는 패키지를 확인하고, 다시 한번 공지 사항을 확인할 수 있도록 한다. 또한 시험 문제를 반드시 꼼꼼하게 읽고, 시험에서 요구한대로 문제를 풀기를 바란다.
나는 시험문제를 꼼꼼하게 읽지 않았고 그 결과로 작업형 1에서 한문제를 틀리기도 하였다.
반드시 시험문제를 꼼꼼하게 읽기를 바란다.
시험은 합격을 할 수 있었다.
2021년도 하반기를 이렇게 자격증 시험으로 보냈고 자격증을 취득했다는 성취감이 들기도 하지만 아직 너무 모르는것이 많고 배워야할 것들이 많다. 기술은 계속해서 발전하고 있으며, 언젠가는 위에서 언급한 내용들이 예전 기술로 사용하지 않는 시기가 올지도 모른다. 데이터분석을 할때 사용하는 그래프, 통계학의 개념들, 그리고 머신러닝 모델에 대한 이론적 개념을 얻은지는 아직까지도 의문이다. 시험문제를 맞춰 자격증을 취득하려고 개념을 얻고 개념을 이해하여 풀기보다는 문제푸는 스킬을 이용하지는 않았나 스스로가 고민도 된다.
하지만 자격증시험을 공부하고 도전한 과정에 있어서는 후회하지 않는다. 머신러닝, 통계, 데이터 분석과 관련하여 책을 보거나 강의를 들을때 위에서 공부한 것들이 생각나 도움이 될때도 있다.
위 자격증이 취업을 위해서 반드시 필요한 자격증이 아니다. 또한 취업에 도움이 되는 자격증도 아니라는 의견이 많다. 나도 그 의견에 대하여 강력하게 동의한다. 취업을 하기 위해서는 자신의 실력을 증명할 수 있어야 한다. 그러한 방법으로는 경진대회에 참여하거나 수상하고, 자신이 연구한 내용을 논문을 써 발표를 하는 등 자신이 공부하고 성장한 과정들을 자신의 블로그나 GitHub에 올리는 등 하여 기록을 남기고 포트폴리오로 만들어 자신의 실력을 증명하여야 할 것이다.
나와 같은 취업준비생분들은 내가 실력이 있는것인지, 잘하고 있는것인지, 어떻게 해야 취업을 할 수 있을지 등등 나와 많은 비슷한 고민들을 할 것이다. 나도 그렇고 이 글을 보는 다른 취업준비생들도 분명 취업을 할것이고, 성장할 수 있을 것이다.
자격증에 대하여 도전하는 것, 경진대회에 참여하는 것
이 모든 것이 자신이 성장하고 있는 과정중에 하나라고 생각하자
취득한 자격증은 하나의 결과물로 남겠지만 우리가 중요하게 생각해야 할것은 자격증 공부를 하며 학습한 내용들이며, 과거에 비하여 성장한 자신의 모습이다. 자격증 시험에 떨어졌다고 하여 포기할 것이 아니라 스스로 충분히 슬퍼하고, 후회하며 다시 스스로 일어날 수 있는 힘을 길러야 하고 다시 도전하는 끈기를 가져야 한다.
자신의 성공과 성장은 한순간에 일어나는 것이 아니라 꾸준히 도전하고 공부하는 힘에서 나올 것임을 기억하자!