파이썬 기반으로 IT 관련 비전공자들도
빅데이터 분석 및 인공지능 실습이 가능하도록 구성!
미국의 시장조사기관 가트너가 2020년도 기업이 주목해야 하는 기술 트렌드로 초자동화(Hyperautomation), 인공지능 보안(AI security) 등 빅데이터/인공지능 관련 주제를 선정하였다. 초자동화는 모든 작업 공정을 초 단위 스피드로 생산하는 형태를 말한다. 빅데이터를 활용하여 컴퓨터가 자동으로 주요 공정을 처리함으로써 기존 작업자들은 새로운 시스템을 관리하며 더 가치 있는 일에 집중할 수 있게 해준다. 이와 같이 기업에서는 데이터를 활용하여 기존 수작업으로 진행했던 공정들을 컴퓨터가 대신할 수 있도록 모델을 만들어 자동화시키고, 새로운 가치를 창출하려고 노력하고 있다. 예를 들면 유통업체에서는 판매 상품의 Stock-out 상황이 발생하지 않도록 판매 실적 및 가격 데이터 등을 활용하여 미리 고객의 수요를 예측하여 생산 계획을 세우고 있으며, 금융권에서는 불법거래를 자동으로 탐지하는 모델을 만들어 안정적인 금융시장 형성에 힘쓰는 등 각 산업군에서 데이터를 활용한 가치를 찾기위해 노력하고 있다.
데이터 엔지니어/분석가, 인공지능 전문가 등 새로운 직종이 생겨났으며 이들은 기업에서 이미 수집하고 있는 데이터를 정제 작업을 통해 활용 가능한 양질의 데이터가 쌓일 수 있도록 한다. 또한, 기업에 도움이 되는 분석 모델을 만드는 역할을 한다. 최근에는 생성한 분석 모델들을 빠르고 안정적으로 운영하기 위하여 빅데이터 분석 플랫폼을 도입하여 동일한 모델이라 할지라도 적시에 필요한 정보가 생성되는 데에도 힘쓰고 있다.
이 책은 저자가 기업 내 데이터 분석팀에서 업무를 수행하며 느낀 점들을 바탕으로 데이터 분석 업무를 처음 시작하는 사람도 실무에서 필요한 기술을 쉽고 친숙하게 이해될 수 있도록 단계별로 실습하며 나아가도록 설계했다. 실습 환경은 2020년도 2월 기준 아나콘다(파이썬 수학/과학 라이브러리 설치 환경)에서 수행한다. 파이썬과 데이터를 활용하여 대화하기 위하여 우리가 처음 한국어를 배울 때 가나다라를 먼저 배우듯 파이썬 언어의 자료 형태와 문법 구조를 배운다. 이후 데이터 분석의 첫걸음으로 다양한 방법으로 데이터를 수집할 수 있는 방법을 학습한다.
중반에는 파이썬이 인공지능 시대에 빠르게 치고 올라올 수 있었던 강력한 라이브러리 사용법을 데이터 시각화, 이미지 처리를 실습하면서 알아본다. 데이터의 인사이트를 빠르게 도출하기 위하여 스프레드시트 형태의 데이터를 시각화하여 데이터의 특성을 빠르게 찾아가는 방법과 OpenCV 라이브러리를 활용하여 기계에 이미지 데이터를 학습 시킬 때 어떠한 이미지 처리가 적용되는지를 알아본다.
후반에는 수집한 데이터를 활용하여 논문에서 찾은 알고리즘이나 자신의 아이디어를 개발할 수 있도록 2020년도 1월 업데이트된 Pandas 1.0 기반 데이터 조작 방법을 학습하여 통계적 방법으로 문제를 풀어가는 방법을 학습한다. 마지막으로 통계적으로 문제를 해결하지 않고 파이썬이 알아서 문제를 학습한 후 결과를 도출하는 머신러닝 방법을 다룬다. 전반적으로 데이터를 어떻게 수집하고 가공하는지 그리고 가공한 데이터를 어떻게 분석하는지에 포커스를 두었기 때문에 기본 파이썬 도서에서 다루는 클래스 등의 주제는 이 책에서 다루지 않는다.
본 책의 목표는 IT 관련 비전공자들도 데이터를 활용한 모델 개발 시 두려움 없이 빅데이터 분석/인공지능 영역에 쉽게 자리 잡게 하기 위함이며, 웹/앱 개발보다도 분석 시 필요한 부분을 중심으로 다루었다.
