장바구니 담기 close

장바구니에 상품을 담았습니다.

장바구니로 계속쇼핑하기
스파크 20으로 하는 고속 스마트 빅데이터 분석과 처리 3/e
미리보기

스파크 20으로 하는 고속 스마트 빅데이터 분석과 처리 3/e

  • 크리슈나 산카르
  • |
  • 에이콘출판
  • |
  • 2017-09-22 출간
  • |
  • 356페이지
  • |
  • 188 X 235 mm
  • |
  • ISBN 9791161750569
판매가

30,000원

즉시할인가

27,000 원

배송비

무료배송

(제주/도서산간 배송 추가비용:3,000원)

추가상품
상품선택
독서대 7,900원 독서대 선택안함 0원
수량
+ -
총주문금액
27,000원
장바구니 구매하기

※ 스프링제본 상품은 반품/교환/환불이 불가능하므로 신중하게 선택하여 주시기 바랍니다.

북스크린영상으로 만나보는 한 권의 책 이야기

출판사서평

★ 이 책에서 다루는 내용 ★
■ 독자의 클러스터 환경에서 스파크를 설치하고 환경 설정하는 방법
■ 스파크 셸을 이용한 분산 형태의 애플리케이션 프로토타입 개발
■ 새로운 데이터프레임 API를 이용한 데이터 랭글링
■ 스파크 분산 표현 데이터(RDDs)를 이용해서 통신할 수 있는 다양한 방법 분석
■ SQL 형태의 쿼리 문법 기반의 스파크 쿼리
■ 스파크가 빅 데이터를 처리하는 방법
■ 데이터 과학자와 데이터 엔지니어가 스파크 프레임워크를 활용할 수 있는 방법
■ 고 확장성 알고리즘을 이용한 머신 러닝 시스템 구현
■ 스파크와 연동할 수 있는 유명한 통계 언어 R 사용
■ 그래프 엑스를 이용한 흥미로운 그래프 알고리즘과 그래프 데이터 처리 기법 적용

★ 이 책의 대상 독자 ★
스파크 초보자인 데이터 과학자와 데이터 엔지니어라면 이 책으로 스파크의 장점을 배울 수 있다. 빅데이터와 데이터 분석 경험이 있다면 이 책에서 데이터 패턴과 프라그마(pragmas)를 경험할 수 있다. 분산 프로그래밍을 이해하고 싶은 사람이면 다양한 예제 코드와 이 책의 정독을 통해 누구든 원하는 바를 얻을 수 있다.

★ 이 책의 구성 ★
1장, '스파크 설치와 클러스터 설정'에서는 스파크 설정에 필요한 방법들을 상세히 설명한다.
2장, '스파크 셸'에서는 스파크 커맨드라인을 설명한다. 스파크 셸은 프로그램 조각을 빠르게 작성하거나 메소드 호출 문법을 쌍방으로 이해할 때 유용하다.
3장, '스파크 애플리케이션 구현과 동작'에서는 스파크 애플리케이션을 컴파일하는 모든 방법을 다룬다.
4장, 'SparkSession 생성'에서는 SparkSession과 별도의 독립적인 Spark Context를 고려해서 스파크 서버와 연결하는 프로그램적인 측면을 설명한다.
5장, '스파크의 데이터 로딩과 저장'에서는 스파크 환경에서 데이터 수집과 배포 처리를 다룬다.
6장, 'RDD 변경'에서는 모든 마술이 일어나는 기저 데이터 추상 계층인 회복 가능한 분산 데이터셋(RDD)을 설계하는 방법을 설명한다.
7장, '스파크 2.0 컨셉'에서는 스파크의 혁명과 주요 마일스톤인 스파크 2.0 배포판을 떠받치는 모든 개념을 설명하는 짧지만 흥미로운 장이다.
8장, '스파크 SQL'에서는 스파크의 SQL 인터페이스를 다룬다. 스파크 SQL은 분명 가장 폭넓게 사용되고 있는 특징이다.
9장, '데이터셋과 데이터프레임의 기초: 데이터 과학자를 위한 핵심 가치'에서는 스파크 2.0 배포 버전에 추가된 데이터셋과 데이터프레임을 소개한다.
10장, '빅데이터를 위한 스파크'에서는 파큇(Parquet)과 HBase의 인터페이스를 설명한다.
11장, '스파크 ML 파이프라인을 이용한 머신 러닝'에서는 회귀, 분류, 클러스터링, 추천을 설명한다. 11장은 이 책에서 가장 내용이 많은 장일 것이다. 독자가 외딴 섬에 좌초돼 이 책의 한 개 장만 취할 수 있다면 그것은 바로 11장일 것이다.
12장, '그래프X'에서는 규모가 있는 그래프를 처리하는 주요 기능을 설명하면서 페이지랭크(PageRank)와 같은 흥미로운 알고리즘도 다룬다.
부록, '스파크 버전 2.2.0 소개'에서는 최근 공개된 스파크 버전 2.2.0을 간단히 요약해 소개하고, 업데이트된 내용을 간단히 정리해서 보여준다.

목차

1장. 스파크 설치와 클러스터 설정
__폴더 구조와 규약
__미리 빌드된 배포 버전 설치
__스파크 소스 빌드
____스파크 소스 다운로드
____메이븐 환경에서 스파크 소스 컴파일
____컴파일 스위치
____스파크 설치 테스트
__스파크 토폴로지
__싱글 머신
__EC2에서 스파크 구동
____EC 스크립트 다운로드
____EC2 스크립트로 EC2 환경에서 스파크 구동
____일래스틱 맵리듀스 환경에 스파크 배포
__체프(옵스코드)를 이용한 스파크 배포
__메소스 환경에서 스파크 배포
__얀 환경에서 스파크 구동
__스파크 독립 모드
__참고 자료
__요약

2장. 스파크 셸
__스파크 셸
____스파크 셸 종료
____스파크 셸을 이용한 예제 코드 실행
__단순한 텍스트 파일 로딩
__S3에서 대화 형태로 데이터 로딩
____파이썬을 이용한 스파크 셸 구동
__요약

3장. 스파크 애플리케이션 구현과 동작
__스파크 애플리케이션 구현
__아이파이썬을 이용한 데이터 랭글링
__이클립스를 이용한 스파크 개발
__기타 IDE를 이용한 스파크 개발
__메이븐을 이용한 스파크 잡 개발
__기타 개발 도구를 이용한 스파크 잡 개발
__참고 자료
__요약

4장. SparkSession객체 생성
__SparkSession과 SparkContext
__SparkSession 객체 생성
__스파크컨텍스트의 메타데이터
__공유 자바 API와 스칼라 API
__파이썬
__아이파이썬
__참고 자료
__요약

5장. 스파크의 데이터 로딩과 저장
__스파크 추상화
____RDDs
__데이터 유형
__데이터 유형과 데이터셋, 데이터프레임, RDD
__데이터를 RDD에 로딩
__데이터 저장
__참고 자료
__요약

6장. RDD 조작
__스칼라와 자바를 이용한 RDD 조작
____스칼라 RDD 메소드
____PairRDD 클래스를 조합하는 메소드
____기타 PairRDD 메소드
____더블 RDD 메소드
____범용 RDD 메소드
____자바 RDD 메소드
__파이썬을 이용한 RDD 조작
____표준 RDD 메소드
____PairRDD 메소드
__참고 자료
__요약

7장. 스파크 2.0 컨셉
__이 책의 나머지에서 다룰 코드와 데이터셋
____코드
____IDE
____아이파이썬 스타트업과 테스트
____데이터셋
__데이터 과학자와 스파크 특징
____데이터 과학자 데브옵스 실무자는 누구인가?
____데이터 레이크 아키텍처
__스파크 버전 2.0과 그 이상
__아파치 스파크: 진화
__아파치 스파크: 풀 스택
__빅데이터 저장소의 예술: 파큇
____칼럼 프로젝션과 데이터 파티션
____압축
____스마트한 데이터 스토리지와 서술 푸시다운
____스키마 진화를 위한 지원
____성능
__참고 자료
__요약

8장. 스파크 SQL
__스파크 SQL 아키텍처
__명확한 스파크 SQL 사용 방법
____스파크 2.0의 스파크 SQL
__스파크 SQL 프로그래밍
____데이터셋과 데이터프레임
____간단한 데이터 테이블에 접근할 수 있는 SQL
__참고 자료
__요약

9장. 데이터셋과 데이터프레임의 기초: 데이터 과학자를 위한 핵심 가치
__데이터셋: 간단한 소개
__데이터셋 API: 개요
____org.apache.spark.sql.SparkSession과 pyspark.sql.SparkSession
____org.apache.spark.sql.Dataset/pyspark.sql.DataFrame
____org.apache.spark.sql.{Column, Row}/pyspark.sql.(Column, Row)
____org.apache.spark.sql.functions/pyspark.sql.functions
__데이터셋 인터페이스와 메소드
____읽기/쓰기 동작
____통합 메소드
____통계 메소드
____수학 메소드
____데이터셋을 이용한 데이터 랭글링
____원하는 모든 대답을 위한 마지막 데이터 통합
__참고 자료
__요약

10장. 빅데이터를 위한 스파크
__파큇:효과적이면서 상호 운용할 수 있는 빅데이터 포맷
____파큇 포맷으로 파일 저장
____파큇 파일 로딩
____처리를 완료한 RDD를 파큇 포맷으로 저장
__HBase
____HBase에서 데이터 로딩
____데이터를 HBase에 저장
____기타 HBase 동작
__참고 자료
__요약

11장. 스파크 ML 파이프라인을 이용한 머신 러닝
__스파크의 머신 러닝 알고리즘 테이블
__스파크 머신 러닝 API: ML 파이프라인과 MLlib
__ML 파이프라인
__스파크 ML 예시
__API 알고리즘
__기본적인 통계
____데이터 로드
____통계 계산
__선형 회귀
____데이터 변환과 특징 추출
____데이터 분리
____회귀 모델을 이용한 예측
____모델 평가
__데이터 분류
____데이터 로드
____데이터 변환과 특징 추출
____데이터 분리
____회귀 모델
____회귀 모델을 이용한 예측
____모델 평가
__클러스터링
____데이터 로드
____데이터 변환과 특징 추출
____데이터 분리
____회귀 모델을 이용한 예측
____모델 평가와 해석
____모델 해석 클러스터링
__추천
____데이터 로드
____데이터 변환과 특징 추출
____데이터 분리
____모델을 이용한 예측
____모델 평가와 해석
__하이퍼 파라미터
__마지막으로 알아둘 것
__참고 자료
__요약

12장. 그래프X
__그래프와 그래프 처리 개요
__스파크 그래프X
__그래프X: 연산 모델
__첫 번째 예시:그래프
__그래프 구성
__그래프X API의 전체 구조
__구조적인 API
____출력 결과에 어떤 문제가 있는가?
__커뮤니티, 연합, 내구성
__알고리즘
____그래프 병렬 계산 API
__파티션 전략
__케이스 스터디:알파고 트윗 분석
____데이터 파이프라인
____그래프X 모델링
____그래프X처리와 알고리즘
__참고 자료
__요약

저자소개

저자 크리슈나 산카르(Krishna SanKar)는 자율 주행 자동차 분야에 주력하고 있는 볼보에서 인공지능 데이터 과학자로 근무하고 있는 선임 스페셜 리스트다. 일찍이 http://cadenttech.tv에서 데이터 과학자 팀 책임자, 다국적 기업인 타타의 미국 지사에서 소프트웨어 설계 팀장 겸 데이터 과학자, 생물 정보학 관련 스타트업 회사에서 데이터 과학의 수장 역할, 그리고 시스코에서 우수한 엔지니어라는 이력을 갖고 있다. 스트라타(Strata) SJC의 ML 튜토리얼, 런던 2016, 스파크 써밋, 스트라타-스파크 캠프, 오스콘(OSCON), 파이콘(PyCon), 파이데이타(PyData), 로봇 규칙의 질서에 관한 저서, 빅데이터-Best of the Worst, NFL 예측, 스파크, 데이터 과학, 머신 러닝, 소셜 미디어 분석을 포함한 다양한 컨퍼런스에서 연사 활동을 해 왔을 뿐 아니라, 미해군 대학원에서 강사로 활동했던 적도 있다. 가끔 https://doubleclix.wordpress.com/에 다양한 기술 내용을 작성한다. 취미 활동으로 드론을 날리거나 레고 로봇을 조립하므로 세인트루이스 FLL 세계 대회의 로봇 설계 심판으로 활동하고 있는 모습을 볼 수 있다.

도서소개

기존의 스파크 버전 1.X 버전에서 좀 더 업그레이드 되어 빅데이터를 고속으로 처리할 수 있는 다양한 기능을 제공한다. 기능이 확장된 MLlib와 그래프 X를 이용해서 다양한 정형, 비정형 데이터를 분석할 수 있고, 특히 데이터 과학자들과 데브옵스 엔지니어가 필요할 수 있는 파큇과 같은 데이터 포맷과 필요한 데이터를 다양한 데이터 포맷으로 로딩할 수 있는 스파크 SQL 기능을 설명하고 있다. 마지막으로 케이스 스터디에는 알파고 트윗 분석을 통해 독자의 지적 호기심을 채워줄 수 있을 뿐 아니라 실무 개발자에게 유용한 가이드 역할을 제공하고 있어, 빅데이터 분석을 학습하는 초보자와 현업에서 사용하고 있는 개발자에게 유용한 정보를 제공한다.
추천포스트

교환 및 환불안내

도서교환 및 환불
  • ㆍ배송기간은 평일 기준 1~3일 정도 소요됩니다.(스프링 분철은 1일 정도 시간이 더 소요됩니다.)
  • ㆍ상품불량 및 오배송등의 이유로 반품하실 경우, 반품배송비는 무료입니다.
  • ㆍ고객님의 변심에 의한 반품,환불,교환시 택배비는 본인 부담입니다.
  • ㆍ상담원과의 상담없이 교환 및 반품으로 반송된 물품은 책임지지 않습니다.
  • ㆍ이미 발송된 상품의 취소 및 반품, 교환요청시 배송비가 발생할 수 있습니다.
  • ㆍ반품신청시 반송된 상품의 수령후 환불처리됩니다.(카드사 사정에 따라 카드취소는 시일이 3~5일이 소요될 수 있습니다.)
  • ㆍ주문하신 상품의 반품,교환은 상품수령일로 부터 7일이내에 신청하실 수 있습니다.
  • ㆍ상품이 훼손된 경우 반품 및 교환,환불이 불가능합니다.
  • ㆍ반품/교환시 고객님 귀책사유로 인해 수거가 지연될 경우에는 반품이 제한될 수 있습니다.
  • ㆍ스프링제본 상품은 교환 및 환불이 불가능 합니다.
  • ㆍ군부대(사서함) 및 해외배송은 불가능합니다.
  • ㆍ오후 3시 이후 상담원과 통화되지 않은 취소건에 대해서는 고객 반품비용이 발생할 수 있습니다.
반품안내
  • 마이페이지 > 나의상담 > 1 : 1 문의하기 게시판 또는 고객센터 1800-7327
교환/반품주소
  • 경기도 파주시 문발로 211 1층 / (주)북채널 / 전화 : 1800-7327
  • 택배안내 : CJ대한통운(1588-1255)
  • 고객님 변심으로 인한 교환 또는 반품시 왕복 배송비 5,000원을 부담하셔야 하며, 제품 불량 또는 오 배송시에는 전액을 당사에서부담 합니다.