big data (빅데이터) Spark를 설치해서 무작정 돌려보자.

2016.06.12 20:19

졸리운_곰 조회 수:1921

Spark를 설치해서 무작정 돌려보자.

일단 Spark 다운로드... 현재 최신 버전은 1.2.1이다.(2015/02/26 기준)

https://spark.apache.org/downloads.html 에 접속해서 spark 다운로드를 받는다.

hadoop을 포함한 pre-built 버전으로 설치해 본다. (추후 소스코드 받아서 compile해보자.)

위 처럼 지정하고 Download 받아 압축을 해제하면 된다.

편의상 심볼릭 링크를 생성해 두었다.

설치 끝? Spark-Shell을 이용하여 Spark를 간단히 돌려보자.

./bin/spark-shell 을 수행하면 아래처럼 확인할 수 있다.

({SPARK_HOME} 설치 디렉토리에서 위처럼 수행하자. 테스트 샘플 데이터 파일이 Spark 설치 디렉토리에 존재하니.)

경축! 아무것도 안하여 에스천사게임즈가 새로운 모습으로 재오픈 하였습니다.
어린이용이며, 설치가 필요없는 브라우저 게임입니다.
https://s1004games.com

# README.md 파일을 읽어서 count()와 first()를 돌려보자.

var textFile = sc.textFile("README.md")
textFile.count()
textFile.first()

라인수와 첫 라인 정보를 확인할 수 있다.(아직까진 어려운게 없다)

# filter() 를 통해 변환을 해보자.

# Spark 단어를 포함한 라인만 추출하기.

var textFile = sc.textFile("README.md")

var linesWithSpark = textFile.filter(line => line.contains("Spark"))
linesWithSpark.count()
linesWithSpark.first()

Spark라는 단어를 포함한 라인은 19줄이며, 첫번째 라인은 "# Apache Spark" 임을 확인할 수 있다.

이외에도 spark-shell을 이용하여 여러 가지를 수행해 볼 수 있다.

좀 더 많은 샘플을 보고 싶으면 https://spark.apache.org/docs/latest/quick-start.html 에 참조하길 바란다.

샘플을 보면 scala 언어를 사용하고 있는데, spark-shell은 scala 언어를 사용한다.
python도 사용이 가능한데, ./bin/pyspark를 이용하면 된다.
java는 interactive shell을 지원하지 않는다.

[출처] http://tomining.tistory.com/2

본 웹사이트는 광고를 포함하고 있습니다.
광고 클릭에서 발생하는 수익금은 모두 웹사이트 서버의 유지 및 관리, 그리고 기술 콘텐츠 향상을 위해 쓰여집니다.

이 게시물을

번호	제목	글쓴이	날짜	조회 수
공지	오라클 기본 샘플 데이터베이스	졸리운_곰	2014.01.02	86336
공지	[SQL컨셉] 서적 "SQL컨셉"의 샘플 데이타 베이스 SAMPLE DATABASE of ORACLE	가을의 곰을...	2013.02.10	78797
공지	[G_SQL] Sample Database	가을의 곰을...	2012.05.20	95543
13	[데이터 수집 및 전처리] 주식 전종목 어떻게 불러올까? 거래소 종목 불러오기	졸리운_곰	2023.12.09	1701
12	[데이터 수집 및 전처리] [Python/파이썬]네이버증권API 활용 - 회사명, 종목코드 받아오기	졸리운_곰	2023.12.08	1509
11	[데이터 수집 및 전처리] 네이버 금융(차트)에서 주가 갈무리(크롤링)하기	졸리운_곰	2023.12.08	1495
10	[데이터 수집 및 전처리] 네이버 증권에서 일봉, 주봉 데이터 가져오기	졸리운_곰	2023.12.08	1500
9	[데이터 수집 및 전처리] (놀라운) 한글 데이터 짱! AwesomeKorean_Data	졸리운_곰	2023.03.07	1198
8	[데이터 수집 및 전처리] Crawling, Scraping	졸리운_곰	2022.05.21	1476
7	[데이터분석][데이터수집 전처리] MS 엑셀(Excel)에서 UTF-8 로 된 csv 파일 가져오기	졸리운_곰	2021.09.30	1416
6	카프카 설치 시 가장 중요한 설정 4가지	졸리운_곰	2021.07.13	1928
5	Prometheus Query(PromQL) 기본 이해하기	졸리운_곰	2020.12.17	1414
4	[인프라 모니터링 오픈소스] Prometheus 를 알아보자	졸리운_곰	2020.12.17	1907
3	Prometheus + Grafana 대시보드	졸리운_곰	2020.12.17	2489
2	Grafana란?	졸리운_곰	2020.12.17	2159
1	Importing wikipedia dump to MySql	졸리운_곰	2020.10.04	2494

첫 페이지 1 끝 페이지

쓰기

태그

big data (빅데이터) Spark를 설치해서 무작정 돌려보자.

Spark를 설치해서 무작정 돌려보자.

경축! 아무것도 안하여 에스천사게임즈가 새로운 모습으로 재오픈 하였습니다. 어린이용이며, 설치가 필요없는 브라우저 게임입니다. https://s1004games.com

댓글 0

로그인

경축! 아무것도 안하여 에스천사게임즈가 새로운 모습으로 재오픈 하였습니다.
어린이용이며, 설치가 필요없는 브라우저 게임입니다.
https://s1004games.com