spark 스파크 Spark - 윈도우10에서 빅데이터 실습 세팅 및 시작하기

2021.02.17 14:25

졸리운_곰 조회 수:1313

스파크 Spark - 윈도우10에서 빅데이터 실습 세팅 및 시작하기

해당 게시글은 BetterThanWholwas 블로그를 참조해서 다시 정리한 게시글입니다.

스파크와 스칼라에 관심이 있다면, 메뉴얼 등을 업데이트 중인 저의 사이트를 참조해주세요

윈도우에서 빅데이터 실습을 해야하는 이유는 다음과같습니다.

1. 하둡을 세팅하기엔 너무 어렵습니다.

2. 리눅스도 마찬가지입니다.

빅데이터는 뭔지 해보고싶은데, 설치나 플랫폼에 따라 에러 등에 이리 치이고 저리 치여서 실습조차 못하게될수있습니다.

스칼라나 파이썬 자바 등을 이용해서, 윈도우 싱글 클러스터 환경으로 재밌게 실습을 해봅시다.

스파크(SPark)란?

클러스터용 연산플랫폼이다.

맵리듀스 모델을 대화형 명령어 쿼리와 스트리밍 처리 등이 가능하도록 확장한것이다 연산은 메모리에서 수행하기떄문에,

속도가 빠르며,

하둡 클러스터 위에서도 실행가능하다 카산드라를 포함한 어떤 하둡데이터 소스에도 접근이가능하다. -

Source from, O'REILLY, Learning Spark -

Window Spark 실습환경

실습환경

1. OS Window 10

2. Other java 1.8.0_201 spark-2.4.6 hadoop 2.6

3. 환경변수(시스템 변수)

SPARK_HOME (C:\spark-2.4\bin)

SCALA_HOME (C:\scala\bin)

JAVA_HOME (C:\Progra~1\java\jdk1.8.0_144)

HADOOP_HOME (C:\hadoop)

JAVA_OPTIONS (-Xmx512M -Xmx512M)

Window Spark 세팅(자바, 스칼라, 스파크, 하둡 등)

1. java 설치 1.8 이상 버전 JDK 설치 (왜냐하면 람다식을 지원해야된다. 그래서 무조건 1.8이상)

(https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html)

2. Scala 설치 c:\scala 로 경로설정해서 설치하기 (중간에 경로 띄어쓰기 있으면 에러남)

(https://www.scala-lang.org/download/)

3. Spark 설치

3.1. hadoop 2.6에 맞춰서 download  

(http://spark.apache.org/downloads.html) 3.2. c:\spark-2.4 (중간에 경로 띄어쓰기 있으면 에러남)

4. Hadoop (하둡을 사용안하기때문에, 이 작업이 필요함)

4.1. 해당 사이트를 방문 (https://github.com/steveloughran/winutils)

4.2. 원하는폴더

  (예 : 다운로드)에 가서 git clone https://github.com/steveloughran/winutils.git

*** git 설치가 안되있으면 수동으로 사이트에서 압축파일 다운 후 해제 ***

4.3. 다운받거나 압축해제 후 winutils\hadoop-2.6.4\bin 폴더에 있는 winutils.exe 복사하기

4.4. C:\hadoop\bin 폴더만들고, 위에 복사한 winutils.exe 붙여넣기

5. 환경변수 설정 (시스템 변수 클릭 후 추가)

SPARK_HOME C:\spark-2.4\bin  

SCALA_HOME C:\scala\bin  

JAVA_HOME C:\Progra~1\java\jdk1.8.0_144  

(스파크는 중간에 띄어쓰기경로 있으면 에러남, 본인 버전에 맞게)

HADOOP_HOME C:\hadoop  

JAVA_OPTIONS -Xmx512M -Xmx512M

6. spark-shell

6.1 cmd(명령프롬프트)창을 연다

6.2 c:\로 이동한뒤, spark-2.4\bin\spark-shell 기입후 Enter

(또는 c:\spark-2.4\bin\로 이동한뒤, spark-shell 기입후 Enter)

(에러 발생시 100% 경로문제)  4.5으로 돌아가서

SPARK_HOME, SCALA_HOME 경로에 bin을 제거 혹은 추가(C:\scala, C:\spark-2.4 변경)

기존 자바 사용자는 시스템 변수가 아닌 사용자 변수에 등록된 path 경로 확인후 bin 추가 혹은 제거

(예 : C:\Progra~1\java\jdk1.8.0_144, C:\Progra~1\java\jdk1.8.0_144\bin)

설치완료시 폴더 구성

c:\scala

경축! 아무것도 안하여 에스천사게임즈가 새로운 모습으로 재오픈 하였습니다.
어린이용이며, 설치가 필요없는 브라우저 게임입니다.
https://s1004games.com

c:\spark-2.4

c:\hadoop\bin

설정완료 후 환경변수 화면

*** 초기설정 후 spark-shell이 안되면, 재부팅해보고 안되는경우, 경로에 bin을 제거하거나 추가하고 cmd창을 껐다키면됨

*** spark-shell이 잘되다가 컴퓨터를 재부팅했는대 안되는경우, 경로에 bin을 제거하거나 추가하고 cmd창을 껐다키면됨

*** 그래도 잘 안되는경우, 사용자변수 Path에 등록된 자바도 하단의 JAVA_HOME과 동일하게 해주던지, 삭제

스파크 Spark 실행 (spark-shell)

아래 세팅이 완료되면 명령프롬프트로 c:\spark-2.4\bin\로 이동한뒤, spark-shell 로 진행하면됩니다.

웹브라우저(localhost:4040) 확인가능

[출처] 스파크 Spark - 윈도우10에서 빅데이터 실습 세팅 및 시작하기|작성자 조길상

본 웹사이트는 광고를 포함하고 있습니다.
광고 클릭에서 발생하는 수익금은 모두 웹사이트 서버의 유지 및 관리, 그리고 기술 콘텐츠 향상을 위해 쓰여집니다.

번호	제목	글쓴이	날짜	조회 수
공지	오라클 기본 샘플 데이터베이스	졸리운_곰	2014.01.02	86102
공지	[SQL컨셉] 서적 "SQL컨셉"의 샘플 데이타 베이스 SAMPLE DATABASE of ORACLE	가을의 곰을...	2013.02.10	78620
공지	[G_SQL] Sample Database	가을의 곰을...	2012.05.20	95334
14	[SQLite]10만 TPS와 10억 행 처리: SQLite의 놀라운 효율성	졸리운_곰	2025.12.05	1184
13	[sqlite] SQlite source code analysis-architecture	졸리운_곰	2021.04.12	1807
12	[SQLite] SQLite 사용자 함수 추가	졸리운_곰	2021.04.12	1663
11	{SQLite] SQLite 페이지 핸들링(3) - 레코드 포맷	졸리운_곰	2021.04.12	1667
10	[SQLite] SQLite 페이지 핸들링(2) - SQLite의 페이지 포맷	졸리운_곰	2021.04.12	1496
9	[SQLite] SQLite 페이지 핸들링(1) - SQLite의 구조	졸리운_곰	2021.04.12	1486
8	[C/C++ 자료구조] SQLite 의 모든 것 (4부) - Java 에서 사용하기 Database/SQLite	졸리운_곰	2021.04.12	1662
7	[C/C++] SQLite 의 모든 것 (3부) - C++ 에서 사용하기 Database/SQLite	졸리운_곰	2021.04.12	1719
6	[C/C++ 자료구조] SQLite 의 모든 것 (2부) - Download & Build Database/SQLite	졸리운_곰	2021.04.12	1665
5	[C/C++ 자료구조] SQLite 의 모든 것 (1부) - 소개 및 FAQ Database/SQLite	졸리운_곰	2021.04.12	1332
4	SQLite-sync.com version 3	졸리운_곰	2017.07.03	2017
3	DB Browser for SQLite	졸리운_곰	2017.04.26	1651
2	Getting started with SQLite in C#	졸리운_곰	2017.04.24	1828
1	SQLite C/C++ Tutorial	졸리운_곰	2017.04.24	1497

쓰기