- 전체
- Sample DB
- database modeling
- [표준 SQL] Standard SQL
- G-SQL
- 10-Min
- ORACLE
- MS SQLserver
- MySQL
- SQLite
- postgreSQL
- 데이터아키텍처전문가 - 국가공인자격
- 데이터 분석 전문가 [ADP]
- [국가공인] SQL 개발자/전문가
- NoSQL
- hadoop
- hadoop eco system
- big data (빅데이터)
- stat(통계) R 언어
- XML DB & XQuery
- spark
- DataBase Tool
- 데이터분석 & 데이터사이언스
- Engineer Quality Management
- [기계학습] machine learning
- 데이터 수집 및 전처리
- 국가기술자격 빅데이터분석기사
- 암호화폐 (비트코인, cryptocurrency, bitcoin)
spark 스파크 Spark - 윈도우10에서 빅데이터 실습 세팅 및 시작하기
2021.02.17 14:25
스파크 Spark - 윈도우10에서 빅데이터 실습 세팅 및 시작하기
해당 게시글은 BetterThanWholwas 블로그를 참조해서 다시 정리한 게시글입니다.
스파크와 스칼라에 관심이 있다면, 메뉴얼 등을 업데이트 중인 저의 사이트를 참조해주세요
윈도우에서 빅데이터 실습을 해야하는 이유는 다음과같습니다.
1. 하둡을 세팅하기엔 너무 어렵습니다.
2. 리눅스도 마찬가지입니다.
빅데이터는 뭔지 해보고싶은데, 설치나 플랫폼에 따라 에러 등에 이리 치이고 저리 치여서 실습조차 못하게될수있습니다.
스칼라나 파이썬 자바 등을 이용해서, 윈도우 싱글 클러스터 환경으로 재밌게 실습을 해봅시다.
스파크(SPark)란?
Window Spark 실습환경
Window Spark 세팅(자바, 스칼라, 스파크, 하둡 등)
설치완료시 폴더 구성
c:\scala
c:\spark-2.4
c:\hadoop\bin
설정완료 후 환경변수 화면
*** 초기설정 후 spark-shell이 안되면, 재부팅해보고 안되는경우, 경로에 bin을 제거하거나 추가하고 cmd창을 껐다키면됨
*** spark-shell이 잘되다가 컴퓨터를 재부팅했는대 안되는경우, 경로에 bin을 제거하거나 추가하고 cmd창을 껐다키면됨
*** 그래도 잘 안되는경우, 사용자변수 Path에 등록된 자바도 하단의 JAVA_HOME과 동일하게 해주던지, 삭제
스파크 Spark 실행 (spark-shell)
아래 세팅이 완료되면 명령프롬프트로 c:\spark-2.4\bin\로 이동한뒤, spark-shell 로 진행하면됩니다.
웹브라우저(localhost:4040) 확인가능
광고 클릭에서 발생하는 수익금은 모두 웹사이트 서버의 유지 및 관리, 그리고 기술 콘텐츠 향상을 위해 쓰여집니다.
