[apache spark] [Spark Programming]1. Apache Spark 개요 및 설치

1. Apache Spark

- 하둡 기반의 맵리듀스 작업이 가진 단점들을 보완하기 위해서 만들어 진 프레임워크

 

- 하둡과 달리 인메모리(In-Memory) 기법을 활용한 데이터 저장 방식을 제공함으로써 머신러닝 등 

  반복적인 데이터 처리가 필요한 분야에서 높은 성능을 보여준다.

 

- 작업을 실행하기 전에 최적의 처리 흐름을 찾는 과정을 포함하고 있었기 때문에 성능 향상과 

  더불어 여러 개의 맵리듀스 잡을 직접 순차적으로 실행하는 수고를 덜어줬다.

 

- 이외에 실시간 스트리밍 데이터를 다루기 위한 스파크 스트리밍과 하이브와 연동도 가능한 

  스키마 기반 데이터 분석모듈인 스파크 SQL, R과 연동가능한 sparkR 등 데이터 처리 분야에 

  특화된 라이브러리도 지원해준다.

 

1) RDD(Resilient Distributed Dataset)

- 스파크가 제공하는 일종의 분산 데이터에 대한 모델이자 핵심 데이터 모델임.

 

- 다수의 서버에 걸쳐 분산 방식으로 저장된 데이터 요소들의 집합을 의미

 

- 동시에 병렬로 명령처리가 가능하고 장애가 발생할 경우 스스로 복구될 수 있는 내성을 가지고 있다.

 

* 스파크에서는 하나의 작업을 수행할 때 파티션 단위로 나눠서 병렬로 처리한다.

  또한 작업이 진행되는 동안 재구성되거나 네트워크를 통해 다른 서버로 이동하는, 셔플링 현상이 

  발생할 수 있다.

 

- 다수의 서버에 나눠져서 처리되기 때문에 유실이 발생할 수 있지만 이를 위해 원래 상태로 복구할 수

  있도록 RDD의 생성과정을 기록해 뒀다가 다시 복구해주는 기능을 가지고 있다.

 

- 또한 문제가 발생 시 전체작업을 처음부터 다시 실행하는 대신 문제가 발생한 RDD를 생성했던 

  작업만 다시 수행해서 복구를 진행한다. 

 

- 리니지(Lineage)

  스파크에서 RDD 생성 작업을 기록해 두는 것

 

  

(1) 생성 방법

- List, Set 같은 기존 프로그램의 메모리에 생성된 데이터를 이용하는 것

  -> 즉시 테스트해 볼 수 있어 테스트 코드 작성 등에 유용하게 사용됨

 

ex. Collection 을 이용

[Java Code]

JavaRDD<String> rdd = sc.parallelize(Arrays.asList("a", "b", "c", "d", "e"));

 

[Scala Code]

val rdd = sc.parallelize(List("a", "b", "c", "d", "e"))

 

[Python Script]

rdd = sc.parallelize(["a", "b", "c", "d", "e"])

 

 

- 로컬 파일시스템이나 하둡의 HDFS 같은 외부 저장소에 저장된 데이터를 읽어서 생성하는 방법

  -> 다양한 유형의 데이터 소스로부터 데이터를 읽고 RDD를 생성할 수 있다.

 

ex. 파일로부터 생성

[Java Code]

JavaRDD<String> rdd = sc.textFile("<path_to_file>");

 

[Scala Code]

val rdd = sc.textFile("<path_to_file>")

 

[Python Script]

rdd = sc.textFile("<path_to_file>")

 

- 기존에 생성돼 있는 RDD로부터 또 다른 RDD를 생성하는 방법

  - createRDD 같은 함수가 제공되는 것은 아니지만 기존 RDD의 모든 요소에 1을 더하는 등의 

    연산을 적용하면 "한 번 만들어지면 수정불가하다" 는 성질을 이용해 새로운 RDD 가 생성되는 것

 

ex. 기존 RDD로부터 새로운 RDD 생성

[Java Code]

JavaRDD<String> rdd1 = rdd.map(new Function<String, String>() {

@Override

public String call(String v1) throws Exception {

return v1.toUpperCase();

 

}

});

 

* JAVA 8 의 경우 다음과 같이 한다.

JavaRDD<String> rdd1 = rdd.map(v -> v.toUpperCase());

 

[Scala Code]

val rdd1 = rdd.map(_.toUpperCase())

 

[Python Script]

파일 첨부 : pom.xml

[출처] https://m.blog.naver.com/slykid/221186930260