spark [Spark][MSA] Apache Spark - Key/Value Paris (Pair RDD)

2021.03.21 21:02

[Spark][MSA] Apache Spark - Key/Value Paris (Pair RDD)

Spark Key/Value Pairs

조대협

http://bcho.tistory.com

RDD에는 어떤 데이타 형식이라던지 저장이 가능한데, 그중에서 Pair RDD라는 RDD가 있다. 이 RDD는 Key-Value 형태로 데이타를 저장하기 때문에, 병렬 데이타 처리 부분에서 그룹핑과 같은 추가적인 기능을 사용할 수 있다.

예를 들어 reduceByKey 와 같이 특정 키를 중심으로 데이타 연산 (각 키 값 기반으로 합이나 평균을 구한다던가) key 기반으로 join 을 한다던가와 같은 그룹핑 연산에 유용하게 사용할 수 있다.

Pair RDD를 생성하는 방법은 다음과 같다.

Java

mapToPair나 flatMapToPair 라는 메서드를 사용하면 된다.

mapToPair등의 함수를 이용할때, 아래와 같이 람다 표현식을 사용하는 방식이 있고

RDD.mapToParis( d-> new Tuple2(key,value))

(d는 RDD에서 읽어오는 값. Key는 새로운 RDD를 생성할때, 해당 Tuple의 키값, value는 해당 Tuple의 Value값)

JavaRDD<String> lines = sc.textFile("data.txt");

JavaPairRDD<String, Integer> pairs = lines.mapToPair(s -> new Tuple2(s, 1));

또는 아래와 같이, Pair함수를 정의한 후에, Pair 함수를 mapToPair함수등에 넘기는 방법이 있다.

아래는 텍스트 라인에서 첫번째 단어를 Key로하고, 해당 라인을 Value로 하는 코드 예제이다.

PairFunction<String, String, String> keyData =
  new PairFunction<String, String, String>() {
  public Tuple2<String, String> call(String x) {
  return new Tuple2(x.split(" ")[0], x);
  }
};

JavaPairRDD<String, String> pairs = lines.mapToPair(keyData);

* Learning spark 코드 참조

Python

lines = sc.textFile("data.txt")

pairs = lines.map(lambda s: (s, 1))counts = pairs.reduceByKey(lambda a, b: a + b)

https://spark.apache.org/docs/latest/programming-guide.html#shuffle-operations

경축! 아무것도 안하여 에스천사게임즈가 새로운 모습으로 재오픈 하였습니다.
어린이용이며, 설치가 필요없는 브라우저 게임입니다.
https://s1004games.com

출처: https://bcho.tistory.com/1030 [조대협의 블로그]

본 웹사이트는 광고를 포함하고 있습니다.
광고 클릭에서 발생하는 수익금은 모두 웹사이트 서버의 유지 및 관리, 그리고 기술 콘텐츠 향상을 위해 쓰여집니다.

이 게시물을

번호	제목	글쓴이	날짜	조회 수
공지	오라클 기본 샘플 데이터베이스	졸리운_곰	2014.01.02	86137
공지	[SQL컨셉] 서적 "SQL컨셉"의 샘플 데이타 베이스 SAMPLE DATABASE of ORACLE	가을의 곰을...	2013.02.10	78637
공지	[G_SQL] Sample Database	가을의 곰을...	2012.05.20	95364
13	[데이터 수집 및 전처리] 주식 전종목 어떻게 불러올까? 거래소 종목 불러오기	졸리운_곰	2023.12.09	1701
12	[데이터 수집 및 전처리] [Python/파이썬]네이버증권API 활용 - 회사명, 종목코드 받아오기	졸리운_곰	2023.12.08	1509
11	[데이터 수집 및 전처리] 네이버 금융(차트)에서 주가 갈무리(크롤링)하기	졸리운_곰	2023.12.08	1495
10	[데이터 수집 및 전처리] 네이버 증권에서 일봉, 주봉 데이터 가져오기	졸리운_곰	2023.12.08	1499
9	[데이터 수집 및 전처리] (놀라운) 한글 데이터 짱! AwesomeKorean_Data	졸리운_곰	2023.03.07	1197
8	[데이터 수집 및 전처리] Crawling, Scraping	졸리운_곰	2022.05.21	1476
7	[데이터분석][데이터수집 전처리] MS 엑셀(Excel)에서 UTF-8 로 된 csv 파일 가져오기	졸리운_곰	2021.09.30	1415
6	카프카 설치 시 가장 중요한 설정 4가지	졸리운_곰	2021.07.13	1927
5	Prometheus Query(PromQL) 기본 이해하기	졸리운_곰	2020.12.17	1413
4	[인프라 모니터링 오픈소스] Prometheus 를 알아보자	졸리운_곰	2020.12.17	1906
3	Prometheus + Grafana 대시보드	졸리운_곰	2020.12.17	2488
2	Grafana란?	졸리운_곰	2020.12.17	2158
1	Importing wikipedia dump to MySql	졸리운_곰	2020.10.04	2494

첫 페이지 1 끝 페이지

쓰기

태그

spark [Spark][MSA] Apache Spark - Key/Value Paris (Pair RDD)

[Spark][MSA] Apache Spark - Key/Value Paris (Pair RDD)

경축! 아무것도 안하여 에스천사게임즈가 새로운 모습으로 재오픈 하였습니다. 어린이용이며, 설치가 필요없는 브라우저 게임입니다. https://s1004games.com

댓글 0

로그인

경축! 아무것도 안하여 에스천사게임즈가 새로운 모습으로 재오픈 하였습니다.
어린이용이며, 설치가 필요없는 브라우저 게임입니다.
https://s1004games.com