spark [Spark][머신러닝] Apache Spark 소개 - 스파크 스택 구조

2021.03.21 20:51

졸리운_곰 조회 수:1325

[Spark][머신러닝] Apache Spark 소개 - 스파크 스택 구조

Spark의 전체적인 스택 구조

조대협 (http://bcho.tistory.com)

스파크의 전체적인 스택 구조를 보면 다음과 같다.

인프라 계층 : 먼저 스파크가 기동하기 위한 인프라는 스파크가 독립적으로 기동할 수 있는 Standalone Scheudler가 있고 (그냥 스팍만 OS위에 깔아서 사용한다고 생각하면 된다). 또는 하둡 종합 플랫폼인 YARN 위에서 기동될 수 있고 또는 Docker 가상화 플랫폼인 Mesos 위에서 기동될 수 있다.
스파크 코어 : 메모리 기반의 분산 클러스터 컴퓨팅 환경인 스팍 코어가 그 위에 올라간다.
스파크 라이브러리 : 다음으로는 이 스파크 코어를 이용하여 특정한 기능에 목적이 맞추어진 각각의 라이브러리가 돌아간다. 빅데이타를 SQL로 핸들링할 수 있게 해주는 Spark SQL, 실시간으로 들어오는 데이타에 대한 리얼타임 스트리밍 처리를 해주는 Spark Streaming, 그리고 머신러닝을 위한 MLib, 그래프 데이타 프로세싱이 가능한 GraphX가 있다.

현재 글에서 설명하고 있는 부분은 먼저 스파크에 대한 기본을 이해하기 위해서 Spark Core 부분을 중점적으로 설명하고 있다.

출처: https://bcho.tistory.com/1026 [조대협의 블로그]

본 웹사이트는 광고를 포함하고 있습니다.
광고 클릭에서 발생하는 수익금은 모두 웹사이트 서버의 유지 및 관리, 그리고 기술 콘텐츠 향상을 위해 쓰여집니다.

번호	제목	글쓴이	날짜	조회 수
공지	오라클 기본 샘플 데이터베이스	졸리운_곰	2014.01.02	87167
공지	[SQL컨셉] 서적 "SQL컨셉"의 샘플 데이타 베이스 SAMPLE DATABASE of ORACLE	가을의 곰을...	2013.02.10	79379
공지	[G_SQL] Sample Database	가을의 곰을...	2012.05.20	96097
14	[SQLite]10만 TPS와 10억 행 처리: SQLite의 놀라운 효율성	졸리운_곰	2025.12.05	1187
13	[sqlite] SQlite source code analysis-architecture	졸리운_곰	2021.04.12	1815
12	[SQLite] SQLite 사용자 함수 추가	졸리운_곰	2021.04.12	1669
11	{SQLite] SQLite 페이지 핸들링(3) - 레코드 포맷	졸리운_곰	2021.04.12	1681
10	[SQLite] SQLite 페이지 핸들링(2) - SQLite의 페이지 포맷	졸리운_곰	2021.04.12	1501
9	[SQLite] SQLite 페이지 핸들링(1) - SQLite의 구조	졸리운_곰	2021.04.12	1496
8	[C/C++ 자료구조] SQLite 의 모든 것 (4부) - Java 에서 사용하기 Database/SQLite	졸리운_곰	2021.04.12	1672
7	[C/C++] SQLite 의 모든 것 (3부) - C++ 에서 사용하기 Database/SQLite	졸리운_곰	2021.04.12	1726
6	[C/C++ 자료구조] SQLite 의 모든 것 (2부) - Download & Build Database/SQLite	졸리운_곰	2021.04.12	1668
5	[C/C++ 자료구조] SQLite 의 모든 것 (1부) - 소개 및 FAQ Database/SQLite	졸리운_곰	2021.04.12	1335
4	SQLite-sync.com version 3	졸리운_곰	2017.07.03	2022
3	DB Browser for SQLite	졸리운_곰	2017.04.26	1658
2	Getting started with SQLite in C#	졸리운_곰	2017.04.24	1835
1	SQLite C/C++ Tutorial	졸리운_곰	2017.04.24	1498

쓰기