spark [Spark][머신러닝] Apache Spark-Python vs Scala 성능 비교

2021.03.21 21:04

졸리운_곰 조회 수:1154

[Spark][머신러닝] Apache Spark-Python vs Scala 성능 비교

스파크 성능이 안나오면, 우리 회사 데이타팀 팀장왈. 먼저 파이썬으로 짰는지 확인 부터 해보라길래, 파이썬과 스칼라로 만들어진 스파크 성능 차이가 얼마나 나는지 찾아봤더니 다음과 같은 수치가 나왔다.

http://emptypipes.org/2015/01/17/python-vs-scala-vs-spark/ (원본 출처)

일단 스파크를 할려면 스칼라는 필수인듯 하다.

간단한 프로토타입핑등에는 파이썬을 사용할 수 있겠지만 결국 프로적션은 스칼라로 최적화해야 할듯.

근데. 자바대 스칼라 성능 비교는 없네

출처: https://bcho.tistory.com/1031 [조대협의 블로그]

본 웹사이트는 광고를 포함하고 있습니다.
광고 클릭에서 발생하는 수익금은 모두 웹사이트 서버의 유지 및 관리, 그리고 기술 콘텐츠 향상을 위해 쓰여집니다.

번호	제목	글쓴이	날짜	조회 수
공지	오라클 기본 샘플 데이터베이스	졸리운_곰	2014.01.02	86244
공지	[SQL컨셉] 서적 "SQL컨셉"의 샘플 데이타 베이스 SAMPLE DATABASE of ORACLE	가을의 곰을...	2013.02.10	78711
공지	[G_SQL] Sample Database	가을의 곰을...	2012.05.20	95458
14	[SQLite]10만 TPS와 10억 행 처리: SQLite의 놀라운 효율성	졸리운_곰	2025.12.05	1184
13	[sqlite] SQlite source code analysis-architecture	졸리운_곰	2021.04.12	1807
12	[SQLite] SQLite 사용자 함수 추가	졸리운_곰	2021.04.12	1665
11	{SQLite] SQLite 페이지 핸들링(3) - 레코드 포맷	졸리운_곰	2021.04.12	1668
10	[SQLite] SQLite 페이지 핸들링(2) - SQLite의 페이지 포맷	졸리운_곰	2021.04.12	1496
9	[SQLite] SQLite 페이지 핸들링(1) - SQLite의 구조	졸리운_곰	2021.04.12	1486
8	[C/C++ 자료구조] SQLite 의 모든 것 (4부) - Java 에서 사용하기 Database/SQLite	졸리운_곰	2021.04.12	1663
7	[C/C++] SQLite 의 모든 것 (3부) - C++ 에서 사용하기 Database/SQLite	졸리운_곰	2021.04.12	1719
6	[C/C++ 자료구조] SQLite 의 모든 것 (2부) - Download & Build Database/SQLite	졸리운_곰	2021.04.12	1666
5	[C/C++ 자료구조] SQLite 의 모든 것 (1부) - 소개 및 FAQ Database/SQLite	졸리운_곰	2021.04.12	1332
4	SQLite-sync.com version 3	졸리운_곰	2017.07.03	2018
3	DB Browser for SQLite	졸리운_곰	2017.04.26	1651
2	Getting started with SQLite in C#	졸리운_곰	2017.04.24	1828
1	SQLite C/C++ Tutorial	졸리운_곰	2017.04.24	1497

쓰기