spark [Spark][머신러닝] Apache Spark-Python vs Scala 성능 비교

2021.03.21 21:04

졸리운_곰 조회 수:1303

[Spark][머신러닝] Apache Spark-Python vs Scala 성능 비교 

스파크 성능이 안나오면, 우리 회사 데이타팀 팀장왈. 먼저 파이썬으로 짰는지 확인 부터 해보라길래, 파이썬과 스칼라로 만들어진 스파크 성능 차이가 얼마나 나는지 찾아봤더니 다음과 같은 수치가 나왔다.

 

http://emptypipes.org/2015/01/17/python-vs-scala-vs-spark/ (원본 출처)

 

일단 스파크를 할려면 스칼라는 필수인듯 하다. 

경축! 아무것도 안하여 에스천사게임즈가 새로운 모습으로 재오픈 하였습니다.
어린이용이며, 설치가 필요없는 브라우저 게임입니다.
https://s1004games.com

간단한 프로토타입핑등에는 파이썬을 사용할 수 있겠지만 결국 프로적션은 스칼라로 최적화해야 할듯.

근데. 자바대 스칼라 성능 비교는 없네



출처: https://bcho.tistory.com/1031 [조대협의 블로그]

 

 

 

본 웹사이트는 광고를 포함하고 있습니다.
광고 클릭에서 발생하는 수익금은 모두 웹사이트 서버의 유지 및 관리, 그리고 기술 콘텐츠 향상을 위해 쓰여집니다.
이 게시물을
목록
목록
번호 제목 글쓴이 날짜 조회 수
공지 오라클 기본 샘플 데이터베이스 졸리운_곰 2014.01.02 96348
공지 [SQL컨셉] 서적 "SQL컨셉"의 샘플 데이타 베이스 SAMPLE DATABASE of ORACLE 가을의 곰을... 2013.02.10 87100
공지 [G_SQL] Sample Database 가을의 곰을... 2012.05.20 103910
33 [spark][sparksql][odbc][jdbc] JDBC and ODBC drivers and configuration parameters file 졸리운_곰 2021.04.14 4235
32 [spark][pyspark][php] Natively Connect to Spark Data in PHP 졸리운_곰 2021.04.14 1833
31 [SPARK][Python][pySpark][아콘 소프트][나무기술] Real-world Python workloads on Spark: Standalone clusters : 스파크 예제 논란, driver-host 불필요 file 졸리운_곰 2021.04.03 1752
30 [Spark] Apache Spark Cluster(Standalone) 스파크 클러스터 스텐드 얼론 구축 졸리운_곰 2021.03.28 1791
» [Spark][머신러닝] Apache Spark-Python vs Scala 성능 비교 file 졸리운_곰 2021.03.21 1303
28 [Spark][MSA] Apache Spark - Key/Value Paris (Pair RDD) 졸리운_곰 2021.03.21 1709
27 [Spark][머신러닝] Apache Spark - RDD (Resilient Distributed DataSet) Persistence file 졸리운_곰 2021.03.21 1474
26 [Spark][머신러닝] Apache Spark - RDD (Resilient Distributed DataSet) 이해하기 - #2 file 졸리운_곰 2021.03.21 1279
25 [Spark][머신러닝] Apache Spark - RDD (Resilient Distributed DataSet) 이해하기 - #1 file 졸리운_곰 2021.03.21 1870
24 [Spark][머신러닝] Apache Spark 소개 - 스파크 스택 구조 file 졸리운_곰 2021.03.21 1433
23 [Spark] cache()와 persist()의 차이 file 졸리운_곰 2021.03.16 1691
22 [Spark] Spark - RDD vs Dataframes vs Datasets 우리는 언제, 왜 RDD, Dataframes, Datasets를 사용해야 할까? file 졸리운_곰 2021.03.15 1454
21 [Spark & Oracle] Reading Data From Oracle Database With Apache Spark file 졸리운_곰 2021.03.15 1201
20 [spark][pySpark] 스파크 튜토리얼 - 스파크 SQL file 졸리운_곰 2021.03.15 2007
19 [spark][flask][python] Machine learning at Scale using Pyspark & deployment using AzureML/Flask file 졸리운_곰 2021.03.14 2127
18 [pySpark, 파이썬 spark] Best Practices Writing Production-Grade PySpark Jobs file 졸리운_곰 2021.03.14 1883
17 [apache spark] 아파치 스파크 Data Sharing between multiple Spark Jobs in Databricks file 졸리운_곰 2021.03.13 1987
16 [Apache Spark] Spark SQL 아파치 스파크 SQL 개요 졸리운_곰 2021.03.13 1361
15 [spark] Apache Livy: A REST Interface for Apache Spark file 졸리운_곰 2021.03.12 1447
14 [spark] Spark 및 Oracle 데이터베이스 file 졸리운_곰 2021.03.06 1640
쓰기
태그
대표 김성준 주소 : 경기 용인 분당수지 U타워 등록번호 : 142-07-27414
통신판매업 신고 : 제2012-용인수지-0185호 출판업 신고 : 수지구청 제 123호 개인정보보호최고책임자 : 김성준 sjkim70@stechstar.com
대표전화 : 010-4589-2193 [fax] 02-6280-1294 COPYRIGHT(C) stechstar.com ALL RIGHTS RESERVED