[Spark][머신러닝] Apache Spark-Python vs Scala 성능 비교 

스파크 성능이 안나오면, 우리 회사 데이타팀 팀장왈. 먼저 파이썬으로 짰는지 확인 부터 해보라길래, 파이썬과 스칼라로 만들어진 스파크 성능 차이가 얼마나 나는지 찾아봤더니 다음과 같은 수치가 나왔다.

 

http://emptypipes.org/2015/01/17/python-vs-scala-vs-spark/ (원본 출처)

 

일단 스파크를 할려면 스칼라는 필수인듯 하다. 

경축! 아무것도 안하여 에스천사게임즈가 새로운 모습으로 재오픈 하였습니다.
어린이용이며, 설치가 필요없는 브라우저 게임입니다.
https://s1004games.com

간단한 프로토타입핑등에는 파이썬을 사용할 수 있겠지만 결국 프로적션은 스칼라로 최적화해야 할듯.

근데. 자바대 스칼라 성능 비교는 없네



출처: https://bcho.tistory.com/1031 [조대협의 블로그]

 

 

 

본 웹사이트는 광고를 포함하고 있습니다.
광고 클릭에서 발생하는 수익금은 모두 웹사이트 서버의 유지 및 관리, 그리고 기술 콘텐츠 향상을 위해 쓰여집니다.
번호 제목 글쓴이 날짜 조회 수
공지 오라클 기본 샘플 데이터베이스 졸리운_곰 2014.01.02 86152
공지 [SQL컨셉] 서적 "SQL컨셉"의 샘플 데이타 베이스 SAMPLE DATABASE of ORACLE 가을의 곰을... 2013.02.10 78646
공지 [G_SQL] Sample Database 가을의 곰을... 2012.05.20 95381
924 [Spark] Apache Spark Cluster(Standalone) 스파크 클러스터 스텐드 얼론 구축 졸리운_곰 2021.03.28 1523
923 [MSA][머신러닝] 쿠버네티스 기반의 End2End 머신러닝 플랫폼 Kubeflow #1 - 소개 file 졸리운_곰 2021.03.21 1135
» [Spark][머신러닝] Apache Spark-Python vs Scala 성능 비교 file 졸리운_곰 2021.03.21 1152
921 [Spark][MSA] Apache Spark - Key/Value Paris (Pair RDD) 졸리운_곰 2021.03.21 1583
920 [Spark][머신러닝] Apache Spark - RDD (Resilient Distributed DataSet) Persistence file 졸리운_곰 2021.03.21 1312
919 [Spark][머신러닝] Apache Spark - RDD (Resilient Distributed DataSet) 이해하기 - #2 file 졸리운_곰 2021.03.21 1086
918 [Spark][머신러닝] Apache Spark - RDD (Resilient Distributed DataSet) 이해하기 - #1 file 졸리운_곰 2021.03.21 1678
917 [Spark][머신러닝] Apache Spark 소개 - 스파크 스택 구조 file 졸리운_곰 2021.03.21 1318
916 [Spark] cache()와 persist()의 차이 file 졸리운_곰 2021.03.16 1550
915 [Spark] Spark - RDD vs Dataframes vs Datasets 우리는 언제, 왜 RDD, Dataframes, Datasets를 사용해야 할까? file 졸리운_곰 2021.03.15 1317
914 [Spark & Oracle] Reading Data From Oracle Database With Apache Spark file 졸리운_곰 2021.03.15 1148
913 [spark][pySpark] 스파크 튜토리얼 - 스파크 SQL file 졸리운_곰 2021.03.15 1856
912 [spark][flask][python] Machine learning at Scale using Pyspark & deployment using AzureML/Flask file 졸리운_곰 2021.03.14 2034
911 [pySpark, 파이썬 spark] Best Practices Writing Production-Grade PySpark Jobs file 졸리운_곰 2021.03.14 1692
910 [apache spark] 아파치 스파크 Data Sharing between multiple Spark Jobs in Databricks file 졸리운_곰 2021.03.13 1792
909 [Apache Spark] Spark SQL 아파치 스파크 SQL 개요 졸리운_곰 2021.03.13 1282
908 [spark] Apache Livy: A REST Interface for Apache Spark file 졸리운_곰 2021.03.12 1354
907 [spark] Spark 및 Oracle 데이터베이스 file 졸리운_곰 2021.03.06 1410
906 [spark] Spark - RDD vs Dataframes vs Datasets file 졸리운_곰 2021.03.06 1068
905 [spark] Spark RDDs vs DataFrames vs SparkSQL file 졸리운_곰 2021.03.06 1463
대표 김성준 주소 : 경기 용인 분당수지 U타워 등록번호 : 142-07-27414
통신판매업 신고 : 제2012-용인수지-0185호 출판업 신고 : 수지구청 제 123호 개인정보보호최고책임자 : 김성준 sjkim70@stechstar.com
대표전화 : 010-4589-2193 [fax] 02-6280-1294 COPYRIGHT(C) stechstar.com ALL RIGHTS RESERVED