[spark] Spark 및 Oracle 데이터베이스

구조화 된 데이터의 용이성과 Spark의 효율성.

Shilpa는 Spark의 전문가가되었으며 빅 데이터 분석을 즐깁니다. 고용주가 Oracle 데이터베이스의 엔터프라이즈 데이터를 빅 데이터와 결합하여 얻을 수있는 통찰력을 알고 싶을 때까지 모든 것이 잘 진행되었습니다.

Oracle 데이터베이스는 가장 많이 판매되는 엔터프라이즈 데이터베이스입니다. ERP, SCM 애플리케이션과 같은 대부분의 엔터프라이즈 애플리케이션은 Oracle 데이터베이스에서 실행됩니다. Shilpa와 마찬가지로 대부분의 데이터 과학자는 Oracle과 같은 엔터프라이즈 데이터베이스의 데이터와 Hadoop과 같은 빅 데이터 소스의 데이터를 연결해야하는 상황에 직면합니다.

이러한 요구 사항을 해결하는 방법에는 두 가지가 있습니다.

1. 엔터프라이즈 데이터를 Hadoop HDFS와 같은 빅 데이터 스토리지 시스템으로 가져온 다음 Spark SQL을 통해 액세스합니다.

• 데이터 복제
• 엔터프라이즈 데이터는 Hadoop HDFS로 가져와야합니다. 이를 위해서는 데이터 통합 ​​솔루션이 필요하며 대부분 일괄 작업으로 데이터 지연 문제가 발생합니다.

• 필요한 엔터프라이즈 데이터 만 Spark SQL을 통해 액세스합니다.
• 필요한 경우 Spark RDD를 통해 엔터프라이즈 데이터를 Hadoop HDFS에 저장할 수 있습니다.

불꽃

Spark에 대해 알고 싶고 Python과 함께 다운로드 및 설치하는 방법에 대한 단계별 지침을 찾으려면 아래 기사를 적극 권장합니다.

Oracle 데이터베이스

Oracle 데이터베이스에 대해 알고 싶고 모든 기능을 갖춘 서버급 Oracle 데이터베이스를 설치하는 방법에 대한 단계별 지침을 찾으려면 아래 기사를 적극 권장합니다.

AWS의 Oracle 데이터베이스

JDBC

Spark와 Oracle 데이터베이스 통합에 대해 자세히 알아보기 전에 JDBC (Java Database Connection)에 대해 알아야합니다.

Java 애플리케이션은 Java 기반 API 인 JDBC를 통해 Oracle 데이터베이스에 연결할 수 있습니다. Spark가https://towardsdatascience.com/spark-71d0bc25a9ba, JDBC를 통해 Oracle 데이터베이스에 연결할 수 있습니다.

아래 링크에서 최신 JDBC jar 파일을 다운로드 할 수 있습니다.

ojdbc7.jar 파일을 받아야합니다. 이 파일을 다른 모든 Spark 시스템 클래스 파일이 저장되는… / spark / jars 폴더에 저장합니다.

Oracle 데이터베이스와 Spark 연결

Spark가 설치된 JDBC jar 파일을 이미 설치했으며 Oracle 데이터베이스에 대한 액세스 세부 정보 (호스트, 포트, sid, 로그인, 암호)를 알고 있으므로 작업을 시작하겠습니다.

내가 설치 한 오라클 데이터베이스 뿐만 아니라,https://towardsdatascience.com/spark-71d0bc25a9ba (로컬 모드에서) 위 문서에 설명 된대로 AWS EC2 인스턴스에서.

1. 내 Oracle 데이터베이스 sanrusha에 액세스 할 수 있습니다. 데이터베이스가 실행 중입니다.

3. 데이터베이스 사용자는 sparkuser1입니다. 이 사용자는 A 열에 만 있지만 데이터는없는 하나의 테이블 테스트에 액세스 할 수 있습니다.

다음 단계에서는 Spark를 통해이 데이터베이스와 테이블에 연결합니다.

4a. Spark 머신에 로그인하고 Spark-shell 또는 pyspark를 통해 Spark를 시작합니다.

경축! 아무것도 안하여 에스천사게임즈가 새로운 모습으로 재오픈 하였습니다.
어린이용이며, 설치가 필요없는 브라우저 게임입니다.
https://s1004games.com

4b. 아래 명령은 Oracle 데이터베이스 테이블 테스트의 세부 정보로 스파크 데이터 프레임 df를 생성합니다. 이 명령을 Scala 프롬프트에 작성하십시오.

val df= spark.read.format(“jdbc”).option(“url”,”jdbc:oracle:thin:sparkuser1/oracle@<oracledbhost>:<oracle db access port default is 1521>/<oracledbsid>”).option(“dbtable”,”test”).option(“user”,”sparkuser1").option(“password”,”oracle”).option(“driver”,”oracle.jdbc.driver.OracleDriver”).load()

4d. 브라우저를 열고 아래 주소를 입력하세요.

http://ec2-18-219-126-145.us-east-2.compute.amazonaws.com:4040/jobs/

SQL 탭을 클릭하십시오. 연결 요청이 제출 된 시간, 연결 및 데이터 검색 활동에 걸린 시간, JDBC 세부 사항과 같은 세부 사항이 표시되어야합니다.

Spark는 Python에서 사용 가능한 Spark session.builder API를 통해 시작할 수도 있습니다. Jypyter 노트북을 열고 아래 세부 정보를 입력하여 Spark 애플리케이션 세션을 시작하고 Oracle 데이터베이스에 연결합니다.

다음은 내 Jupyter 노트북의 스냅 샷입니다.

결론

이것은 Oracle 데이터베이스와 함께 Spark를 사용할 때 옵션을 설명하는 작은 기사였습니다. Spark를 MySQL 및 데이터베이스와 연결하기 위해이 지식을 확장 할 수 있습니다.

여러분의 의견을 기다리겠습니다.

[출처] https://ichi.pro/ko/spark-mich-oracle-deiteobeiseu-112307687568946