복붙노트

[HADOOP] Spark 버전 확인 방법 [닫힘]

HADOOP

Spark 버전 확인 방법 [닫힘]

스파크 버전을 5.7.0으로 확인하고 싶습니다. 인터넷에서 검색했지만 이해할 수는 없습니다. 도와주세요.

감사

해결법

  1. ==============================

    1.@Binary Nerd에 추가

    @Binary Nerd에 추가

    Spark를 사용하는 경우 다음을 사용하여 Spark 버전을 가져옵니다.

    spark-submit --version
    

    또는

    Cloudera Manager 및 goto Hosts 페이지에 로그인 한 다음 클러스터에서 호스트 검사를 실행합니다.

  2. ==============================

    2.다음 명령을 사용하여 스파크 버전을 얻을 수 있습니다.

    다음 명령을 사용하여 스파크 버전을 얻을 수 있습니다.

    spark-submit --version
    
    spark-shell --version
    
    spark-sql --version
    

    아래 사이트를 방문하여 CDH 5.7.0에서 사용 된 스파크 버전을 확인하십시오.

    http://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_rn_new_in_cdh_57.html#concept_m3k_rxh_1v

  3. ==============================

    3.Cloudera 문서 - CDH 5.7.0의 새로운 내용에는 Spark 1.6.0이 포함되어 있습니다.

    Cloudera 문서 - CDH 5.7.0의 새로운 내용에는 Spark 1.6.0이 포함되어 있습니다.

  4. from https://stackoverflow.com/questions/38586834/how-to-check-spark-version by cc-by-sa and MIT license