[HADOOP] spark Yarn 모드 spark-submit에서 applicationId를 얻는 방법

spark Yarn 모드 spark-submit에서 applicationId를 얻는 방법

마스터 얀 및 배포 모드 클러스터와 함께 spark-submit을 사용하여 spark 작업을 제출하면 applicationId를 인쇄 / 반환하지 않으며 작업이 완료되면 MapReduce jobHistory 또는 spark HistoryServer를 수동으로 확인하여 작업 세부 정보를 가져와야합니다. 내 클러스터는 많은 사용자가 사용하며 jobHistory / HistoryServer에서 내 작업을 찾는 데 많은 시간이 걸립니다.

applicationId를 반환하도록 spark-submit을 구성하는 방법이 있습니까?

참고 : 비슷한 질문이 많지만 해당 솔루션이 sparkcontext.applicationId를 사용하여 드라이버 코드 내에서 applicationId를 검색하고 마스터 얀 및 배포 모드 클러스터의 경우 드라이버가 mapreduce 작업, 로그 또는 sysout의 일부로 원격 호스트에 인쇄 됨 로그.

해결법

1. ==============================

   1.이것을 달성하기 위해 사용한 접근법은 다음과 같습니다.

   이것을 달성하기 위해 사용한 접근법은 다음과 같습니다.

from https://stackoverflow.com/questions/44209462/spark-yarn-mode-how-to-get-applicationid-from-spark-submit by cc-by-sa and MIT license