[HADOOP] HDP 2.5 : 스파크 역사 서버 UI가 완료되지 않은 응용 프로그램을 표시하지 않습니다

HDP 2.5 : 스파크 역사 서버 UI가 완료되지 않은 응용 프로그램을 표시하지 않습니다

내가 설정 새로운 하둡 클러스터 호튼 웍스 데이터 플랫폼 2.5. (HDP 2.4 설치) "오래된"클러스터에서 나는 링크 쇼 불완전한 응용 프로그램을 클릭하여 역사 서버 UI를 통해 스파크 작업을 실행하는 방법에 대한 정보를 참조 할 수 있었다 :

새 설치 내에서이 링크 페이지를 엽니 다하지만 항상 불완전 응용 프로그램을 찾을 수 없습니다 말한다! (여전히 응용 프로그램을 실행있을 때).

난 그냥 YARN ResourceManager에 UI가 불꽃 응용 프로그램의 상태에 의존 "추적 UI"열, 링크의 두 가지 다른 종류를 표시 것을 보았다 :

원사의 RM 링크를 통해 나는 실행 스파크 응용 프로그램 정보를 정기적으로 볼 수 있지만 왜 나는 스파크 역사 서버 UI를 통해 그들에 액세스 할 수 없습니다? 2.5 HDP 2.4에서이 변경 일도 있었나요?

해결법

1. ==============================

   1.나는 그것은 네트워크 문제이고, 그것을 해결 : 클러스터 호스트 (노예 스파크) 서로에 도달 할 수의 일부를 인해 잘못된 스위치 구성. 나는 서로 각 호스트에 ping을 시도, 그것은을 발견했다.

   나는 그것은 네트워크 문제이고, 그것을 해결 : 클러스터 호스트 (노예 스파크) 서로에 도달 할 수의 일부를 인해 잘못된 스위치 구성. 나는 서로 각 호스트에 ping을 시도, 그것은을 발견했다.

   모든 호스트 때문에 문제가 사라 각각 다른 호스트를 Ping 할 수 및 내 스파크 역사 서버 UI에서 활동하고 완성 된 작업을 다시 볼 수 있습니다!

   ambari 에이전트가 각 호스트에 근무 때문에 나는이 문제를 발견하지 않았고, ambari 서버는 각 클러스터 호스트에서 접근했다! 그러나, 이후의 모든 호스트는 문제가 해결되어 서로에 도달 할 수 있습니다!

from https://stackoverflow.com/questions/40844893/hdp-2-5-spark-history-server-ui-wont-show-incomplete-applications by cc-by-sa and MIT license