[HADOOP] 하둡 FileSystem.getFS ()가 약 2 분 동안 일시 중지됨

하둡 FileSystem.getFS ()가 약 2 분 동안 일시 중지됨

매우 이상한 문제가 있습니다. dfs-datastores Pail 추상화를 사용하여 Java에서 HDFS에 데이터를 씁니다. 그래도 Pail 조각이 문제에 중요하다고 생각하지 않습니다.

로컬 파일 시스템의 경로와 함께 org.apache.hadoop.fs.FileSystem getFS (java.lang.String 경로)를 호출하면 약 2 분 동안 일시 중지 한 다음 아무것도 반환하지 않습니다. 이것은 내 노트북에 있습니다.

이상한 점은 오늘 사무실에서 네트워크를 사용했을 때 정말 빠르게 작동했지만 이제는 집에 돌아와서 다시하고 있다는 것입니다. Java 1.7에서 Ubuntu 10.10 64 비트를 실행하고 있습니다.

누구의 아이디어가 있습니까? 직장과 집에있을 때 무엇이 ​​다를 수 있습니까?

최신 정보: 디버거를 사용하여 코드를 단계별로 실행했으며 Configuration.loadResource ()에서 문제가있는 것 같습니다. 여러 번 호출하고 해당 함수에서 돌아 오는 데 5-10 초가 걸립니다.

UPDATE2 : 나는 이것을 조금 더 좁혔다. 가장 큰 끊기는 KerberosName.setConfiguration ()을 호출하는 것 같습니다. Active Directory가 Kerberos 서버 역할을하므로 업무상 빠르게 실행되는 이유를 설명합니다. 여기 집에 없어서 찾을 수 없습니다. 이제 그들은 왜 세계에서 Java Kerberos를로드하려고하는지 궁금합니다.

해결법

1. ==============================

   1.나는 해결책 (또는 적어도 해결 방법)을 찾았습니다. krb5-kdc 패키지를 설치했으며 이제 작은 프로그램이 설명없이 멈추지 않고 빠르게 실행됩니다. 이 후 krb5-kdc를 제거하고 테스트했으며 여전히 빠르게 실행 중입니다. /etc/krb5.conf를 제거하고 일시 중지를 다시 시작했습니다. 우분투에서 Hadoop 라이브러리를 사용하려면 /etc/krb5.conf 파일이 필요합니다.

   나는 해결책 (또는 적어도 해결 방법)을 찾았습니다. krb5-kdc 패키지를 설치했으며 이제 작은 프로그램이 설명없이 멈추지 않고 빠르게 실행됩니다. 이 후 krb5-kdc를 제거하고 테스트했으며 여전히 빠르게 실행 중입니다. /etc/krb5.conf를 제거하고 일시 중지를 다시 시작했습니다. 우분투에서 Hadoop 라이브러리를 사용하려면 /etc/krb5.conf 파일이 필요합니다.

   아마도 이것은 다른 누군가를 도울 것입니다.

from https://stackoverflow.com/questions/9952094/hadoop-filesystem-getfs-pauses-for-about-2-minutes by cc-by-sa and MIT license