복붙노트

[HADOOP] 잘못된 FS를 받고 : 파일을 하이브 쿼리를 실행하는 동안

HADOOP

잘못된 FS를 받고 : 파일을 하이브 쿼리를 실행하는 동안

하이브에 대한 간단한 선택 쿼리를 실행하는 동안 나는이 이상한 오류를 받고 있어요

java.lang.IllegalArgumentException: Wrong FS: file://usr/lib/hive/lib/CustomUDFint.jar, expected: file:///
    at org.apache.hadoop.fs.FileSystem.checkPath(FileSystem.java:410)
    at org.apache.hadoop.fs.RawLocalFileSystem.pathToFile(RawLocalFileSystem.java:56)
    at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:379)
    at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:251)
    at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:207)

인터넷 검색에 나는 테이블 위치에 대한 하이브 메타 데이터가 일부 잘못된 위치를 가리키고 있는지 언급 모든 링크를 발견했다.

왜 그런지 이유라도? 나는 그것을 해결할 수 있습니까?

감사,

해결법

  1. ==============================

    1.? 확인하세요 확인 HADOOP_HOME는 하둡 버전이 사용중인 적절한 값으로 설정 하이브 쉘을 통해 NN의 위치를 ​​설정해보십시오 볼 도움이된다면?

    ? 확인하세요 확인 HADOOP_HOME는 하둡 버전이 사용중인 적절한 값으로 설정 하이브 쉘을 통해 NN의 위치를 ​​설정해보십시오 볼 도움이된다면?

    hive -hiveconf fs.default.name=localhost
    

    구성에 따라 로컬 호스트를 변경합니다.

  2. ==============================

    2.그냥 내가 종속성을 추가하는 데 필요한 내 pom.xml 파일에서 같은 문제를 명중

    그냥 내가 종속성을 추가하는 데 필요한 내 pom.xml 파일에서 같은 문제를 명중

    <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
    </dependency>
    
  3. from https://stackoverflow.com/questions/17561548/getting-wrong-fs-file-while-running-hive-query by cc-by-sa and MIT license