하둡 하이브 바닐라에서이 오류를 수정하는 방법
리눅스 (CentOS는)에 맵리 듀스 작업을 실행하는 동안 나는 다음과 같은 오류에 직면하고있다. 내가 클래스 경로에있는 모든 단지를 추가했다. 데이터베이스 이름이 이미 테이블에있는 데이터의 일부 열이 하이브 데이터베이스의 테이블 이름. 다음 또한 나는 하이브 데이터베이스 테이블에서 데이터를 액세스 할 수 없습니다.
나는 작업을위한 하둡의 바닐라 버전을 사용하고 있습니다. 난 하이브에 대한 MySQL의 드라이버 경로, 사용자 이름 및 암호에 의해 하이브-site.xml 파일을 편집해야할까요? 예 하이브에 대한 사용자 이름과 암호를 추가하는 나에게 절차를 알려 주시기 바랍니다. 사전에 감사합니다
무랄리] #의 하둡 항아리 /home/murali/workspace/hadoop/HiveInputForMapper/target/HiveInputForMapper-0.0.1-SNAPSHOT.jar com.cosmonet.HiveInputDriver -libjars $ LIBJARS
자바 핫스팟 (TM) 서버 VM 경고 : 당신은 장애인 스택 가드를 가질 수있는 /hadoop/hadoop/lib/native/libhadoop.so 라이브러리를로드 한. VM는, 이제 스택 가드를 해결하기 위해 노력할 것입니다.
매우 당신 'execstack -c '와 라이브러리를 수정, 또는 '-z noexecstack'로 연결하는 것이 좋습니다.
플랫폼을위한 네이티브 하둡 라이브러리를로드 할 수 ... 내장 - 자바 클래스에 해당되는 경우를 사용 할 수 없습니다 : 14/11/21 11시 26분 19초는 util.NativeCodeLoader WARN
14/11/21 11시 26분 20초 정보 metastore.HiveMetaStore : 0 : 된 구현 클래스와 원시 가게를 열기 : org.apache.hadoop.hive.metastore.ObjectStore
14/11/21 11시 26분 20초 정보 metastore.ObjectStore : ObjectStore라는 initialize가
14/11/21 11시 26분 20초 정보 DataNucleus.Persistence은 : 알 수없는 속성 datanucleus.cache.level2은 - 무시됩니다
14/11/21 11시 26분 20초 정보의 DataNucleus.Persistence : 부동산의 알 수없는 hive.metastore.integral.jdo.pushdown은 - 무시됩니다
14/11/21 11시 26분 22초 정보 metastore.ObjectStore : hive.metastore.cache.pinobjtypes와 메타 스토어 오브젝트 핀 클래스를 설정 = "테이블, StorageDescriptor, SerDeInfo, 파티션, 데이터베이스, 유형, FieldSchema, 주문"
14/11/21 11시 26분 22초 정보 metastore.MetaStoreDirectSql는 : 후, "@"(64) : ""줄 1,가 발생 열 5에서 어휘 오류 : MySQL의 검사는 우리가 MySQL을하지 않은 가정에 실패했습니다.
14/11/21 11시 26분 23초 정보 DataNucleus.Datastore : 클래스 "org.apache.hadoop.hive.metastore.model.MFieldSchema"는 "임베디드 전용"그래서이없는 자신의 데이터 저장소 테이블로 태그됩니다.
14/11/21 11시 26분 23초 정보 DataNucleus.Datastore : 클래스 "org.apache.hadoop.hive.metastore.model.MOrder"는 "임베디드 전용"그래서이없는 자신의 데이터 저장소 테이블로 태그됩니다.
14/11/21 11시 26분 23초 정보 DataNucleus.Datastore : 클래스 "org.apache.hadoop.hive.metastore.model.MFieldSchema"는 "임베디드 전용"그래서이없는 자신의 데이터 저장소 테이블로 태그됩니다.
14/11/21 11시 26분 23초 정보 DataNucleus.Datastore : 클래스 "org.apache.hadoop.hive.metastore.model.MOrder"는 "임베디드 전용"그래서이없는 자신의 데이터 저장소 테이블로 태그됩니다.
14/11/21 11시 26분 23초 정보 DataNucleus.Query : 사용 된 연결을 닫기 때문에 쿼리 "org.datanucleus.store.rdbms.query.SQLQuery@0"에 대한 결과에 읽기
14/11/21 11시 26분 23초 정보 metastore.ObjectStore : ObjectStore 초기화
14/11/21 11시 26분 24초 정보 metastore.HiveMetaStore : 메타 스토어에 추가 된 관리자 역할
14/11/21 11시 26분 24초 정보 metastore.HiveMetaStore : 메타 스토어에 추가 public 역할
14/11/21 11시 26분 24초 정보 metastore.HiveMetaStore는 : 설정이 비어 있기 때문에 어떤 사용자는 관리자 역할에 추가되지 않습니다
14/11/21 11시 26분 24초 정보 metastore.HiveMetaStore : 0 : get_databases : NonExistentDatabaseUsedForHealthCheck
14/11/21 11시 26분 24초 정보 HiveMetaStore.audit : 상부 위장관 = 루트 IP = 알 수없는-IP-요지 cmd를 =의 get_databases : NonExistentDatabaseUsedForHealthCheck
14/11/21 11시 26분 24초 INFO metastore.HiveMetaStore 0 : get_table : DB = bigdata TBL = 범주
14/11/21 11시 26분 24초 정보 HiveMetaStore.audit : 상부 위장관 = 루트 IP = 알 수없는-IP-요지 cmd를 = get_table : dB = bigdata TBL = 범주
스레드에서 예외 "주요"때 java.io.IOException : NoSuchObjectException (메시지 : bigdata.categories 테이블 찾을 수 없음)
org.apache.hive.hcatalog.mapreduce.HCatInputFormat.setInput에서 (HCatInputFormat.java:97)
org.apache.hive.hcatalog.mapreduce.HCatInputFormat.setInput에서 (HCatInputFormat.java:71)
com.cosmonet.HiveInputDriver.run에서 (HiveInputDriver.java:27)
org.apache.hadoop.util.ToolRunner.run에서 (ToolRunner.java:70)
org.apache.hadoop.util.ToolRunner.run에서 (ToolRunner.java:84)
com.cosmonet.HiveInputDriver.main에서 (HiveInputDriver.java:49)
sun.reflect.NativeMethodAccessorImpl.invoke0에서 (기본 방법)
sun.reflect.NativeMethodAccessorImpl.invoke에서 (NativeMethodAccessorImpl.java:57)
sun.reflect.DelegatingMethodAccessorImpl.invoke에서 (DelegatingMethodAccessorImpl.java:43)
java.lang.reflect.Method.invoke에서 (Method.java:606)
org.apache.hadoop.util.RunJar.main에서 (RunJar.java:212)
에 의해 발생 : NoSuchObjectException (메시지 : bigdata.categories 테이블 찾을 수 없음)
org.apache.hadoop.hive.metastore.HiveMetaStore $ HMSHandler.get_table에서 (HiveMetaStore.java:1560)
sun.reflect.NativeMethodAccessorImpl.invoke0에서 (기본 방법)
sun.reflect.NativeMethodAccessorImpl.invoke에서 (NativeMethodAccessorImpl.java:57)
sun.reflect.DelegatingMethodAccessorImpl.invoke에서 (DelegatingMethodAccessorImpl.java:43)
java.lang.reflect.Method.invoke에서 (Method.java:606)
org.apache.hadoop.hive.metastore.RetryingHMSHandler.invoke에서 (RetryingHMSHandler.java:105)
com.sun.proxy에서. $ Proxy9.get_table (알 수없는 소스)
org.apache.hadoop.hive.metastore.HiveMetaStoreClient.getTable에서 (HiveMetaStoreClient.java:997)
org.apache.hive.hcatalog.common.HCatUtil.getTable에서 (HCatUtil.java:191)
org.apache.hive.hcatalog.mapreduce.InitializeInput.getInputJobInfo에서 (InitializeInput.java:105)
org.apache.hive.hcatalog.mapreduce.InitializeInput.setInput에서 (InitializeInput.java:86)
org.apache.hive.hcatalog.mapreduce.HCatInputFormat.setInput에서 (HCatInputFormat.java:95)
... 10 개
해결법
from https://stackoverflow.com/questions/27055415/how-to-fix-this-error-in-hadoop-hive-vanilla by cc-by-sa and MIT license