[HADOOP] 계획에 대한 파일 시스템 없습니다 : SFTP

계획에 대한 파일 시스템 없습니다 : SFTP

나는 다음과 같은 distcp와 하둡에서 SFTP를 사용하는 것을 시도하고있다

하둡 distcp -D fs.sftp.credfile = / 가정 / bigsql / cred.prop SFTP : // << IP 주소 >> : 22 / 수출 / 홈 / 뉴질랜드 / samplefile HDFS : /// 사용자 / bigsql / distcp

하지만 아래의 오류를 얻고있다

15/11/23 13시 29분 6초 INFO tools.DistCp : 입력 옵션 : DistCpOptions {atomicCommit = 거짓, 거짓 syncFolder = deleteMissing = 거짓 ignoreFailures = 거짓 maxMaps는 = 20 = sslConfigurationFile는 '널 (NULL)'는 copyStrategy = 'uniformsize 'sourceFileListing = NULL, sourcePaths = SFTP : // << >> 소스 IP : 22 / 수출 / 홈 / NZ / samplefile]있는 TargetPath = HDFS / 사용자 / bigsql / distcp, targetPathExists = TRUE, FALSE = preserveRawXattrs} 15/11/23 13시 29분 9초 정보 impl.TimelineClientImpl : 타임 라인 서비스 주소 : http://bigdata.ibm.com:8188/ws/v1/timeline/ 15/11/23 13시 29분 9초 정보 client.RMProxy >> bigdata.ibm.com/<

사람이 문제의 원인이 될 수있는 제안 할 수 있습니다.

해결법

1. ==============================

   1.SFTP : 하둡은 체계의 파일 시스템 구현을 찾을 수 없기 때문에 예외가오고있다.

   SFTP : 하둡은 체계의 파일 시스템 구현을 찾을 수 없기 때문에 예외가오고있다.

   예외 FileSystem.java 일어난다. 이 프레임 워크는 구성 매개 변수 fs.sftp.impl의 값을 찾기 위해 시도하고 그것을 찾을 수없는 경우,이 예외가 발생합니다.

   내가 아는 한, 하둡은 기본적으로 SFTP를 파일 시스템을 지원하지 않습니다. 이 JIRA 티켓 [https://issues.apache.org/jira/browse/HADOOP-5732, SFTP는 하둡 버전 2.8.0에서 사용할 수 있음을 나타냅니다 [SFTP 파일 시스템 추가].

   이 문제를 해결하려면, 당신은이 일을해야합니다

   https://github.com/wnagele/hadoop-filesystem-sftp : 나는 하둡을위한 SFTP 구현이 포함이 자식 저장소에 걸쳐왔다. 이를 사용하려면 org.apache.hadoop.fs.sftp.SFTPFileSystem에 속성 fs.sftp.impl을 설정해야합니다.

from https://stackoverflow.com/questions/33872683/no-filesystem-for-scheme-sftp by cc-by-sa and MIT license