[HADOOP] 타임 스탬프에 따라 HDFS 디렉토리의 파일을 나열하는 hdfs 명령이 있습니까?
HADOOP타임 스탬프에 따라 HDFS 디렉토리의 파일을 나열하는 hdfs 명령이 있습니까?
HDFS 디렉토리의 파일을 타임 스탬프, 오름차순 또는 내림차순으로 나열하는 hdfs 명령이 있습니까? 기본적으로 hdfs dfs -ls 명령은 정렬되지 않은 파일 목록을 제공합니다.
내가 뭘 찾았는지에 대한 해답은 hdfs dfs -ls / tmp | sort -k6,7. 하지만 hdfs dfs 명령 줄에 inbuilt라는 더 좋은 방법이 있습니까?
해결법
-
==============================
1.아니요, datetime을 기반으로 파일을 정렬하는 다른 옵션은 없습니다. hadoop 버전이 2.7 미만인 경우, sort -k6,7을 사용해야합니다.
아니요, datetime을 기반으로 파일을 정렬하는 다른 옵션은 없습니다. hadoop 버전이 2.7 미만인 경우, sort -k6,7을 사용해야합니다.
hdfs dfs -ls /tmp | sort -k6,7
hadoop 2.7.x ls 명령의 경우 다음과 같은 옵션을 사용할 수 있습니다.
Usage: hadoop fs -ls [-d] [-h] [-R] [-t] [-S] [-r] [-u] <args> Options: -d: Directories are listed as plain files. -h: Format file sizes in a human-readable fashion (eg 64.0m instead of 67108864). -R: Recursively list subdirectories encountered. -t: Sort output by modification time (most recent first). -S: Sort output by file size. -r: Reverse the sort order. -u: Use access time rather than modification time for display and sorting.
따라서 파일을 쉽게 정렬 할 수 있습니다.
hdfs dfs -ls -t -R (-r) /tmp
from https://stackoverflow.com/questions/37022749/is-there-a-hdfs-command-to-list-files-in-hdfs-directory-as-per-timestamp by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] Spark에서 중첩 된 모음을 읽는 방법 (0) | 2019.07.06 |
---|---|
[HADOOP] Hadoop MapReduce의 Mapper / Reducer 설정 및 정리 방법 (0) | 2019.07.05 |
[HADOOP] Hadoop 배포판의 차이점 (0) | 2019.07.05 |
[HADOOP] HIVE QL의 테이블에 열 추가 (0) | 2019.07.05 |
[HADOOP] 사용자 정의 맵 하이브의 프로그램 줄이기, 규칙이란 무엇입니까? 입력과 출력은 어떻습니까? (0) | 2019.07.05 |