[HADOOP] 할프 질문

할프 질문

다음 샘플 질문에 대한 답변을 확인하고 싶습니다.

hadoop fs -put 명령을 사용하여 sales.txt를 HDFS에 추가합니다. 이 파일은 클러스터 내의 세 노드에 복제되는 단일 블록에 맞도록 충분히 작습니다. 클러스터는 언제 이러한 노드 중 하나에서 장애가 발생한 후 복제를 처리합니까?

A. 클러스터는이 블록을 다시 복제하지 않습니다. B.이 블록은 즉시 재 복제되며 진행중인 클러스터의 다른 HDFS 작업은 모두 중단됩니다. C. 관리자가 수동으로 파일을 삭제하고 다시 만들 때까지 블록이 과소 복제 상태로 유지됩니다. D. 파일은 NameNode가 DataNode로부터 수신 한 블록 보고서를 기반으로 과소 복제되었다고 판단한 후 자동으로 다시 복제됩니다.

대답은 D라고 생각합니다.

여러 단계를 거쳐 복잡한 계산을 수행하려면 코드를 작성해야합니다. 이러한 작업을 하나로 묶고 중간 계산 결과를 저장하는 키의 사용자 정의 합성 클래스를 개발하기로 결정했습니다. 이 키는 어떤 인터페이스를 구현해야합니까?

A. 쓰기 가능 B. 양도 가능 C. CompositeSortable D. WritableComparable

대답은 D라고 생각합니다.

키에 연도를 사용하는 응용 프로그램을 개발 중입니다. 1 년을 나타내는 키에 가장 적합한 Hadoop 제공 데이터 유형은 무엇입니까?

A. 텍스트 B. IntWritable C. NullWritable D. BytesWritable E.이 중 어느 것도 적합하지 않습니다. 사용자 정의 키를 구현해야합니다.

나는 대답은 B라고 믿는다.

해결법

1. ==============================

   1.1 - 올바른, 당신은 HDFS의 내결함성을 설명하는 모든 문헌에서 찾을 수 있습니다. Hadoop : The Definitive Guide의 3 장에는 클라이언트가 HDFS에 데이터를 쓰는 과정을 설명하고이 실패 프로세스가 어떻게 작동하는지 설명합니다.

   1 - 올바른, 당신은 HDFS의 내결함성을 설명하는 모든 문헌에서 찾을 수 있습니다. Hadoop : The Definitive Guide의 3 장에는 클라이언트가 HDFS에 데이터를 쓰는 과정을 설명하고이 실패 프로세스가 어떻게 작동하는지 설명합니다.

   2 - 수정, 키는 쓰기가 가능해야합니다. 따라서 배열과 기타 유사하지 않은 유형이 포함될 수있는 다른 범주에 속하지 않습니다.

   3 - 맞습니다. 1 년은 숫자 값이므로 대부분의 appriprate 옵션은 intwritable이 될 것입니다.

2. ==============================

   2.Q 1 & 2 대답 D는 정확하지만 Q 3에 대해서는 D라고 생각합니다. 틀렸을 수도 있습니다.

   Q 1 & 2 대답 D는 정확하지만 Q 3에 대해서는 D라고 생각합니다. 틀렸을 수도 있습니다.

3. ==============================

   3.Q3는 너무 까다 롭지만 B가 될 가능성이 큽니다.

   Q3는 너무 까다 롭지만 B가 될 가능성이 큽니다.

   사용하는 가장 좋은 방법은 -32000 ~ +32000 범위의 2 바이트를 차지하므로 ShortWritable입니다. 따라서 BytesWritable을 사용하고 2 바이트 만 할당 할 수 있습니다. IntWritable은 2 바이트에서 2 억 바이트까지 4 바이트를 차지하는데 이는 단지 2 바이트를 낭비하는 것입니다.

   Text를 사용하더라도 IntWritable과 같은 4 바이트 크기 (4 바이트)입니다. 그러나 Int와 관련된 작업을 Key와 함께 수행하는 경우 IntWritable이 더 좋다고 가정합니다.

   왜 내가 대답은 B라고 생각하는 유일한 이유는 많은 자바 개발자는 항상 숫자 범위에 상관없이 Int를 사용하고 거의 단시간을 사용하지 않는다는 것입니다. 그래서이 질문은 "의존"합니다. 키에 정수 관련 연산을하지 않으면 Bytes를 사용하고 그렇지 않으면 IntWritable을 사용합니다. 대답을 골라야한다면 B.

from https://stackoverflow.com/questions/15933782/hadoop-questions by cc-by-sa and MIT license