[HADOOP] 하둡 순차 데이터 액세스
HADOOP하둡 순차 데이터 액세스
하둡 결정 가이드에 따르면 :
스트리밍 또는 순차적 데이터 액세스 란 무엇입니까? 디스크 탐색 시간을 어떻게 단축 할 수 있습니까?
해결법
-
==============================
1.이것은 실제로 하둡에만 국한된 것은 아닙니다.
이것은 실제로 하둡에만 국한된 것은 아닙니다.
순차 액세스 패턴은 데이터를 순서대로 읽을 때 (종종 처음부터 끝까지)입니다. 책의 예를 생각해보십시오. 소설을 읽을 때는 순차적 순서를 사용합니다. 1 페이지부터 시작하여 2 페이지로 이동합니다. 다른 일반적인 패턴을 랜덤 액세스라고합니다. 이것은 한 곳에서 다른 곳으로, 그리고 데이터를 읽을 때 뒤로 이동하는 경우입니다. 책 예제의 경우 사전을 고려하십시오. 소설을 읽는 것처럼 읽지 않습니다. 대신 어딘가에서 단어를 검색합니다. 그리고 당신이 그 단어를 찾은 후에, 당신은 아마도 당신이 지금 책을 열었던 곳으로부터 수백 페이지 떨어진 곳에있는 다른 단어를 찾아 볼 수있을 것입니다. 읽을 곳을 찾는다는 것을 "검색"이라고합니다.
순차적으로 액세스 할 때는 한 번만 검색 한 다음 해당 데이터가 끝날 때까지 읽으면됩니다. 임의 액세스를 수행 할 때는 파일의 다른 위치로 전환 할 때마다 검색해야합니다. 자기 드라이브에서는 검색 비용이 많이 들기 때문에 하드 드라이브에서 성능이 크게 저하 될 수 있습니다.
from https://stackoverflow.com/questions/22942072/hadoop-sequential-data-access by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] Combiner 또는 Partitioner를 누가 먼저 실행할 수 있습니까? (0) | 2019.08.09 |
---|---|
[HADOOP] HTTP 콜백으로 외부 클라이언트가 Oozie 워크 플로우에 알리는 방법 (0) | 2019.08.09 |
[HADOOP] Apache Nutch를 사용하여 .pdf 링크를 크롤링하는 방법 (0) | 2019.08.09 |
[HADOOP] 하이브 다중 열 변경 (0) | 2019.08.09 |
[HADOOP] java.lang.ClassCastException 가져 오기 : 간단한 MapReduce 프로그램 실행시 클래스 java.lang.String (0) | 2019.08.08 |