[HADOOP] HBase-WAL과 MemStore의 차이점은 무엇입니까?
HADOOPHBase-WAL과 MemStore의 차이점은 무엇입니까?
HBase 아키텍처를 이해하려고합니다. 두 가지 용어가 같은 목적으로 사용되는 것을 볼 수 있습니다.
미리 쓰기 로그 및 Memstore는 모두 영구 저장소에 아직 유지되지 않은 새 데이터를 저장하는 데 사용됩니다.
WAL과 MemStore의 차이점은 무엇입니까?
최신 정보:
WAL-서버 충돌시 아직 지속되지 않은 데이터를 복구하는 데 사용됩니다. MemStore-메모리에 업데이트를 정렬 된 키값으로 저장합니다.
디스크에 데이터를 쓰기 전에 데이터가 많이 중복 된 것 같습니다.
해결법
-
==============================
1.Pls는 아래를 통해 더 많은 것을 이해합니다 ...
Pls는 아래를 통해 더 많은 것을 이해합니다 ...
Mutation.writeToWAL (false)
일반 참고 : 대량로드 데이터를 수행하는 동안 속도를 얻기 위해 WAL을 비활성화하는 것이 일반적입니다. 그러나 부작용은 WAL을 비활성화하면 메모리 충돌이 발생하는 경우 데이터를 다시 재생할 수 없다는 것입니다.
solr + HBASE + LILY, 즉 hbase와 함께 LILY Morphiline NRT 인덱스를 사용하면 성능상의 이유로 WAL을 비활성화하면 WAL에서 작동하며 Solr NRT 인덱싱이 작동하지 않습니다. 릴리가 WAL에서 일하기 때문에
Hbase 아키텍처 섹션을보십시오
from https://stackoverflow.com/questions/40067933/hbase-whats-the-difference-between-wal-and-memstore by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] AWS EMR 성능 HDFS 및 S3 (0) | 2019.08.14 |
---|---|
[HADOOP] hbase에서 테이블 만들기 (0) | 2019.08.14 |
[HADOOP] Hadoop IOException 로그인 실패 (0) | 2019.08.14 |
[HADOOP] 클라이언트가 다음을 통해 인증 할 수 없습니다. [TOKEN, KERBEROS] (0) | 2019.08.14 |
[HADOOP] 여러 장소를 동일한 하이브 외부 테이블로 지정할 수 있습니까? (0) | 2019.08.14 |