복붙노트

[HADOOP] HBase-WAL과 MemStore의 차이점은 무엇입니까?

HADOOP

HBase-WAL과 MemStore의 차이점은 무엇입니까?

HBase 아키텍처를 이해하려고합니다. 두 가지 용어가 같은 목적으로 사용되는 것을 볼 수 있습니다.

미리 쓰기 로그 및 Memstore는 모두 영구 저장소에 아직 유지되지 않은 새 데이터를 저장하는 데 사용됩니다.

WAL과 MemStore의 차이점은 무엇입니까?

최신 정보:

WAL-서버 충돌시 아직 지속되지 않은 데이터를 복구하는 데 사용됩니다. MemStore-메모리에 업데이트를 정렬 된 키값으로 저장합니다.

디스크에 데이터를 쓰기 전에 데이터가 많이 중복 된 것 같습니다.

해결법

  1. ==============================

    1.Pls는 아래를 통해 더 많은 것을 이해합니다 ...

    Pls는 아래를 통해 더 많은 것을 이해합니다 ...

    Mutation.writeToWAL (false)

    일반 참고 : 대량로드 데이터를 수행하는 동안 속도를 얻기 위해 WAL을 비활성화하는 것이 일반적입니다. 그러나 부작용은 WAL을 비활성화하면 메모리 충돌이 발생하는 경우 데이터를 다시 재생할 수 없다는 것입니다.

    solr + HBASE + LILY, 즉 hbase와 함께 LILY Morphiline NRT 인덱스를 사용하면 성능상의 이유로 WAL을 비활성화하면 WAL에서 작동하며 Solr NRT 인덱싱이 작동하지 않습니다. 릴리가 WAL에서 일하기 때문에

    Hbase 아키텍처 섹션을보십시오

  2. from https://stackoverflow.com/questions/40067933/hbase-whats-the-difference-between-wal-and-memstore by cc-by-sa and MIT license