[journal node]
https://eyeballs.tistory.com/251
[Hadoop] 고가용성(HA) 설명과 주키퍼 동작 방법
하둡2부터는 High Availability (이하 HA)라는 용어를 사용합니다. High Availability란 하나의 네임노드와 보조네임노드를 설정하는것이 아닌, 두 개의 네임노드를 설정하는 방법입니다. NameNode 에 장애가.
eyeballs.tistory.com
[quorum]
쿼럼 개수 : 2n+1
과반수 : (n+1)/2
https://paulsmooth.tistory.com/156
[zookeeper] 과반수 구성 이유 (majority voting/quorums)
zookeeper를 구성하는 경우 과반수 선출(majority voting/quorums)을 위해 zookeeper server의 수를 홀수로 구성할 것을 권고한다. 개발/테스트 환경을 위해서 1대로 구성하는 경우가 아니라면, 보통 3대로..
paulsmooth.tistory.com
http://bytecontinnum.com/2016/09/zookeeper-always-configured-odd-number-nodes/
Why Zookeeper is always configured with odd number of nodes ? - Musings of a Reductionist
This is a 2 min readSomeone in Quora.com asked me “Why Zookeeper is always configured with odd number of nodes ?”. Well, thats a great question but sad part is, not even many practitioners, even those who use Zookeeper in production can explain it
bytecontinnum.com
[hdfs replica]
https://ryufree.tistory.com/227
하둡 분산 파일 시스템(HDFS, Hadoop Distributed File System) [2편]
랙 인식(Rack Awareness) 하둡에는 랙 인식(Rack Awareness)이라는 개념이 있습니다. 하둡의 관리자가 수동으로 클러스터의 각 슬레이브 데이터 노드의 랙 번호(Rack number)를 정의할 수 있습니다. 데이터
ryufree.tistory.com
two copies will exist in one rack, another copy in a different rack.
블록 위치 확인
hadoop fsck / -files -blocks -locations
hadoop fsck /data/myfile.txt -files -blocks -locations
'빅데이터 > Hadoop' 카테고리의 다른 글
| Block Count / Small files 해결 (0) | 2022.09.24 |
|---|---|
| MapReduce 원리 (0) | 2022.09.22 |
| Hadoop HA 아키텍처 (1) | 2022.09.21 |
| Yarn 동작 원리 & Scheduler (0) | 2022.09.21 |
| [Hadoop/Impala] File Descriptor & Data block count 문제 (0) | 2022.08.12 |
