MapReduce 원리

 

MapReduce의 기본원리는 입력 파일을 일정 단위로 나눠서 처리하는 Mapper과 개별적인 결과를 집계하는 Reduce로 나누어져있습니다.

 

InputSplits

MapReduce 작업에서 map task를 구성하는 작업의 단위입니다. 기본적으로 HDFS 기본 block 단위(126 or 256mb로 나누게 됩니다. 이렇게 단위를 나누어서 여러 node에 분배하면 해당 node에서 작업을 진행하는 data locality라는특징을 갖습니다. 

 

Map

데이터를 key,value 형태로 만들어서 작업을 처리하는 과정입니다. 맵 결과는 우선 메모리 버퍼에 저장되지만 limit을 넘으면 디스크에 spill됩니다.

 

Combiner

네트워크의 bottleneck을 줄이기 위해 Reducer로 보내기 전에 적은 양의 데이터를 보내기 위함입니다. 예를 들어, [seoul, a] [busan, b] [seoul, c]이 있다면 3개를 보내기 보다, [seoul, {a,c}], [busan, b]총 2개를 보냅니다. 즉, 키 단위로 묶는 것입니다.

 

Map 과정이 끝나면(partitioning까지 종료) /tmp 로컬 디스크 영역에 데이터를 쓰게 되고, Reduce task가 copy해서 Reduce작업을 하게 됩니다.  해당 과정이 끝나면 Application Master가 삭제합니다. 

 

Partition & Shuffle

map의 결과를 reducer에게 보내는 과정을 shuffle이라고 합니다. 파티셔너는 각 mapper의 결과가 어느 reducer로 보내는지 정하는 과정인데, key를 hashcode로 변경하여 reducer를 정해줍니다. 그래야 같은 key끼리 모을 수 있기 때문입니다. 

 

Reduce

분산 처리된 결과를 합쳐서 hdfs에 저장하는 역할을 합니다.

 

 

 

Reference

https://sparkdia.tistory.com/53

맵리듀스(Map-Reduce) 상세 작동 방법

 

맵리듀스(Map-Reduce) 상세 작동 방법

https://m.blog.naver.com/sohyunst/221617253997

하둡(Hadoop)의 분산 처리와 맵리듀스(MapReduce)의 개념

http://www.openwith.net/?p=506 

Hadoop 튜토리얼 (4-2) Map Reduce | 임팩트라인

https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=alice_k106&logNo=220462251435 

34. [MapReduce] 맵리듀스 원리와 그 과정

https://taaewoo.tistory.com/16