맵리듀스1 [스터디] 맵 리듀스란? 소프트웨어 아키텍처 101을 읽다가 맵 리듀스에 대해 궁금해져서 알아보게 되었다. 맵 리듀스(Map Reduce) 구글에서 대용량 데이터 처리를 분산 병렬 컴퓨팅에서 처리하기 위한 목적으로 제작하여 2004년 발표한 소프트웨어 프레임워크 한 명이 4주 작업할 일을 4명이 나누어 1주에 끝내는 것 이 개념이 하둡에서 사용하는 병렬 처리 개념이고, 위에서 나온 4명의 작업자를 클러스터라고 함 * 클러스터 : 공통의 목표를 위해 작동하는 컴퓨터 또는 애플리케이션들의 그룹 맵 리듀스 = 맵(Map) + 리듀스(Reduce) 빅데이터에서 프로세스는 최대한 단순해야 한다. RDBMS(관계형 데이터베이스)처럼 처리의 순서가 필요하거나 데이터 처리 실패로 인해 다시 되돌아가는 복잡한 연산은 어렵다. 프로세스를 간단히 .. 2024. 1. 11. 이전 1 다음
