by Diego Ongaro and John Ousterhout, Standford University이 포스트는 섹션 1~5.3 까지 다룹니다.1 Introduction2 Replicated state machines3 What's wrong with Paxos?4 Designing for understandability5 The Raft consensus algorihtm5.1 Raft basics5.2 Leader Election5.3 Log Replication--- (1) 이번 포스팅5.4 Safety AbstractRaft는 복제 로그를 관리하는 합의 알고리즘이다. (Multi-)Paxos와 같은 결과를 만들며, Paxos 만큼 효율적이나, 그 구조는 Paxos와 다르다; 그래서 Raft가 P..

맵리듀스 내용은 이전 포스팅을 참고해주세요.https://ingyeoking13.tistory.com/368MapReduce LAB Review를 하였습니다.거의 5주전에 논문 읽기와 LAB을 진행한 내용이라, 기존 작성하였던 코드를 삭제하고 다시 작성 진행했는데요.스터디 도중에 MIT 6.5840 Distributed Systems의 내용이 바뀌었는데, LAB내용도 바뀐것을 알게되었습니다.그러고보니 LAB 테스팅 방법이 좀 바뀌었더라구요. 이런저런 이유로 완료까지 한 8시간 정도 걸린듯 합니다... (GO 언어도 사용하는데 미숙하여서)컴포넌트 정리LAB 코드를 받게되면 과제에는 여러가지 Map, Reduce Function이 정의되어있습니다. 이번에 사용할 Map/Reduce Set은 mrapps/w..

목차Paxos Made Simple1. https://pdos.csail.mit.edu/6.824/papers/paxos-simple.pdfPaxos Lecture2. https://pdos.csail.mit.edu/6.824/notes/l-paxos.txtPaxos Pseudo Code3. https://pdos.csail.mit.edu/6.824/notes/paxos-code.htmlPaxos Agreement - Computerphile (시각화를 잘 한 것 같음)4. https://www.youtube.com/watch?v=s8JqcZtvnsMPaxos Made SimpleLeslie Lamport01 Nov 2001초록Paxos 알고리즘은 영어로 볼 때 간단합니다. (원문은 그리스어로 써있다고 ..

GFS는 구글 파일 시스템으로 Sanjay Ghemawat, Howard Gobioff, Shun-Tak Leung 이 발표한 기술이다.GFS는 분산파일 시스템으로 스케일이 가능한 데이터 중심의 큰 어플리케이션을 위해 설계되었다. 저렴한 상업용 하드웨어를 많이 사용하여 높은 성능과 fault tolerance, 내결함성을 제공한다. 여타 기존의 분산 파일 시스템과 목적은 비슷하지만, 근본적으로 다르게 설계되었다. 서비스에 운영되는 데이터의 생성과 처리뿐만 아니라 대규모 데이터 세트를 필요로 하는 연구 및 개발 작업을 위한 저장 플랫폼으로 활용되며 천 대가 넘는 머신에 연결된 수천 개의 디스크에 걸쳐 수백 테라바이트의 저장공간을 제공한다. 동시에 수백 개의 클라이언트가 이 시스템에 접근한다.GFS의 아키텍..

맵리듀스는 2004년 Google의 Jeffrey Dean이 발표한 기술이다.GFS와 같은 분산 파일시스템에서, 사용자가 작성한 맵 함수와 리듀스 함수를 실행하여 결과를 생산해낸다.디스크에 있는 파일을 읽어 사용자 함수 Map을 실행한다. 중간 결과(인메모리)에서 셔플링을 통해 사용자 함수 Reducer는 매퍼의 결과를 복사한다.맵리듀스는 다음과 같은 그림으로 도식화 할 수 있다. 사용자 프로그램 워커는 Map Phase와 Reduce Phase가 있고 Master 프로그램이 워커에게 알맞은 작업을 부여한다.여러 스레드나 프로세스에서 동일한 워커에 접근하여 작업을 지시하면 안되므로 Master 프로그램은 강한 격리성을 유지해야하한다. 즉, 병렬 등의 동시성 처리에 취약하면 안된다.워커들은 일반적으로 2-..