본문 바로가기

컨슈머

(2)
6. 카프카 실전 프로젝트 웹 페이지 이벤트 적재 파이프라인 생성웹 페이지 기반 플랫폼 기업은 사용자의 동작으로 발생되는 모든 로그를 안정적으로 수집하기 위해 상당한 노력을 한다.사용자의 특징을 파악하기 위해 사용자가 수행하는 모든 클릭, 스크롤, 입력과 같은 내용을 수집하고, 수집된 사용자 이벤트들은 적절한 형태로 가공되어 광고, 신용도 측정, 이상 동작 감지등으로 사용된다.이러한 이벤트 수집은 서비스에 영향을 미치지 않으면서 안정적으로 유지되어야 하는데 수집을 하기 위해서 사용자에게 영향이 있는다면 고객 경험에 좋지 않은 영향을 미치기 때문이다. 카프카에는 예상치 못한 데이터의 급격한 증가가 발생해도 안정적으로 운영하는데 강점이 있다.이벤트가 많이 발생하더라도 발생한 이벤트들은 모두 카프카의 토픽에 쌓이기 때문에 컨슈머는 자신..
3. 카프카 기본 개념 설명 카프카 브로커는 데이터를 주고 받기 위해 사용하는 주체이자 데이터를 분산해 문제가 생겨도 안전하게 해주는 애플리케이션이다.프로듀서로 부터 데이터를 전달 받으면 카프카 브로커는 토픽의 파티션에 데이터를 저장하고 컨슈머가 요청할 때 파티션에서 저장된 데이터를 전달한다. 카프카는 저장을 할 때 파일시스템에 저장을 하지만 페이지 캐시를 사용해 입출력 속도를 높였다.하지만 이렇게 하기 위해서 힙 메모리 사이즈를 크게 설정해야한다. 데이터복제데이터 복제는 데이터를 안전하게 사용하기 위해서 사용하는 것으로 파티션 단위로 이뤄진다.복제된 파티션은 리더와 팔로워가 있는데 프로듀서와 컨슈머와 직접 통신하는 것을 리더라고 하고 나머지를 다 팔로워라고 한다.이때 리더가 장애가 발생하면 나머지 팔로워 중에 하나가 리더 지위를 ..