컨슈머 랙 (1) 썸네일형 리스트형 5. 카프카 상세 개념 토픽과 파티션토픽은 카프카에서 가장 중요한 것이다토픽을 만들면서 카프카가 시작되고 토픽을 삭제하면 데이터가 삭제되고 파이프라인이 중단된다.적정 파티션 개수토픽의 파티션 개수는 카프카의 성능과 관련이 있다. 따라서 토픽을 운영함에 있어 적절한 파티션 개수를 설정하고 운영하는 것이 매우 중요하다.이때 고려해야할 점은 3가지이다.1. 데이터 처리량2. 메시지 키 사용 여부3. 브로커, 컨슈머 영향도 파티션은 카프카의 병렬처리의 핵심이다.파티션의 개수가 많아지면 많아질수록 매핑되는 컨슈머의 개수가 늘어나기 때문이다.따라서 파티션의 개수를 정할 때 해당 토픽에 필요한 데이터 처리량을 측정하는 것이 중요하다. 데이터 처리 속도를 올리는 법 2가지1. 컨슈머의 처리량을 늘리는 것2. 컨슈머를 추가하여 병렬처리량을 늘.. 이전 1 다음
