Kafka1 kafka consumer 성능 올리기 Log system 을 운영할때는 그다지 고민을 하지 않았던 주제였다. 왜냐면 필요하면 scale-out 을 시키고 topic 의 파티션을 늘리고 하는 행위로 충분히 커버가 되었고 lag 이 쌓이면 consumer 를 늘리면 되었다. 같은 group id 를 가지게 되면 consumer 끼리의 중복데이터는 없을꺼라는 생각을 했었기 때문에. 하지만 이제 order 가 중요하게 되는 트랜잭션을 고민하게 되면서 고민이 살살 되기 시작한다. order 가 유지되기 위해서는 지금까지 내가 아는 방법은 partition 을 "1" 로 설정하는것. 그렇게 되면 내가 지금까지 했던 설정을 사용할수 없게 된다. 몇가지 방법을 찾아봤다. (실제 테스트는 안해봤. 곧 해봐야지.) compression.type = lz4 b.. 2021. 9. 11. 이전 1 다음
