인프라/kafka4 kafka 성능 향상관련 https://www.pepperdata.com/blog/kafka-optimization-four-best-practices/ Kafka Optimization: Boost Kafka Performance | Pepperdata Kafka is important for leveraging big data, but optimizing Kafka performance can be hard. Here are 4 Kafka optimization best practices to start with. www.pepperdata.com 요약 Upgrade to the latest version of Kafka. 2021 년 7월 릴리즈된 버젼부터는 zookeeper 가 없어도 구동이 가능하게끔 변경되었(오호호호 .. 2021. 9. 11. kafka consumer 성능 올리기 Log system 을 운영할때는 그다지 고민을 하지 않았던 주제였다. 왜냐면 필요하면 scale-out 을 시키고 topic 의 파티션을 늘리고 하는 행위로 충분히 커버가 되었고 lag 이 쌓이면 consumer 를 늘리면 되었다. 같은 group id 를 가지게 되면 consumer 끼리의 중복데이터는 없을꺼라는 생각을 했었기 때문에. 하지만 이제 order 가 중요하게 되는 트랜잭션을 고민하게 되면서 고민이 살살 되기 시작한다. order 가 유지되기 위해서는 지금까지 내가 아는 방법은 partition 을 "1" 로 설정하는것. 그렇게 되면 내가 지금까지 했던 설정을 사용할수 없게 된다. 몇가지 방법을 찾아봤다. (실제 테스트는 안해봤. 곧 해봐야지.) compression.type = lz4 b.. 2021. 9. 11. kafka advertised listener 설정 Kafka 를 설정을 하다가 리스너 설정에 hostname 을 빼먹으면 kafka consumer 가 붙었을때 kafka cluster 의 서버들의 hostname 으로 접속을 하려고 하는 경우가 생긴다.. 순간적으로 처리를 하려고 /etc/hostname 에 추가하는 경우도 있지만 많은 Consumer 들이 붙게 되면 그것도 일인지라 괴롭게 된다. kafka server.properties 설정에 아래부분 추가 하면 hostname 으로 접속을 안하고 ip 로 접속 하게 된다. 2021. 6. 14. [KSQL] KSQLDB 개요 ksqlDB is a database purpose-built to help developers create stream processing applications on top of Apache Kafka®. 스트리밍처리에 최적화된 DB 라 생각하면 될것같다. 설치법은 그리 어렵지 않고 kafka 설치된 인프라에 ksql server 와 유틸리티 설치를 진행하면 된다. 설치관련 가이드 : https://docs.confluent.io/platform/current/ksqldb/installing.html Installing ksqlDB | Confluent Documentation Installing ksqlDB ksqlDB is a component of Confluent Platfo.. 2021. 5. 26. 이전 1 다음
