Kafka 토픽 네이밍 규칙이 필요한 이유일관된 네이밍 규칙이 없다면, 시간이 지나면서 토픽의 이름이 불규칙해지고 찾기 어려워짐일반적인 Kafka 토픽 네이밍 규칙kafka 이름은 영어, 숫자, 마침표, 밑줄, 하이픈이 사용됨하지만 마침표와 밑줄을 같이 사용하는 건 추천 되지 않음보통 이름은 소문자로 통일하고 케밥 케이스를 사용하는 편 ex) my-app-topic토픽 이름의 구성 요소데이터 센터: 데이터가 위치한 데이터 센터. 예를 들어 AWS나 Azure 같은 서비스도메인: 데이터가 속한 시스템의 도메인을 정의. 제품명이나 팀이름이 아닌, 시스템의 근본적인 영역을 나타냄분류: 데이터의 종류를 의미. fct(사실 데이터), cdc(데이터 변경 캡처), cmd(명령), sys(시스템)와 같은 분류 사용 ..

Kafka의 기본 구성Producer: Kafka에 메시지(데이터)를 전달하는 주체Consumer: Kafka에 메시지(데이터)를 처리하는 주체Topic: Kafka에 넣을 메시지의 종류를 구분하는 개념 (카테고리와 비슷)작동 과정Producer가 Kafka로 메시지를 전달한다.Kafka는 메시지 큐에 Topic 별로 구분해 전달 받은 메시지를 저장해둔다.Consumer는 주기적으로 Kafka에 새로운 메시지가 생겼는 지 확인하다가, 새로운 메시지가 있다면 가져와서 처리한다.참고로 Topic은 Kafka에 기존에 저장되어있는 것이 아니라 Producer가 토픽, 메시지와 같이 전달한다. 기존 메시지 큐와 Kafka의 메시지 처리의 차이기존 메시지 큐는 메시지를 읽어들이면 큐 안에 있는 메시지를 없애지만 ..