ItdaStream 주요 기능
기존 Kafka의 한계를 극복하고 연산과 저장을 분리하여 무제한 데이터 보관과 비용 절감을 실현하며, 토픽의 메시지를 Exactly-Once로 Iceberg 레이크하우스에 실시간 적재합니다.
Kafka 프로토콜 호환
기존 Kafka 클라이언트와 도구를 코드 수정 없이 사용합니다. 컨슈머 그룹, 멱등·트랜잭션 프로듀서를 지원합니다.
연산과 저장의 분리
Stateless 브로커가 메모리 버퍼와 로컬 스테이징으로 즉시 응답하고 S3에 비동기로 적재합니다. 디스크 용량과 무관하게 데이터를 보존합니다.
재배치 없는 확장
브로커가 데이터를 소유하지 않아 노드 추가만으로 확장됩니다. Drain으로 요청 실패 없이 브로커를 안전하게 제거합니다.
No-Code Iceberg 적재
토픽과 Iceberg 테이블만 지정하면 JSON/Avro 메시지가 자동 적재됩니다. 수집 시각 파티션과 업서트 키를 지원합니다.
Iceberg 레이크하우스 적재
체크포인트마다 데이터와 소스 오프셋을 같은 Iceberg 스냅샷에 원자적으로 커밋합니다. WAP 브랜치로 검증 후 게시할 수 있습니다.
내장 스트림 처리
별도 클러스터 없이 브로커가 스트리밍 잡을 실행합니다. SDK로 변환을 정의하고 Iceberg·Kafka·JDBC·Elasticsearch 등으로 보냅니다.
스키마 레지스트리
내장 스키마 레지스트리에 스키마를 등록하고, Avro 메시지를 스키마에 맞춰 해석해 테이블 컬럼으로 적재합니다.
엔터프라이즈 보안
내장 KMS 봉투 암호화(AES-256-GCM)와 키 로테이션, 토픽 단위 IAM 정책, TLS, OIDC·SAML·LDAP SSO를 지원합니다.
고가용성과 통합 운영
ZooKeeper 리더 선출로 장애에 대응합니다. 관리 콘솔, Prometheus 메트릭, S3 백업으로 클러스터를 한 곳에서 운영합니다.
주요 활용 사례
대규모 로그 통합
테라바이트급 로그를 저렴한 비용으로 장기 보관하고 실시간으로 조회합니다.
이벤트 기반 마이크로서비스
표준 Kafka API 기반으로 운영 부담 없이 MSA 이벤트를 처리합니다.
실시간 레이크하우스 적재
토픽의 JSON/Avro 메시지를 No-Code 설정만으로 Iceberg 테이블에 Exactly-Once로 실시간 적재하여 즉시 분석에 활용합니다.
데이터 레이크 통합
실시간 이벤트를 S3 데이터 레이크로 직접 축적하고 분석에 활용합니다.
클라우드 마이그레이션
기존 Kafka 인프라를 클라우드 네이티브 환경으로 원활하게 전환합니다.