ItdaStream 주요 기능
기존 Kafka의 한계를 극복하고 연산과 저장을 분리하여 무제한 데이터 보관과 비용 절감을 실현하며, 토픽의 메시지를 Exactly-Once로 Iceberg 레이크하우스에 실시간 적재합니다.
Kafka 프로토콜 완벽 호환
기존 Kafka 클라이언트와 생태계를 코드 수정 없이 그대로 사용하여 원활한 마이그레이션이 가능합니다.
Kafka → Iceberg 실시간 스트리밍 (No-Code)
Admin UI에서 토픽과 대상 Iceberg 테이블만 지정하면 메시지가 Exactly-Once로 Iceberg에 자동 적재됩니다. 이벤트 시간 컬럼이 없어도 ingestion-time 컬럼을 자동 생성해 시간 단위 hidden partition으로 적재하므로, 별도 스키마·파티션 설계 없이도 시간 기준 프루닝이 즉시 동작합니다. 컨트롤러 브로커가 마스터, 나머지 브로커가 워커로 동작하는 Flink 스타일 엔진을 내장하여 별도 스트리밍 클러스터가 필요 없습니다. 싱크 설정에 WAP 브랜치를 지정하면 스트리밍 적재가 비-main 브랜치에 격리 스테이징되고, 검증 후 REST(/admin/iceberg/publish)로 main에 fast-forward 게시됩니다(Write-Audit-Publish).
SDK 기반 멀티 Sink 파이프라인
Java SDK 또는 submit.sh로 filter·select·map·flatMap 변환과 Iceberg·Elasticsearch·JDBC·Kafka 등 다중 Sink 파이프라인을 제출합니다. 사용자 정의 map/flatMap 변환 JAR은 잡과 함께 업로드되어 잡 전용 URLClassLoader로 로드되므로 브로커 재시작이 필요 없습니다. 자격증명은 연결 레지스트리(Connection Registry)에 한 번 등록하고 connectionId로 참조합니다.
연산과 저장의 분리
NIO 기반 고성능 Stateless 브로커와 S3 스토리지를 분리하여 독립적인 확장이 가능한 클라우드 네이티브 아키텍처입니다.
S3 기반 계층형 스토리지
유입된 메시지는 먼저 메모리 버퍼와 로컬 RocksDB 스테이징 스토어가 받아 즉시 응답하고, 백그라운드가 이를 모아 S3(Cloud 티어)로 플러시합니다. 로컬 디스크는 버퍼일 뿐 보관소가 아니므로 디스크 용량이 보존 기간을 제한하지 않습니다.
압도적인 처리량과 낮은 비용
응답은 메모리와 로컬 스테이징에서 즉시 반환하고 S3 업로드는 비동기로 묶어 처리하므로, 오브젝트 스토리지 위에서도 쓰기 지연이 S3 왕복에 묶이지 않습니다. 읽기는 인메모리 세그먼트 캐시가 받아내 반복 조회에서 오브젝트 스토리지 왕복을 대부분 제거합니다.
무제한 데이터 보존
로컬 디스크 용량에 종속되지 않고 S3 오브젝트 스토리지를 활용하여 장기간 데이터를 안전하게 보관합니다.
엔터프라이즈 보안 및 KMS
내장형 KMS를 통해 AES-GCM 256비트 봉투 암호화(Envelope Encryption)를 적용하여 보안을 강화했습니다.
싱글 사인온 (SSO)
OIDC · SAML 2.0 · LDAP/Active Directory 로 기존 ID 제공자에 인증을 위임합니다. 관리 콘솔은 브라우저 리다이렉트로, Kafka 프로토콜은 SASL 로 — Kafka 클라이언트가 이미 갖춘 **SASL/OAUTHBEARER** 에 ID 토큰을 넘기거나, PLAIN 만 지원하는 구형 클라이언트는 password 필드에 토큰이나 디렉터리 비밀번호를 담습니다. 클라이언트 코드 수정은 어느 쪽도 필요 없습니다. 권한은 provider 가 아니라 매핑된 그룹의 IAM 정책이 결정하고, 로그인 상태는 모든 브로커가 공유하는 키로 봉인되어 로드밸런서 뒤에서도 동작합니다. 로컬 비밀번호는 PBKDF2-HMAC-SHA256 으로 저장됩니다.
데이터 재복제 없는 확장
브로커가 소유한 데이터가 없으므로 노드 추가는 프로세스 기동만으로 끝납니다. 옮길 파티션도, 복제를 기다릴 시간도 없습니다.
무중단 브로커 제거 (Drain)
브로커를 내리기 전에 Drain으로 전환하면, 해당 브로커는 다른 모든 브로커가 클라이언트에게 주는 메타데이터에서 제외되면서도 이미 들어온 요청은 계속 처리합니다. 클라이언트는 다음 메타데이터 갱신 때 다른 브로커로 옮겨가므로, 노드를 빼는 동안 실패하는 요청이 없습니다. 종료 절차가 이 과정을 자동으로 수행하며, 3브로커 클러스터에서 Drain → 정지 → 재기동 전 구간 메시지 유실 0건을 e2e로 검증했습니다.
통합 관리 콘솔 (Admin UI)
실시간 TPS 모니터링, 토픽 관리, IAM 정책 설정 및 통합 로그 브라우저 기능을 제공합니다.
획기적인 인프라 비용 절감
고가의 NVMe/SSD 의존도를 낮추고 S3를 활용하여 기존 Kafka 대비 스토리지 비용을 최대 80% 절감합니다.
주요 활용 사례
대규모 로그 통합
테라바이트급 로그를 저렴한 비용으로 장기 보관하고 실시간으로 조회합니다.
이벤트 기반 마이크로서비스
표준 Kafka API 기반으로 운영 부담 없이 MSA 이벤트를 처리합니다.
실시간 레이크하우스 적재
토픽의 JSON/Avro 메시지를 No-Code 설정만으로 Iceberg 테이블에 Exactly-Once로 실시간 적재하여 즉시 분석에 활용합니다.
데이터 레이크 통합
실시간 이벤트를 S3 데이터 레이크로 직접 축적하고 분석에 활용합니다.
클라우드 마이그레이션
기존 Kafka 인프라를 클라우드 네이티브 환경으로 원활하게 전환합니다.