ItdaStream 주요 기능
기존 Kafka의 한계를 극복하고 연산과 저장을 분리하여 무제한 데이터 보관과 비용 절감을 실현하며, 토픽의 메시지를 Exactly-Once로 Iceberg 레이크하우스에 실시간 적재합니다.
Kafka 프로토콜 완벽 호환
기존 Kafka 클라이언트와 생태계를 코드 수정 없이 그대로 사용하여 원활한 마이그레이션이 가능합니다.
Kafka → Iceberg 실시간 스트리밍 (No-Code)
Admin UI에서 토픽과 대상 Iceberg 테이블만 지정하면 메시지가 Exactly-Once로 Iceberg에 자동 적재됩니다. 이벤트 시간 컬럼이 없어도 ingestion-time 컬럼을 자동 생성해 시간 단위 hidden partition으로 적재하므로, 별도 스키마·파티션 설계 없이도 시간 기준 프루닝이 즉시 동작합니다. 컨트롤러 브로커가 마스터, 나머지 브로커가 워커로 동작하는 Flink 스타일 엔진을 내장하여 별도 스트리밍 클러스터가 필요 없습니다. 싱크 설정에 WAP 브랜치를 지정하면 스트리밍 적재가 비-main 브랜치에 격리 스테이징되고, 검증 후 REST(/admin/iceberg/publish)로 main에 fast-forward 게시됩니다(Write-Audit-Publish).
SDK 기반 멀티 Sink 파이프라인
Java SDK 또는 submit.sh로 filter·select·map·flatMap 변환과 Iceberg·Elasticsearch·JDBC·Kafka 등 다중 Sink 파이프라인을 제출합니다. 사용자 정의 map/flatMap 변환 JAR은 잡과 함께 업로드되어 잡 전용 URLClassLoader로 로드되므로 브로커 재시작이 필요 없습니다. 자격증명은 연결 레지스트리(Connection Registry)에 한 번 등록하고 connectionId로 참조합니다.
연산과 저장의 분리
NIO 기반 고성능 Stateless 브로커와 S3 스토리지를 분리하여 독립적인 확장이 가능한 클라우드 네이티브 아키텍처입니다.
S3 기반 계층형 스토리지
최신 데이터는 메모리/SSD(Hot 티어), 오래된 데이터는 S3(Cloud 티어)에 보관하여 디스크 용량 제한을 해결합니다.
압도적인 성능 및 지연시간
비동기 S3 Flush와 Tail Read 최적화를 통해 S3 기반 환경에서도 실시간 데이터 처리를 위한 최소 지연시간을 보장합니다.
무제한 데이터 보존
로컬 디스크 용량에 종속되지 않고 S3 오브젝트 스토리지를 활용하여 장기간 데이터를 안전하게 보관합니다.
엔터프라이즈 보안 및 KMS
내장형 KMS를 통해 AES-GCM 256비트 봉투 암호화(Envelope Encryption)를 적용하여 보안을 강화했습니다.
데이터 재복제 없는 확장
노드 추가/삭제 시 대규모 데이터 재복제 부하 없이 브로커 노드를 즉시 확장할 수 있습니다.
통합 관리 콘솔 (Admin UI)
실시간 TPS 모니터링, 토픽 관리, IAM 정책 설정 및 통합 로그 브라우저 기능을 제공합니다.
획기적인 인프라 비용 절감
고가의 NVMe/SSD 의존도를 낮추고 S3를 활용하여 기존 Kafka 대비 스토리지 비용을 최대 80% 절감합니다.
주요 활용 사례
대규모 로그 통합
테라바이트급 로그를 저렴한 비용으로 장기 보관하고 실시간으로 조회합니다.
이벤트 기반 마이크로서비스
표준 Kafka API 기반으로 운영 부담 없이 MSA 이벤트를 처리합니다.
실시간 레이크하우스 적재
토픽의 JSON/Avro 메시지를 No-Code 설정만으로 Iceberg 테이블에 Exactly-Once로 실시간 적재하여 즉시 분석에 활용합니다.
데이터 레이크 통합
실시간 이벤트를 S3 데이터 레이크로 직접 축적하고 분석에 활용합니다.
클라우드 마이그레이션
기존 Kafka 인프라를 클라우드 네이티브 환경으로 원활하게 전환합니다.