kiok 주요 기능
워크플로우 오케스트레이션 플랫폼의 핵심 기능을 소개합니다.
코드로 작성하는 DAG
YAML·Python·Java 세 가지 형식으로 워크플로우를 정의하면 모두 단일 DagSpec으로 한 번만 컴파일됩니다. shell·python·http는 물론 Livy(Spark)·Trino·Ontul 오퍼레이터로 외부 엔진 작업까지 그대로 오케스트레이션합니다.
유연한 스케줄링
Cron 스케줄과 수동 트리거, 누락된 주기를 채우는 캐치업을 지원합니다. #{ } 날짜 매크로로 실행 시점마다 날짜가 슬라이딩되어, 한 번 컴파일한 DAG가 매 실행에 맞는 날짜로 동작합니다.
분산 실행 & 페일오버
마스터/워커 클러스터가 워커별 태스크 슬롯으로 작업을 병렬 실행하고, 드라이버 페일오버로 워커 장애 시에도 완료된 태스크를 다시 돌리지 않고 실행을 이어갑니다.
Git 기반 배포 & 커넥션
여러 Git 저장소(프라이빗 포함)에서 DAG를 자동 동기화하거나 에어갭 환경용 번들을 업로드합니다. 자격 증명은 암호화된 커넥션 스토어에 보관하고 ${conn}/${secret} 참조로만 사용해 DAG·git에 노출되지 않습니다.
내장 보안
외부 의존 없는 네이티브 KMS 봉투 암호화로 메타데이터·IAM·커넥션·로그 등 모든 클러스터 상태를 저장 시 암호화하고, AWS IAM 형식 정책으로 DAG 단위 접근까지 제어합니다.
가시성 & 운영
실시간 실행 그래프, 스트리밍 작업 로그, 메트릭, 클러스터 토폴로지를 내장 관리 UI에서 관찰하고, S3 증분 백업/복원으로 프로덕션급 운영을 지원합니다.
활용 사례
데이터 파이프라인 오케스트레이션
Livy(Spark)·Trino·Ontul 오퍼레이터로 ETL/ELT와 분석 작업을 의존성 기반으로 스케줄링·실행합니다.
작업 자동화
확장 가능한 워커 클러스터에서 반복 배치 작업을 안정적으로 자동화합니다.
코드로서의 워크플로우
워크플로우를 git으로 버전 관리하고, push 한 번으로 클러스터에 배포합니다.
안정적인 운영
백업/복원, 리더 페일오버, 암호화된 상태 관리로 프로덕션급 안정성을 제공합니다.