kiok 주요 기능
워크플로우 오케스트레이션 플랫폼의 핵심 기능을 소개합니다.
코드로 작성하는 DAG
YAML·Python·Java 중 원하는 형식으로 워크플로우를 정의하면 모두 하나의 DagSpec으로 한 번만 컴파일됩니다.
스케줄링 & 날짜 템플릿
Cron 스케줄·수동 트리거·놓친 주기 캐치업을 지원하고, #{ } 날짜 매크로로 매 실행이 자기 구간의 날짜로 동작합니다.
오퍼레이터 & 외부 엔진 연동
shell·python·http 작업과 Livy(Spark)·Trino·Ontul 작업을 하나의 DAG에서 의존성에 따라 오케스트레이션합니다.
분산 실행 & 고가용성
마스터/워커 클러스터가 태스크 슬롯으로 병렬 실행하고, 리더·드라이버 페일오버 시 완료된 태스크를 다시 돌리지 않고 이어갑니다.
Git 동기화 & 번들 배포
여러 Git 저장소(프라이빗 포함)에서 DAG를 자동 동기화하고, 에어갭 환경에서는 번들 업로드로 배포합니다.
커넥션 & 암호화
자격 증명은 암호화된 커넥션 스토어에 두고 ${conn}·${secret} 참조로만 사용하며, 내장 KMS가 모든 클러스터 상태를 암호화합니다.
IAM & 싱글 사인온
AWS IAM 형식 정책으로 DAG 단위 접근을 제어하고, OIDC·SAML 2.0·LDAP/AD로 기존 ID 제공자 인증을 지원합니다.
모니터링 & 로그
관리 UI에서 실행 그래프·타임라인·실시간 작업 로그·메트릭·ZooKeeper를 포함한 클러스터 토폴로지를 확인합니다.
백업·복원 & 유지보수
S3 증분 백업을 cron과 보존 정책으로 운영하고, 유지보수 모드로 복원·점검 중 새 실행 생성을 멈춥니다.
활용 사례
데이터 파이프라인 오케스트레이션
Livy(Spark)·Trino·Ontul 오퍼레이터로 ETL/ELT와 분석 작업을 의존성 기반으로 스케줄링·실행합니다.
작업 자동화
확장 가능한 워커 클러스터에서 반복 배치 작업을 안정적으로 자동화합니다.
코드로서의 워크플로우
워크플로우를 git으로 버전 관리하고, push 한 번으로 클러스터에 배포합니다.
안정적인 운영
백업/복원(cron 스케줄 · 보존 정책), 리더 페일오버, 암호화된 상태 관리로 프로덕션급 안정성을 제공합니다.