Background
Ontul

Ontul분산 통합 데이터 엔진

Ontul 주요 기능

배치 처리, 스트림 처리, 인터랙티브 SQL을 하나의 엔진으로 통합한 분산 데이터 엔진의 핵심 기능을 소개합니다.

통합 Arrow 네이티브 엔진

배치, 스트리밍, 인터랙티브 SQL을 하나의 클러스터에서 실행합니다. 모든 데이터를 Apache Arrow 컬럼 포맷으로 처리하고 파일 프루닝과 로우그룹 스킵으로 읽는 양을 줄입니다.

분산 SQL · 페더레이션

조인, 집계, CTE, 윈도 함수 등 표준 SQL을 여러 워커에 분산 실행합니다. Iceberg, JDBC, NeorunBase 등 서로 다른 카탈로그의 테이블을 한 쿼리로 조인합니다.

Iceberg v2 · v3

DML/MERGE, 타임 트래블, 브랜치 · 태그, WAP와 v3 deletion vector를 지원합니다. 컴팩션 · 스냅샷 만료 등 유지관리를 SQL과 CRON 스케줄로 실행합니다.

배치 잡 (Java · Python)

Java와 Python SDK의 Source/Sink API로 배치 잡을 작성합니다. 클라이언트 모드로 대화형 실행하거나 서버 모드로 클러스터에 제출해 실행합니다.

스트리밍 · Ontul Flow

이벤트를 도착 즉시 처리하며 윈도우 집계와 Debezium CDC를 지원합니다. Admin UI에서 파이프라인을 시각적으로 만들고 Iceberg에 exactly-once로 적재합니다.

커넥터 · Lance

JDBC, Kafka, S3 파일, Elasticsearch, NeorunBase, REST 커넥터를 런타임에 등록합니다. Lance 커넥터는 SQL로 벡터 · 풀텍스트 검색과 멀티모달 데이터 저장을 지원합니다.

시맨틱 레이어 · MCP

메트릭과 디멘전을 한 번 정의하면 플래너가 집계와 조인을 서버에서 재작성합니다. 내장 MCP 서버로 AI 에이전트가 인증된 메트릭을 찾아 같은 숫자로 답합니다.

온톨로지 · 액션

오브젝트 · 링크 타입으로 데이터를 업무 개념으로 모델링합니다. 쓰기는 RBAC · 승인 · 감사가 적용되는 액션으로 수행하며 REST와 SQL CALL로 호출합니다.

거버넌스 · 감사 · 리니지

카탈로그 · 테이블 · 컬럼 · 행 수준 IAM 정책과 컬럼 마스킹을 모든 SQL에 적용합니다. 감사 로그와 컬럼 단위 리니지를 자동으로 남기고 S3 Iceberg로 티어링합니다.

보안 (KMS · SSO · STS)

내장 KMS와 AES-256-GCM 봉투 암호화로 저장 데이터와 중간 데이터를 보호합니다. OIDC · SAML 2.0 · LDAP SSO와 STS 임시 자격 증명을 지원합니다.

BI 통합 (Flight SQL)

Arrow Flight SQL JDBC로 Tableau, Power BI, Looker, DBeaver가 라이브로 연결합니다. 시맨틱 뷰는 측정값과 디멘전으로 분류되어 노출됩니다.

고가용성 · 운영

ZooKeeper 기반 다중 마스터로 리더 장애 시 자동 전환합니다. Exchange Manager의 spill · 체크포인트, S3 백업, 쓰기만 닫는 유지보수 모드를 제공합니다.

Agentic AI · Semantic Layer

시맨틱 레이어 — Agentic AI를 위한 단일 진실 공급원

One definition of truth per metric — enforced server-side.

Ontul의 시맨틱 레이어는 매출 · 이익률 같은 메트릭을 한 번 정의해 AI 에이전트, BI 도구, 분석가가 같은 숫자를 보게 합니다. 리트리버는 텍스트나 이미지로 관련 문서를 찾는 멀티모달 검색을 같은 거버넌스로 제공합니다.

핵심 기능

서버 사이드 쿼리 재작성

SELECT revenue FROM sales 한 줄을 플래너가 집계, 조인, GROUP BY로 재작성합니다. 파생 메트릭은 재귀적으로 풀고, 선언한 조인은 참조될 때만 주입합니다.

MCP 기반 메트릭 발견

에이전트는 MCP 도구로 다국어 동의어를 통해 메트릭을 찾고 정의를 읽습니다. 한 번 정의한 메트릭을 모든 에이전트와 BI 도구가 공유합니다.

거버넌스 · 멀티테넌트 필터

메트릭별 역할 제어와 DRAFT → CERTIFIED → DEPRECATED 라이프사이클을 지원합니다. tenant_id = ${user.attr.tenant_id} 같은 강제 필터가 사용자 컨텍스트로 자동 적용됩니다.

리트리버 — 멀티모달 검색

벡터 · 키워드(BM25) · 그래프 검색을 NeorunBase에서 한 번에 실행하는 거버넌스 객체입니다. 호출자의 IAM 속성이 검색에 바인딩되어 사람마다 권한에 맞는 결과를 돌려줍니다.

리랭킹

교차 인코더로 회수된 후보를 관련도 순으로 다시 정렬합니다. 엔드포인트에 장애가 나면 회수 순서로 폴백하고 그 사유를 응답에 남깁니다.

ai_verdict — SQL 안의 판단

결정 모델에 행마다 타입이 정해진 질문을 던지고 선택 · 점수 · 신뢰도를 SQL 값으로 돌려받습니다. 엔드포인트는 별도 IAM 리소스로 통제됩니다.

한 줄로 충분합니다

사용자가 작성하는 SQL
SELECT customer.region, profit_margin
FROM saas.core.sales
WHERE ship_date >= DATE '2024-01-01';
Ontul이 실제로 실행하는 SQL
SELECT customer.region,
       (SUM(amount) - SUM(unit_cost * quantity)) / SUM(amount)
         AS profit_margin
FROM saas.core.sales
LEFT JOIN saas.core.customer customer
  ON sales.customer_id = customer.id
WHERE ship_date >= DATE '2024-01-01'
  AND tenant_id = 'acme-co'           -- 자동 RLS
  AND status = 'COMPLETED'             -- 메트릭별 필터
GROUP BY customer.region;

Agentic AI에 어떤 의미인가

환각 방지

메트릭 공식은 한 번만 정의되어 서버에서 강제됩니다. LLM이 SUM(amount) 대신 AVG(amount)를 잘못 추측해도 — 메트릭 이름만 맞으면 — 항상 옳은 집계가 실행됩니다.

권한 자동 전파

에이전트가 보는 메트릭과 행은 사용자의 IAM 정책이 정확히 결정합니다. 별도의 prompt-level 권한 로직이 필요 없고, 우회도 불가능합니다.

다국어 친화

"매출 어떻게 돼?" 같은 한국어 질문도 동의어 매칭으로 즉시 revenue 메트릭을 찾아냅니다. 비즈니스 용어는 팀마다 다르고, 시맨틱 레이어가 그 격차를 메웁니다.

BI · AI 일관성

Tableau에서 보는 revenue 와 LLM 에이전트가 답하는 revenue 는 같은 SQL로 실행됩니다. 두 채널 간 숫자 불일치가 사라집니다.

활용 사례

통합 데이터 처리

별도의 배치/스트리밍/쿼리 클러스터 없이 하나의 Ontul 클러스터로 모든 데이터 워크로드를 처리합니다.

AI 에이전트 분석

LLM 에이전트가 MCP 도구로 메트릭을 발견하고 자연어 쿼리를 Ontul SQL로 변환합니다. 시맨틱 레이어가 집계·조인·IAM을 자동 처리해 환각 없이 검증된 비즈니스 정의로 답합니다.

실시간 데이터 파이프라인

Kafka에서 데이터를 수집하여 Ontul에서 처리 후 Iceberg 테이블로 적재하는 실시간 ETL 파이프라인을 구축합니다.

데이터 레이크 분석

Iceberg, JDBC 등 다양한 소스에 걸친 페더레이션 쿼리로 통합 분석을 수행합니다.

분석 + RAG를 한 백엔드로

별도의 시맨틱 분석 도구와 벡터·그래프 검색 스택을 따로 운영하지 않고, 메트릭(분석)과 리트리버(멀티모달 검색)를 한 엔진·한 거버넌스로 묶습니다. 에이전트가 한 MCP 세션에서 "숫자"와 "관련 근거"를 함께 가져옵니다.

Ontul 도입을 검토하고 계신가요?

Unified. Arrow-Native. Agentic AI-Ready.

배치, 스트리밍, SQL, 시맨틱 레이어를 하나로 통합한 분산 데이터 엔진으로 BI와 AI 에이전트가 같은 진실로 답하게 하세요.