DuckDB로 노트북에서 수억 건 데이터 분석하기 2026 임베디드 OLAP 실전

데이터 분석을 하려면 항상 무거운 인프라가 필요하다는 통념이 있었다. 웨어하우스를 띄우고, 클러스터를 프로비저닝하고, 데이터를 업로드하는 과정 자체가 진입 장벽이었다. DuckDB는 이 통념을 깬다. SQLite가 트랜잭션 처리용 임베디드 데이터베이스라면, DuckDB는 분석 처리용 임베디드 데이터베이스다. 별도 서버 없이 라이브러리 하나로 프로세스 안에서 동작하며, 컬럼 기반 저장과 벡터화 실행 엔진으로 노트북에서도 수억 건 데이터를 몇 초 만에 집계한다. 2026년 현재 데이터 엔지니어와 분석가의 필수 도구로 빠르게 확산됐다.

임베디드 OLAP이라는 새로운 범주

전통적인 분석 워크플로는 데이터를 원격 웨어하우스로 옮기는 것에서 시작했다. 하지만 많은 분석 작업은 수 기가바이트에서 수십 기가바이트 규모이고, 이 정도는 사실 현대 노트북의 메모리와 CPU로 충분히 처리할 수 있다. DuckDB는 바로 이 지점을 노린다. 네트워크 왕복 없이 로컬에서 데이터를 직접 다루므로 지연이 없고, 설치와 설정이 사실상 필요 없어 아이디어를 떠올린 즉시 쿼리를 던질 수 있다.

DuckDB가 분석에 강한 이유는 내부 구조에 있다. 데이터를 행 단위가 아니라 컬럼 단위로 저장해, 특정 컬럼만 집계하는 분석 쿼리에서 불필요한 데이터를 읽지 않는다. 또 한 번에 한 행씩 처리하는 대신 수천 개 값을 묶어 벡터 단위로 처리하는 벡터화 실행 방식을 써서 CPU 캐시와 SIMD 명령어를 최대한 활용한다. 여기에 멀티코어 병렬 실행까지 더해져, 같은 하드웨어에서 전통적인 행 기반 데이터베이스보다 분석 쿼리가 훨씬 빠르다.

파케이 파일을 옮기지 않고 직접 쿼리하기

DuckDB의 진짜 매력은 데이터를 미리 적재하지 않고도 다양한 포맷을 직접 쿼리할 수 있다는 점이다. CSV, 파케이(Parquet), JSON 파일은 물론이고, S3 같은 원격 스토리지의 파일도 URL만 지정하면 그 자리에서 읽는다. 데이터를 데이터베이스로 임포트하는 번거로운 단계가 통째로 사라진다.

-- 로컬 파케이 파일을 적재 없이 즉시 집계
SELECT category, COUNT(*) AS cnt, AVG(amount) AS avg_amount
FROM 'data/transactions/*.parquet'
WHERE created_at >= '2026-01-01'
GROUP BY category
ORDER BY cnt DESC
LIMIT 20;

이 쿼리는 여러 파케이 파일을 와일드카드로 한꺼번에 훑으면서 필요한 컬럼만 읽어 집계한다. 파케이가 컬럼 저장 포맷이라 DuckDB의 컬럼 엔진과 궁합이 완벽하고, 파일에 담긴 통계 정보를 활용해 조건에 맞지 않는 데이터 블록은 아예 건너뛴다. 수억 행짜리 데이터셋이라도 필터가 잘 걸리면 실제 읽는 양은 그 일부에 불과하다. 데이터 레이크에 쌓아둔 파케이를 별도 웨어하우스 없이 탐색하는 용도로 특히 강력하다.

데이터프레임 연동과 실무 활용 패턴

파이썬 데이터 분석가에게 DuckDB가 반가운 이유는 판다스나 폴라스 데이터프레임과 매끄럽게 연동되기 때문이다. 메모리에 있는 데이터프레임을 마치 테이블처럼 SQL로 쿼리할 수 있고, 결과를 다시 데이터프레임으로 받을 수 있다. 복잡한 조인이나 집계는 SQL로 간결하게 표현하고, 시각화나 머신러닝은 익숙한 파이썬 도구로 이어가는 하이브리드 워크플로가 자연스럽다.

import duckdb
import pandas as pd

df = pd.read_parquet("orders.parquet")
result = duckdb.sql("""
    SELECT region, SUM(amount) AS total
    FROM df
    GROUP BY region
    ORDER BY total DESC
""").to_df()

실무에서 DuckDB는 여러 역할을 맡는다. 대용량 로그를 빠르게 탐색하는 임시 분석 도구로 쓰이고, ETL 파이프라인에서 변환 단계의 엔진으로 활용되며, dbt 같은 변환 도구의 백엔드로도 인기가 높다. 개발 단계에서 데이터 변환 로직을 로컬에서 빠르게 검증한 뒤 프로덕션 웨어하우스로 옮기는 워크플로에서도 요긴하다. 물론 모든 상황에 만능은 아니다. 여러 사용자가 동시에 접근하는 서비스형 데이터베이스나, 단일 머신 메모리를 크게 넘는 초대형 워크로드에는 분산 웨어하우스가 여전히 적합하다. DuckDB의 가치는 그동안 무거운 인프라가 필요하다고 여겨지던 중간 규모 분석을 노트북 한 대로 끌어내려, 분석의 진입 장벽을 극적으로 낮췄다는 데 있다.

확장 기능과 원격 데이터 활용

DuckDB의 생태계는 확장 기능으로 크게 넓어진다. 설치 시점에는 가벼운 코어만 담기지만, 필요한 기능을 확장으로 불러와 붙일 수 있다. 대표적인 것이 원격 스토리지 접근 확장이다. 이를 활성화하면 S3나 여러 오브젝트 스토리지에 있는 파케이 파일을 로컬 파일처럼 직접 쿼리할 수 있다. 데이터를 내려받아 적재하는 단계 없이, 클라우드에 쌓인 데이터 레이크를 노트북에서 곧바로 탐색하는 경험이 가능해진다. 여기에 전체 텍스트 검색, 공간 데이터 처리, JSON 심화 처리 같은 확장도 준비되어 있어 워크로드에 맞게 조합할 수 있다.

성능을 끌어올리려면 몇 가지 실무 팁을 알아두면 좋다. 첫째, 원격 파케이를 쿼리할 때는 필요한 컬럼만 명시적으로 선택해 네트워크로 전송되는 데이터를 최소화한다. 둘째, 파티션 구조로 정리된 데이터라면 파티션 컬럼을 조건에 넣어 불필요한 파일 읽기를 건너뛴다. 셋째, 반복 사용하는 데이터는 로컬 DuckDB 파일 포맷으로 한 번 저장해두면 이후 쿼리가 훨씬 빨라진다. DuckDB의 네이티브 포맷은 압축과 인덱싱이 최적화되어 있어 대화형 분석에 특히 유리하다.

메모리 관리도 이해해두면 안심이 된다. DuckDB는 메모리에 다 담기지 않는 데이터셋을 만나면 자동으로 디스크로 넘겨 처리하는 아웃오브코어 실행을 지원한다. 덕분에 물리 메모리보다 큰 데이터도 느려질지언정 실패 없이 처리할 수 있다. 다만 최상의 성능을 원한다면 작업 데이터가 메모리에 들어오는 범위 안에서 다루는 것이 좋다. 이런 특성을 이해하고 활용하면, DuckDB는 로컬 탐색부터 클라우드 데이터 레이크 분석, 프로덕션 파이프라인의 변환 엔진까지 폭넓은 역할을 하나의 도구로 감당한다. 무겁지 않으면서도 강력하다는 점이 DuckDB를 현대 데이터 스택의 만능 조커로 만든 이유다.