PostgreSQL의 네이티브 파티셔닝 및 인덱싱 대비 TimescaleDB의 시계열 데이터 장점

소개

데이터의 폭발적인 증가와 함께 IoT 분석, 금융 거래, 시스템 모니터링, 스마트 시티 인프라에 이르기까지 시계열 데이터는 어디에나 존재하게 되었습니다. 끊임없이 생성되는 타임스탬프가 지정된 이벤트 스트림을 효율적으로 저장하고 쿼리하는 것은 데이터베이스 시스템에 상당한 과제를 안겨줍니다. 많은 경우, 강력하고 다재다능한 관계형 데이터베이스인 PostgreSQL이 선택됩니다. 그러나 시계열 워크로드의 요구 사항에 직면했을 때, 보편적인 질문이 떠오릅니다: PostgreSQL 기반의 오픈 소스 확장 기능인 TimescaleDB가 시계열 데이터를 위해 PostgreSQL 자체의 파티셔닝 및 인덱싱 기능을 활용하는 것보다 진정으로 우수할까요? 이 글은 이 질문을 깊이 파고들어, 포괄적인 답변을 제공하기 위해 기본 메커니즘과 실제적 적용 사례를 탐구합니다.

핵심 개념 설명

비교에 앞서, 관련된 핵심 개념에 대한 공통된 이해를 확립해 봅시다:

• 시계열 데이터: 시간으로 인덱싱된 데이터 포인트로, 일반적으로 일정한 간격으로 순차적으로 기록됩니다. 센서 판독값, 주가, 애플리케이션 로그 등이 그 예입니다.
• 파티셔닝: 대규모 테이블을 파티션이라는 더 작고 관리하기 쉬운 조각으로 분할하는 데이터베이스 기술입니다. PostgreSQL에서는 범위(예: 날짜 또는 시간별) 또는 목록을 기반으로 선언적 파티셔닝을 사용하여 수행되는 경우가 많습니다. 이를 통해 데이터베이스는 관련 파티션만 스캔할 수 있어 쿼리 성능이 향상되고 유지 관리 작업이 간소화됩니다.
• 인덱싱: 데이터베이스 테이블의 데이터 검색 속도를 향상시키는 데이터 구조입니다. 시계열 데이터에서는 특정 시간 범위 내의 데이터를 빠르게 찾기 위해 타임스탬프 열에 B-트리 인덱스가 일반적으로 사용됩니다.
• TimescaleDB: PostgreSQL을 확장하여 확장 가능하고 고성능 시계열 데이터베이스로 변환하는 오픈 소스 확장 기능입니다. 이는 테이블("hypertables"라고 함)을 시간 및 선택적 공간 차원으로 자동 파티셔닝하고 시계열 워크로드에 특화된 최적화를 통해 이를 달성합니다.
• Hypertables: TimescaleDB의 중심 추상화입니다. Hypertable은 일반 테이블처럼 보이지만, 실제로는 TimescaleDB가 자동으로 관리하는 "chunks"라는 많은 개별 테이블의 집합입니다.

TimescaleDB의 시계열 데이터 장점

TimescaleDB의 기본 원칙은 자동 파티셔닝 메커니즘을 중심으로 구축됩니다. 네이티브 PostgreSQL은 선언적 파티셔닝을 허용하지만, TimescaleDB는 이 개념을 훨씬 더 발전시켜 시계열 데이터에 맞게 특별히 최적화합니다.

자동 파티셔닝 및 Chunking:

TimescaleDB에서는 hypertable을 생성하면 시간(및 선택적으로 다른 차원)을 기반으로 데이터를 "chunks"로 자동 파티셔닝합니다. 이는 데이터가 무한정 증가함에 따라 번거로워질 수 있는 파티션 범위를 수동으로 정의하고 관리해야 하는 네이티브 PostgreSQL과 대조됩니다.

타임스탬프와 장치 ID를 가진 센서 데이터 테이블 sensor_readings를 생각해 봅시다:

-- 네이티브 PostgreSQL 파티셔닝
CREATE TABLE sensor_readings_parent (
    time TIMESTAMPTZ NOT NULL,
    device_id INT NOT NULL,
    temperature DOUBLE PRECISION
) PARTITION BY RANGE (time);

CREATE TABLE sensor_readings_2023_q1 PARTITION OF sensor_readings_parent
    FOR VALUES FROM ('2023-01-01 00:00:00+00') TO ('2023-04-01 00:00:00+00');

-- ... 분기별로 계속

TimescaleDB를 사용하면 프로세스가 훨씬 간단해집니다:

-- TimescaleDB hypertable
CREATE TABLE sensor_readings (
    time TIMESTAMPTZ NOT NULL,
    device_id INT NOT NULL,
    temperature DOUBLE PRECISION
);

SELECT create_hypertable('sensor_readings', 'time');

TimescaleDB는 구성에 따라 시간 기반 간격(예: 일별, 주별 또는 월별)으로 데이터를 분할하여 자동으로 청크를 생성하고 관리합니다. 이러한 자동화는 운영 오버헤드를 크게 줄여줍니다.

최적화된 인덱싱 및 쿼리 성능:

TimescaleDB는 시계열 쿼리에 맞게 인덱싱을 최적화합니다. 데이터가 파티셔닝되면 각 청크에 인덱스가 생성됩니다. TimescaleDB의 쿼리 플래너는 이러한 청크를 인지하고 관련 없는 청크를 효율적으로 제거할 수 있어, 특히 시간 범위 쿼리에서 상당한 성능 향상을 가져옵니다.

또한 TimescaleDB는 연속 집계 및 다운샘플링 정책과 같은 고급 기능을 제공합니다. 연속 집계는 점진적으로 업데이트되는 구체화된 뷰로, 모든 것을 다시 처리하지 않고도 과거 데이터의 실시간 집계를 허용합니다.

-- TimescaleDB에서 연속 집계의 예
CREATE MATERIALIZED VIEW daily_avg_temp
WITH (timescaledb.continuous = true) AS
SELECT
    time_bucket('1 day', time) AS bucket,
    device_id,
    AVG(temperature) AS avg_temp
FROM sensor_readings
GROUP BY 1, 2;

-- 이 뷰는 새 데이터가 도착함에 따라 자동으로 업데이트되어
-- 일일 평균에 대한 빠른 쿼리를 제공합니다.

이는 네이티브 PostgreSQL과 근본적으로 다르며, 복잡한 트리거 또는 예약된 작업을 통해 집계된 데이터를 최신 상태로 유지해야 하는 유사한 메커니즘을 수동으로 구현해야 합니다.

압축:

TimescaleDB의 뛰어난 기능 중 하나는 과거 데이터에 대한 열 지향 압축입니다. 시계열 데이터는 종종 반복적인 패턴이나 단조롭게 증가하는 값을 포함하므로, 특수 압축 알고리즘을 사용한 열 저장소를 사용하면 디스크 공간 사용량을 대폭 줄이고 분석 쿼리의 쿼리 성능을 개선할 수 있습니다.

-- hypertable에서 압축 활성화
ALTER TABLE sensor_readings SET (timescaledb.compress, timescaledb.compress_segmentby='device_id');
SELECT add_compression_policy('sensor_readings', INTERVAL '7 days');

이 정책은 TimescaleDB에 7일보다 오래된 청크를 압축하고 device_id별로 압축된 데이터를 세그먼트화하도록 지시합니다. 네이티브 PostgreSQL은 테이블 데이터에 대한 통합 열 지향 압축을 제공하지 않습니다. 타사 도구를 사용하거나 사용자 지정 솔루션을 구현할 수는 있지만, TimescaleDB가 제공하는 간편한 통합 방식으로는 불가능합니다.

데이터 보존 정책:

TimescaleDB를 사용하면 오래된 데이터를 자동으로 삭제하는 정책을 정의할 수 있으며, 이는 시계열 데이터 세트의 무제한 성장을 관리하는 데 중요합니다.

-- 30일보다 오래된 데이터를 삭제하는 보존 정책 추가
SELECT add_retention_policy('sensor_readings', INTERVAL '30 days');

이 자동화된 정리는 대규모 파티션 테이블에 대한 리소스 집약적이고 오류가 발생하기 쉬운 네이티브 PostgreSQL에서의 수동 데이터 삭제 관리보다 중요한 이점입니다.

확장성 및 수평 샤딩:

네이티브 PostgreSQL은 수직 확장(더 많은 CPU, RAM, 스토리지)이 가능한 반면, TimescaleDB는 멀티 노드 기능을 통해 수평 확장을 제공합니다(이는 엔터프라이즈 기능). 이를 통해 여러 PostgreSQL 인스턴션에 걸쳐 데이터를 분산하고 쿼리를 실행할 수 있어, 진정한 대규모 시계열 배포의 요구 사항을 충족할 수 있습니다.

결론

네이티브 PostgreSQL의 파티셔닝 및 인덱싱 기능은 시계열 데이터를 관리하기 위한 견고한 기반을 제공하지만, 확장 기능인 TimescaleDB는 이러한 기능을 훨씬 뛰어넘습니다. 중요한 운영 작업을 자동화하고, 쿼리 성능을 최적화하며, 시계열 워크로드에 맞춤화된 압축 및 연속 집계와 같은 고급 기능을 제공합니다. 증가하는 시계열 데이터 양과 복잡한 분석 요구 사항을 가진 애플리케이션의 경우, TimescaleDB는 의심할 여지 없이 PostgreSQL 자체 기능에만 의존하는 것보다 더 강력하고 확장 가능하며 운영 효율적인 솔루션을 제공합니다.