이 페이지에서는 Dataflow의 가격 책정을 설명합니다. 다른 제품의 가격을 확인하려면 가격 책정 문서를 참조하세요.
3년 약정으로 40% 를 절감하거나 1년 약정으로 20% 를 절감하는 방법을 알아보려면 약정 사용 할인 (CUD) 페이지를 검토하세요.
작업에 사용된 리소스 비용이 Dataflow 사용량으로 청구됩니다. 사용하는 가격 책정 모델에 따라 리소스가 다르게 측정되고 청구됩니다.
| 데이터 컴퓨팅 단위 (DCU) (일괄 및 스트리밍) |
데이터 컴퓨팅 단위 (DCU)
(일괄 및 스트리밍)
모든 작업에 대해 요금이 청구되는 다른 Dataflow 리소스에는 Persistent Disk, GPU, 스냅샷이 포함됩니다.
다른 서비스의 리소스가 Dataflow 작업에 사용될 수 있습니다. Dataflow와 함께 사용되는 서비스에는 BigQuery, Pub/Sub, Cloud Storage, Cloud Logging 등이 포함될 수 있습니다.
가격의 요율은 시간 단위를 사용하지만 Dataflow 사용 요금은 작업마다 초 단위로 청구됩니다. 초당 사용량에 시간당 요금을 적용하기 위해 사용량은 시간 단위로 표기됩니다. 예를 들어 30분은 0.5시간입니다. 다음 섹션에 설명된 대로 작업자 및 작업이 리소스를 사용할 수 있습니다.
Dataflow의 향후 출시 버전에서는 다른 서비스 요금이 책정되거나 관련 서비스가 번들로 제공될 수도 있습니다.
컴퓨팅 리소스에 대한 Dataflow 청구에는 다음 구성요소가 포함됩니다.
사용 가능한 리전 및 영역에 대한 자세한 내용은 Compute Engine 리전 및 영역 페이지를 참조하세요.
각 Dataflow 작업은 Dataflow 작업자를 1개 이상 사용합니다. Dataflow 서비스에서는 일괄 및 스트리밍 작업자 유형을 제공합니다. 일괄 및 스트리밍 작업자에는 각기 다른 서비스 요금이 책정됩니다.
Dataflow 작업자는 다음 리소스를 사용하며 각 리소스는 초 단위로 요금이 청구됩니다.
일괄 및 스트리밍 작업자는 Compute Engine을 사용하는 특수한 리소스입니다. 하지만 Dataflow 작업은 Dataflow 서비스로 관리하는 Compute Engine 리소스에 대한 Compute Engine 청구서를 발행하지 않습니다. 그 대신 Dataflow 서비스 요금에 이러한 Compute Engine 리소스 사용 요금이 포함됩니다.
작업의 기본 작업자 수를 재정의할 수 있습니다. 자동 확장을 사용하는 경우 작업에 할당되는 최대 작업자 수를 지정할 수 있습니다. 자동 확장이 작동하면 작업자와 그에 따른 리소스가 자동으로 추가 및 삭제됩니다.
또한 파이프라인 옵션을 사용하여 각 작업자에 할당되는 기본 리소스 설정(머신 유형, 디스크 유형, 디스크 크기)을 재정의하고 GPU를 사용할 수 있습니다.
Dataflow에는 일괄 처리용 CPU 및 메모리를 할인된 가격으로 제공하는 옵션도 있습니다. Flexible Resource Scheduling (FlexRS)을 사용하면 일반 및 선점형 VM이 단일 Dataflow 작업자 풀에 결합되어 사용자에게 처리 리소스를 더욱 저렴하게 제공할 수 있습니다. 또한 FlexRS는 일괄 Dataflow 작업의 실행을 6시간 내에서 지연시켜 사용 가능한 리소스를 바탕으로 작업을 시작하기에 가장 좋은 시점을 식별합니다.
Dataflow에서 작업자 조합을 사용해 FlexRS 작업을 실행하지만 작업자 유형에 상관없이 일반 Dataflow 가격에 비해 CPU 및 메모리 비용이 약 40% 할인된 일정한 요금이 청구됩니다. FlexRS 파라미터를 지정하여 자동 확장된 일괄 파이프라인에 FlexRS를 사용하도록 Dataflow에 지시할 수 있습니다.
일괄 파이프라인의 경우 Dataflow는 작업자 외부에서 데이터를 셔플하는 확장성이 뛰어난 Dataflow Shuffle 기능을 제공합니다. 자세한 내용은 Dataflow Shuffle을 참조하세요.
Dataflow Shuffle 비용은 셔플 중에 처리된 데이터의 양에 따라 부과됩니다.
스트리밍 파이프라인의 경우 Dataflow Streaming Engine은 스트리밍 셔플 및 상태 처리를 작업자 VM에서 Dataflow 서비스 백엔드로 이동합니다. 자세한 내용은 Streaming Engine을 참조하세요.
리소스 기반 결제를 사용하면 Streaming Engine 리소스는 Streaming Engine 컴퓨팅 단위로 측정됩니다. Dataflow는 각 작업에서 사용하는 Streaming Engine 리소스를 측정하고 해당 작업에서 사용한 총 리소스를 기준으로 요금을 청구합니다. 작업에 리소스 기반 결제를 사용 설정하려면 리소스 기반 결제 사용을 참고하세요. 리소스 기반 결제를 사용하면 기존 할인이 자동으로 적용됩니다.
리소스 기반 결제로 Dataflow Prime을 사용하는 경우 각 작업에서 사용하는 총 리소스를 기준으로 요금이 청구되지만 Streaming Engine 컴퓨팅 단위 SKU 대신 데이터 컴퓨팅 단위 (DCU) SKU가 사용됩니다.
Dataflow는 기존의 데이터 처리 청구를 계속 지원합니다. 리소스 기반 결제를 사용 설정하지 않으면 데이터 처리 결제를 사용하여 작업에 요금이 청구됩니다.
Streaming Engine 데이터 처리 요금은 처리된 스트리밍 데이터의 양에 따라 사용량을 측정하며, 이는 다음 요인에 따라 달라집니다.
처리된 바이트로 계산되는 항목의 예는 다음과 같습니다.
Dataflow 컴퓨팅 리소스 가격 책정 - 일괄
다음 표에는 Batch에 대해 처리된 작업자 리소스 및 셔플 데이터의 가격 책정 세부정보가 포함되어 있습니다.
작업 유형 | 기본값 (USD) |
---|---|
CPU | US$0.056 / 1 hour |
메모리 | US$0.003557 / 1 gibibyte hour |
셔플 중에 처리된 데이터 | US$0.011 / 1 gibibyte |
일괄 작업자 기본값: Dataflow Shuffle을 사용하지 않는 경우 vCPU 1개, 메모리 3.75GB, Persistent Disk 250GB, Dataflow Shuffle을 사용하는 경우 Persistent Disk 25GB
Dataflow 컴퓨팅 리소스 가격 책정 - FlexRS
다음 표에는 FlexRS 작업에 대해 처리된 작업자 리소스 및 셔플 데이터의 가격 책정 세부정보가 나와 있습니다.
리소스 | 기본값 (USD) |
---|---|
CPU | US$0.0336 / 1 hour |
메모리 | US$0.0021342 / 1 gibibyte hour |
셔플 중에 처리된 데이터 | US$0.011 / 1 gibibyte |
FlexRS 작업자 기본값: vCPU 2개, 메모리 7.50GB, 작업자당 Persistent Disk 25GB, 최소 작업자 2개
다음 표에는 작업자 리소스, Streaming Engine 처리 데이터 (기존), 스트리밍 작업의 Streaming Engine 컴퓨팅 단위에 대한 가격 책정 세부정보가 나와 있습니다.
리소스 | Default* (USD) | 1년 약정 (USD) | 3년 약정 (USD) |
---|---|---|---|
CPU | US$0.069 / 1 hour | US$0.0552 / 1 hour | US$0.0414 / 1 hour |
메모리 | US$0.003557 / 1 gibibyte hour | US$0.0028456 / 1 gibibyte hour | US$0.0021342 / 1 gibibyte hour |
셔플 중에 처리된 데이터 | US$0.018 / 1 gibibyte | US$0.0144 / 1 gibibyte | US$0.0108 / 1 gibibyte |
Streaming Engine | US$0.089 / 1 count | US$0.0712 / 1 count | US$0.0534 / 1 count |
USD 외의 통화로 지불하는 경우 Cloud Platform SKU에 해당 통화로 표기된 가격이 적용됩니다.
3스트리밍 작업자 기본값: Streaming Engine을 사용하지 않는 경우 vCPU 4개, 메모리 15GB, Persistent Disk 400GB, Streaming Engine을 사용하는 경우 Persistent Disk 30GB Dataflow 서비스는 현재 스트리밍 작업을 실행할 때 15개의 작업자 인스턴스당 영구 디스크로 제한됩니다. 작업자와 디스크 간 1:1 비율이 최소 리소스 할당입니다.
4Dataflow Shuffle 가격은 데이터 세트를 셔플하는 동안 읽기 및 쓰기 작업 중에 처리된 데이터의 양에 적용되는 볼륨 조정을 기준으로 책정됩니다. 자세한 내용은 Dataflow Shuffle 가격 책정 세부정보를 참조하세요. Dataflow Shuffle 가격 책정은 리소스 기반 결제를 사용하는 Streaming Engine 작업에는 적용되지 않습니다.
5Streaming Engine 컴퓨팅 단위: Streaming Engine과 리소스 기반 결제 모델을 사용하는 스트리밍 작업에 사용됩니다. 이러한 작업은 셔플 중에 처리된 데이터에 대해 요금이 청구되지 않습니다.
Dataflow Shuffle 작업 중에 처리된 총 데이터 양에 적용되는 볼륨 조정을 거친 Dataflow 작업을 기준으로 요금이 청구됩니다. Dataflow Shuffle 처리된 데이터의 실제 청구서에서는 Dataflow 작업에서 처리된 데이터보다 적은 양의 데이터에 대한 정상가가 청구됩니다. 이러한 차이로 인해 처리된 청구 가능한 셔플 데이터 측정항목이 처리된 총 셔플 데이터 측정항목보다 작습니다.
다음 표에서는 조정이 적용되는 방식을 설명합니다.
처리된 Dataflow Shuffle 데이터 | 결제 조정 |
---|---|
처음 250GiB | 75% 절감 |
이후 4,870GiB | 50% 절감 |
5,120GiB (5TiB)를 초과하는 나머지 데이터 | 없음 |
예를 들어 파이프라인에서 처리된 Dataflow Shuffle 데이터가 총 1,024GiB (1TiB)인 경우 청구 가능 금액이 다음과 같이 계산됩니다.
250GB * 25% + 774GB * 50% = 449.5GB * 리전 Dataflow Shuffle 데이터 처리 속도
파이프라인에서 처리된 Dataflow Shuffle 데이터가 총 10, 240GiB (10TiB)인 경우 청구 가능 금액은 다음과 같습니다.
250GiB * 25% + 4,870GiB * 50% + 5,120GiB = 7,617.5GiB
Dataflow Prime은 Dataflow를 기반으로 구축된 데이터 처리 플랫폼으로, 리소스 사용률과 분산 진단을 개선합니다.
Dataflow Prime 작업에서 사용되는 컴퓨팅 리소스는 데이터 컴퓨팅 단위 (DCU) 수에 따라 가격이 책정됩니다. DCU는 파이프라인 실행에 할당된 컴퓨팅 리소스를 나타냅니다.Persistent Disk, GPU, 스냅샷과 같이 Dataflow Prime 작업에서 사용하는 다른 Dataflow 리소스는 별도로 청구됩니다.
사용 가능한 리전 및 영역에 대한 자세한 내용은 Compute Engine 리전 및 영역 페이지를 참조하세요.
데이터 컴퓨팅 단위 (DCU)는 작업에서 사용하는 컴퓨팅 리소스의 양을 추적하는 Dataflow 사용량 측정 단위입니다. DCU로 추적되는 리소스에는 vCPU, 메모리, 처리된 Dataflow Shuffle 데이터 (일괄 작업의 경우), 처리된 Streaming Engine 데이터 (스트리밍 작업의 경우)가 포함됩니다. 더 많은 리소스를 사용하는 작업은 더 적은 리소스를 사용하는 작업에 비해 DCU 사용량이 더 많습니다. 1개의 DCU는 1 vCPU 4GB 작업자에서 1시간 동안 실행되는 Dataflow 작업에서 사용하는 리소스와 유사합니다.
작업에서 소비한 총 DCU 수에 대해 요금이 청구됩니다. 단일 DCU의 가격은 일괄 작업 또는 스트리밍 작업 여부에 따라 달라집니다. 리소스 기반 결제로 Dataflow Prime을 사용하면 처리된 바이트 대신 사용된 총 리소스를 기준으로 요금이 청구됩니다.
작업 유형 | Default* (USD) | 1년 약정 (USD) | 3년 약정 (USD) |
---|---|---|---|
일괄 | US$0.06 / 1 count | 해당 사항 없음 | 해당 사항 없음 |
스트리밍 | US$0.089 / 1 count | US$0.0712 / 1 count | US$0.0534 / 1 count |
USD 외의 통화로 지불하는 경우 Cloud Platform SKU에 해당 통화로 표기된 가격이 적용됩니다.
작업의 DCU 수는 설정할 수 없습니다. DCU는 Dataflow Prime에서 계산됩니다. 그러나 작업의 다음 측면을 관리하여 사용되는 DCU 수를 줄일 수 있습니다.
이러한 최적화를 식별하려면 Dataflow 모니터링 인터페이스 및 실행 세부정보 인터페이스를 사용하면 됩니다.
Dataflow에서는 vCPU, 메모리, Persistent Disk, Dataflow Shuffle 또는 Streaming Engine에서 처리되는 데이터의 양 등 작업에 사용되는 각기 다른 리소스에 대해 요금이 청구됩니다.
데이터 컴퓨팅 단위는 스토리지를 제외한 모든 리소스를 단일 측정 단위로 통합합니다. Persistent Disk 리소스와 작업 유형(일괄 또는 스트리밍)에 따라 소비되는 DCU 수에 대한 요금이 청구됩니다. 자세한 내용은 Dataflow Prime 사용을 참조하세요.
기존의 일괄 및 스트리밍 작업은 계속해서 Dataflow 모델로 요금이 청구됩니다. Dataflow Prime을 사용하도록 작업을 업데이트하면 작업은 Dataflow Prime 가격 책정 모델을 사용하게 되며, 이 모델에서는 영구 디스크 리소스와 사용된 DCU에 대한 요금이 청구됩니다.
스토리지, GPU, 스냅샷 및 기타 리소스는 Dataflow와 Dataflow Prime 모두 동일한 방식으로 청구됩니다.
스토리지 리소스는 스트리밍, 일괄, FlexRS 작업에 대해 동일한 요금이 청구됩니다. 파이프라인 옵션을 사용하여 기본 디스크 크기 또는 디스크 유형을 변경할 수 있습니다. Dataflow Prime은 다음 표의 가격 책정을 기준으로 영구 디스크에 대한 요금을 별도로 청구합니다.
항목 | 기본값 (USD) |
---|---|
스토리지 - 표준 영구 디스크 | US$0.000054 / 1 gibibyte hour |
스토리지 - SSD 영구 디스크 | US$0.000298 / 1 gibibyte hour |
USD 외의 통화로 지불하는 경우 Cloud Platform SKU에 해당 통화로 표기된 가격이 적용됩니다.
Dataflow 서비스는 현재 스트리밍 작업을 실행할 때 15개의 작업자 인스턴스당 영구 디스크로 제한됩니다. 각 영구 디스크는 개별 Compute Engine 가상 머신에 대해 로컬입니다. 작업자와 디스크 간 1:1 비율이 최소 리소스 할당입니다.
Streaming Engine을 사용하는 작업은 30GB 부팅 디스크를 사용합니다. Dataflow Shuffle을 사용하는 작업은 25GB 부팅 디스크를 사용합니다. 이러한 서비스를 사용하지 않는 작업의 경우 각 영구 디스크의 기본 크기는 일괄 처리 모드에서 250GB, 스트리밍 모드에서 400GB입니다.
Compute Engine 사용량은 평균 작업자 수를 기준으로 하며, Persistent Disk 사용량은 --maxNumWorkers의 정확한 수를 기준으로 합니다. 영구 디스크는 각 작업자에게 동일한 수의 연결된 디스크가 할당되도록 재분배됩니다.
GPU 리소스는 스트리밍 작업과 일괄 작업에 대해 동일한 요금이 청구됩니다. FlexRS는 현재 GPU를 지원하지 않습니다. GPU를 사용할 수 있는 리전과 영역에 대한 자세한 내용은 Compute Engine 문서의 GPU 리전 및 영역 가용성을 참조하세요.
항목 | 기본값 (USD) |
---|---|
NVIDIA® Tesla® P100 GPU | US$1.752 / 1 hour |
NVIDIA® Tesla® V100 GPU | US$2.976 / 1 hour |
NVIDIA® Tesla® T4 GPU | US$0.42 / 1 hour |
NVIDIA® Tesla® P4 GPU | US$0.72 / 1 hour |
NVIDIA® Tesla® L4 GPU | US$0.672048 / 1 hour |
NVIDIA® Tesla® A100 (40 GB) GPU | US$3.72 / 1 hour |
NVIDIA® Tesla® A100 (80 GB) GPU | US$4.713696 / 1 hour |
USD 외의 통화로 지불하는 경우 Cloud Platform SKU에 해당 통화로 표기된 가격이 적용됩니다.
스트리밍 파이프라인의 안정성을 관리하는 데 도움이 되도록 스냅샷을 사용하면 파이프라인 상태를 저장하고 복원할 수 있습니다. 스냅샷 사용 요금은 저장된 데이터 볼륨에 따라 청구되며, 이는 다음 요소에 따라 달라집니다.
Dataflow 콘솔 또는 Google Cloud CLI를 사용하여 스트리밍 작업의 스냅샷을 만들 수 있습니다. 스냅샷에서 작업을 만들어 파이프라인의 상태를 복원하는 데는 추가 비용이 들지 않습니다. 자세한 내용은 Dataflow 스냅샷 사용을 참조하세요.
항목 | 기본값 (USD) |
---|---|
스토리지 | US$0.000205479 / 1 gibibyte hour |
USD 외의 통화로 지불하는 경우 Cloud Platform SKU에 해당 통화로 표기된 가격이 적용됩니다.
Dataflow용 컨피덴셜 VM은 작업자 Compute Engine VM에서 사용 중인 데이터를 암호화합니다. 자세한 내용은 컨피덴셜 VM 개요를 참조하세요.
Dataflow에 컨피덴셜 VM을 사용하면 vCPU당 및 GB당 추가 고정 비용이 발생합니다.
가격은 전역적이며 Google Cloud 리전에 따라 변경되지 않습니다.
항목 | 기본값 (USD) |
---|---|
CPU | US$0.005479 / 1 hour |
메모리 | US$0.0007342 / 1 gibibyte hour |
작업 시 Dataflow 사용량 외에도 다음을 포함한 여러 리소스를 소비 할 수 있습니다. 이 경우 리소스 자체 가격에 따라 비용이 청구됩니다.
작업과 관련된 총 vCPU, 메모리, 영구 디스크 리소스는 리소스 측정항목 아래의 작업 정보 패널에서 확인할 수 있습니다. Dataflow Monitoring 인터페이스에서 다음 측정항목을 추적할 수 있습니다.
총 셔플 데이터 처리량 측정항목을 사용하여 파이프라인의 성능을 평가하고, 청구 가능한 셔플 데이터 처리량 측정항목을 사용하여 Dataflow 작업의 비용을 확인할 수 있습니다.
Dataflow Prime의 경우 리소스 측정항목 아래의 작업 정보 패널에서 작업에서 사용한 총 DCU 수를 확인할 수 있습니다.
Google Cloud 가격 계산기를 사용하면 청구액이 어떻게 계산되는지 이해하는 데 도움이 됩니다.
USD 외의 통화로 지불하는 경우 Cloud Platform SKU에 해당 통화로 표기된 가격이 적용됩니다.