『 DWH の選択』が分析基盤の運用工数を決める
データ分析基盤の中核となる DWH は、料金体系・性能・運用が大きく違います。本記事では編集部の視点で、主要3製品の比較を公開情報をもとに整理します。dbt 実践 もご参考に。
主要 DWH の特徴
(1) Snowflake：マルチクラウド・ストレージとコンピュート分離。(2) BigQuery：Google Cloud ・サーバーレス・課金は処理量。(3) Redshift：AWS・伝統的・RA3 で性能向上。(4) Databricks SQL：Spark ベース・ML 統合。(5) ClickHouse：超高速・OSS・カラム型。
料金体系の違い
(1) Snowflake：ウェアハウス稼働時間+ストレージ。(2) BigQuery：処理データ量+ストレージ(または定額)。(3) Redshift：ノード単位+ストレージ。(4) 判断軸：使用パターンで安価が異なる。(5) BigQuery flat rate：大規模で有効。料金は最新の公式情報をご確認ください。
Snowflake の強み
(1) ストレージとコンピュート分離：個別スケール。(2) Time Travel：過去データの復元。(3) Zero-copy clone：開発環境瞬時作成。(4) マルチクラウド対応：AWS/GCP/Azure。(5) SQL 互換性：移行容易。
BigQuery の強み
(1) 完全サーバーレス：管理不要。(2) BI Engine：高速ダッシュボード。(3) BigQuery ML：SQL で機械学習。(4) 無料枠：月10TB クエリ無料(公開情報をもとに)。(5) Google エコシステムと統合。
Redshift の強み
(1) AWS 内一体運用。(2) RA3 インスタンス：マネージドストレージ。(3) Redshift Spectrum：S3 直接クエリ。(4) 料金予測しやすい：定額ノード。(5) 従来の Redshift エンジニア多数。
選択の判断軸
(1) AWS 環境主流なら Redshift。(2) GCP 環境主流なら BigQuery。(3) マルチクラウドなら Snowflake。(4> サーバーレス志向なら BigQuery。(5) 機能豊富/開発体験なら Snowflake。
運用上の注意点
(1) コスト監視：暴走クエリで請求爆発。(2) パーティショニング：効率化必須。(3) クラスタリング：性能改善。(4) 権限管理：IAM/RBAC。(5) 監査：誰がいつ何を見たか。Observability 実践 もご参考に。
失敗しがちなパターン
(1) SELECT * 多用：BigQuery でコスト爆発。(2) ウェアハウス常時起動：Snowflake で過剰課金。(3) partition なし：全データスキャン。(4) 権限の野放し：個人情報漏洩リスク。(5) 監視なし：問題に気付かない。対策は、(1)必要列のみ、(2)auto-suspend、(3)partition設計、(4)Column-level Security、(5)コストアラート、です。