【大阪 / 横浜 / 徳島】インフラ / サーバーサイドエンジニア募集中！

【導入実績 500社以上】AWS 構築・運用保守・監視サービス

【CentOS 後継】AlmaLinux OS サーバー構築・移行サービス

【WordPress 専用】クラウドサーバー『ウェブスピード』

【格安】Webサイトセキュリティ自動診断「クイックスキャナー」

【予約システム開発】EDISONE カスタマイズ開発サービス

【100URLの登録が0円】Webサイト監視サービス『Appmill』

【200ヶ国以上に対応】グローバル eSIM「ビヨンドSIM」

【中国への旅行・出張・駐在なら】中国SIMサービス「チョコSIM」

【グローバル専用サービス】北米・中国でも、ビヨンドのMSP

【YouTube】ビヨンド公式チャンネル「びよまるチャンネル」

Google の超高速なデータウェアハウス「BigQuery」とは？

2016.03.12

1 そもそも BigQuery って？
2 BigQuery が高速な仕組み
- 2.1 カラム構造データストア
- 2.2 ツリーアーキテクチャ
3 気になる料金は？
4 まとめ
5 クラウドのプロに相談したい場合

中国オフィスの大原です。

今回は Google が提供している、フルマネージドのデータウェアハウス「BigQuery」にスポットを当てて記載します。

BigQuery | Google Cloud Platform — Google Cloud Platform

そもそも BigQuery って？

BigQuery とは、Googleが提供するビッグデータ解析サービスで、2012年の Google I/O（Googleが主催する開発者向けのイベント）で公式サービスとして発表されました。

元々は、Google 社内で利用されていた Dremel（ドレメル）というデータ解析用のシステムがあり、それを外部ユーザー向けに改良しサービス利用できるようにした・・・という歴史があります。

日本のシステムベンダーからも、ビッグデータ解析サービスやソフトウェアなど、多くのサービスが提供されていますが、BigQuery では数TB（テラバイト）もしくは数PB（ペタバイト）にも及ぶデータセットに対して、SQL に似たクエリを実行し、たった数秒・数十秒単位で処理をおこない、検索結果を返すというものです。

BigQuery が高速な仕組み

BigQuery が高速なのは、以下2つの仕組みを使っているからです。

カラム構造データストア

従来の RDBS では行単位でデータを保存しており、レコード指向（＝行指向）は、1件のレコード全体を同じストレージに配置します。

しかし、カラム指向（＝列指向）では、1件のレコードをカラムごとに分割して、別々のストレージに配置することで、「トラフィックの最小化」と「高い圧縮率」でのデータ保存が可能となり、クエリ実行時の高速データ参照を実現しています。

○ 従来の RDBS の「レコード＝行指向」
○ BigQuery の「カラム＝列指向」

※ 情報引用元：Dremel: Interactive Analysis of Web-Scale Datasets

ツリーアーキテクチャ

BigQuery ではツリー式で分散処理する構造になっています。

root server はクライアントからクエリを取得し、直下の intermediate servers を経由し、leaf servers がクエリ処理を実行することで、上記のカラム指向で配置したデータを並列処理し、そこで読み取った結果を高速に集約してクエリの結果を出しています。
(5~10億行以上というペタバイトクラスの膨大なデータでも、数秒で結果が出るという情報もあるようです)

○ カラム構造データスト
○ ツリーアーキテクチャ

※ 情報引用元：Dremel: Interactive Analysis of Web-Scale Datasets

上記2点が、BigQuery が高速である理由となります。