什么是 Google 的超高速数据仓库“BigQuery”？

我是技术销售部门的大原。

这次，我们将重点关注 BigQuery，这是 Google 提供的完全托管的数据仓库。

BigQuery | 谷歌云平台 — 谷歌云平台

BigQuery 到底是什么？

BigQuery是Google提供的一项大数据分析服务，并于2012年在Google I/O（Google主办的开发者活动）上宣布成为官方服务。

最初，有一个名为 Dremel 的数据分析系统在 Google 内部使用，并且有不断改进并提供给外部用户的历史。

日本系统供应商还提供许多服务，例如大数据分析服务和软件，但
BigQuery 可以使用类似 SQL 的方法处理数 TB（太字节）或 PB（拍字节）的数据集，它执行查询，在几秒或几秒内执行处理。几十秒，返回搜索结果。

---

BigQuery 有多快

BigQuery 速度很快，因为它使用两种机制：

列结构数据存储

传统的 RDBS 按行存储数据，而面向记录（=面向行）将整个记录存储在同一存储中。

然而，采用列定向（columnorientation），通过将一条记录划分为列并将它们放置在单独的存储中，可以“最小化流量”并以“高压缩比”存储数据，从而可以在查询时实现高速数据引用。执行。

* 左图：传统 RDBS“记录 = 面向行”
* 右图：BigQuery“列 = 面向列”
图片来源： Dremel：Web 规模数据集的交互式分析

树结构

BigQuery 具有树形分布式处理结构。

根服务器从客户端获取查询，将它们传递给直接位于其下的中间服务器，叶服务器并行处理查询，处理按上述面向列的方式排列的数据，并快速聚合读取的结果并输出。查询的结果。

图片来源： Dremel：网络规模数据集的交互式分析

• 列结构数据存储
• 树结构

以上两点就是BigQuery速度快的原因。

*似乎还有信息表明，即使是 500 至 1 亿行或更多的 PB 级巨量数据，也可以在几秒钟内获得结果。

---

您感兴趣的价格是多少？

不过，即使使用 BigQuery，成本仍然是一个问题，所以我简单总结了一下。

● 存储容量 = 0.020 美元/GB/月
- BigQuery 中存储的数据容量
* 即使有 1 TB 数据，“20 美元 = 约 2,000 日元/月”

● 查询处理能力 = $5 / TB
・执行查询时扫描的数据量
*查询数据处理每月最多 1 TB 免费

● 流式插入= $0.01 / 200MB
・这是用于实时数据收集的API，根据插入表中的数据量付费。

概括

反正很便宜，为什么不尝试一下呢？ （如果您有Google帐户，则可以立即开始）

■ 有关 BigQuery 服务的详细信息 ▼ [单击此处] ▼
https://cloud.google.com/bigquery/?hl=ja