什么是 Google 的超高速数据仓库“BigQuery”？

我是中国办事处的大原。

这次，我们将重点关注Google提供的完全管理的数据仓库“ BigQuery”。

BigQuery | 谷歌云平台 — 谷歌云平台

BigQuery 到底是什么？

BigQuery是Google提供的一项大数据分析服务，并于2012年在Google I/O（Google主办的开发者活动）上宣布成为官方服务。

最初，有一个名为 Dremel 的数据分析系统在 Google 内部使用，并且有不断改进并提供给外部用户的历史。

日本系统供应商还提供许多服务，包括大数据分析服务和软件，但是BigQuery在数据集上执行类似SQL的查询，这些查询范围从几个TB（TBYTES）或几个PB（PB）（PB）执行，在短短几秒钟或几个秒内执行处理，并返回搜索结果。

BigQuery 有多快

BigQuery 速度很快，因为它使用两种机制：

列结构数据存储

传统的 RDBS 按行存储数据，而面向记录（=面向行）将整个记录存储在同一存储中。

然而，采用列定向（columnorientation），通过将一条记录划分为列并将它们放置在单独的存储中，可以“最小化流量”并以“高压缩比”存储数据，从而可以在查询时实现高速数据引用。执行。

○传统rdbs中的“记录=以行为导向”
，“ column”

*信息来源： DREMEL：网络级数据集的交互式分析

树结构

BigQuery 具有树形分布式处理结构。

根服务器从客户端检索查询，然后让服务器通过执行查询处理，并行将上述列中排列的数据并行执行查询处理，并快速汇总在此处读取的结果以产生查询结果。
（看来，即使是PB级的大量数据（超过5-1亿行），一些信息也显示了仅几秒钟的结果。

○列结构数据文献
○树架构

*信息来源： DREMEL：网络级数据集的交互式分析

以上两个点是BigQuery快速的原因。

您感兴趣的价格是多少？

不过，即使使用 BigQuery，成本仍然是一个问题，所以我简单总结了一下。

自2023年以来，Bigquery的定价结构发生了重大变化，包括两个因素：按需定价和容量定价。这次我们将列出东京地区的价格。

●按需费用= $ 7.5（每头tib）
根据每个查询的字节数量已在BigQuery上处理的每个查询的数量，
最多1 TIB的免费查询数据将收取

●容量费= $ 0.051（用于标准版）
- 查询处理能力（在插槽（虚拟CPU）中）将收取费用。
*价格取决于版本。

有关更多信息，请访问官方的BigQuery定价网站

概括

反正很便宜，为什么不尝试一下呢？ （如果您有Google帐户，则可以立即开始）

▼有关BigQuery服务的更多信息，请单击此处▼
https://cloud.google.com/bigquery/?hl

如果您想咨询云专家

自成立以来，我们的公司Buder（Usher）已将技术发展为多云集成商和托管服务提供商（MSP），并已使用各种云服务器平台（包括AWS，GCP，Azure和Oracle Cloud）设计，构建和迁移它。

我们根据我们要寻找的系统和应用程序的规格和功能为客户提供定制的云服务器环境，因此，如果您对云感兴趣，请随时与我们联系。

● 云/服务器设计/建设
● 云/服务器迁移/迁移
● 云/服务器运维、监控（全年365天、每天24小时）