谷歌的超高速数据仓库 BigQuery 是什么?

这是中国办事处的 Ohara。

这次,我们将重点介绍 BigQuery,这是 Google 提供的完全托管的数据仓库。

BigQuery | Google Cloud Platform — Google Cloud Platform

首先,BigQuery是什么?

BigQuery 是 Google 提供的大数据分析服务,于 2012 年在 Google I/O 大会(Google 主办的开发者活动)上正式发布。

最初,谷歌内部使用了一个名为 Dremel 的数据分析系统,后来对其进行了改进,使其可供外部用户使用,并作为一项服务提供。

日本系统供应商也提供各种服务,包括大数据分析服务和软件,但 BigQuery 可以对数 TB(太字节)甚至 PB(拍字节)的数据集运行类似 SQL 的查询,只需几秒钟甚至几十秒即可处理完毕并返回搜索结果。

BigQuery 的速度有多快

BigQuery之所以速度快,是因为它使用了以下两种机制:

列式数据存储

传统关系数据库按行存储数据,而记录型数据库(= 行型数据库)将整个记录存储在同一个存储空间中。

然而,对于面向列的数据库,单个记录被分成多列并放置在单独的存储中,这最大限度地减少了流量,并允许高压缩数据存储,从而在执行查询时实现高速数据查找。

○ 传统关系数据库的“记录 = 面向行”
○ BigQuery 的“列 = 面向列”

*资料来源: Dremel:《网络规模数据集的交互式分析》

树状结构

BigQuery 采用基于树状结构的分布式处理架构。

根服务器接收来自客户端的查询,将其直接传递给下方的中间服务器,叶子服务器执行查询处理,并行处理面向列的数据,快速聚合结果并提供查询结果。
(另有信息显示,即使对于PB级的海量数据,例如5亿到10亿行,也能在几秒钟内获得结果。)

○ 列式数据存储
○ 树形架构

*资料来源: Dremel:《网络规模数据集的交互式分析》

以上两点就是 BigQuery 速度快的原因。

想知道价格吗?

但是,即使使用 BigQuery,成本仍然是一个需要考虑的问题,所以我整理了一份简要总结。

BigQuery 的定价结构将从 2023 年起进行重大调整,由按需定价和容量定价两部分组成。本文列出了东京地区的具体价格。

● 按需定价 = 7.5 美元(每 TiB)
- 费用根据 BigQuery 上每次查询处理的字节数计算。
每月最多 1 TiB 的查询数据免费。

●容量费 = 0.051 美元(标准版)
・按查询处理容量(每个插槽(虚拟 CPU))收取费用。
*价格因版本而异。

更多信息,请访问BigQuery 官方定价网站

概括

它价格便宜,何不试一试?(如果您有谷歌账号,即可立即开始使用。)

▼ 有关 BigQuery 服务的详细信息,请点击此处 ▼
https://cloud.google.com/bigquery/?hl=ja

如果您想与云计算专业人士交谈

自成立以来,Beyond 一直利用我们作为多云集成商和托管服务提供商 (MSP) 所培养的技术能力,设计、构建和迁移使用各种云服务器平台(包括 AWS、GCP、Azure 和 Oracle Cloud)的系统。

我们提供根据客户所需系统和应用程序的规格和功能定制的云服务器环境,如果您对云感兴趣,请随时与我们联系。

● 云/服务器设计与构建
● 云/服务器迁移
● 云/服务器运行、维护与监控(全年365天,每天24小时)

如果您觉得这篇文章有用,请点击【点赞】!
1
加载中...
1票,平均分:1.00/11
3,181
X Facebook Hatena书签 口袋

这篇文章的作者

关于作者

小原

他的职业生涯始于电信行业,担任销售员,负责实施企业网络服务、办公设备和群件等 IT 产品。

之后,他曾在一家系统集成商旗下的数据中心公司担任物理服务器和托管服务的售前工程师,以及基于 SaaS 的 SFA/CRM 和 B2B 电子商务的客户工程师,之后加入 Beyond 公司,目前仍在 Beyond 工作。

我目前驻扎在中国(深圳),我的日常活动是看中国电视剧和比尔比尔。

资格证书:二级簿记员