谷歌的超高速数据仓库 BigQuery 是什么?

这是中国办事处的 Ohara。
这次,我们将重点介绍 BigQuery,这是 Google 提供的完全托管的数据仓库。
BigQuery | Google Cloud Platform — Google Cloud Platform
首先,BigQuery是什么?
BigQuery 是 Google 提供的大数据分析服务,于 2012 年在 Google I/O 大会(Google 主办的开发者活动)上正式发布。
最初,谷歌内部使用了一个名为 Dremel 的数据分析系统,后来对其进行了改进,使其可供外部用户使用,并作为一项服务提供。
日本系统供应商也提供各种服务,包括大数据分析服务和软件,但 BigQuery 可以对数 TB(太字节)甚至 PB(拍字节)的数据集运行类似 SQL 的查询,只需几秒钟甚至几十秒即可处理完毕并返回搜索结果。
BigQuery 的速度有多快
BigQuery之所以速度快,是因为它使用了以下两种机制:
列式数据存储
传统关系数据库按行存储数据,而记录型数据库(= 行型数据库)将整个记录存储在同一个存储空间中。
然而,对于面向列的数据库,单个记录被分成多列并放置在单独的存储中,这最大限度地减少了流量,并允许高压缩数据存储,从而在执行查询时实现高速数据查找。
○ 传统关系数据库管理系统:面向记录 = 面向行
○ BigQuery:面向列 = 面向列
* 信息来源:Dremel:《网络规模数据集的交互式分析》
树状结构
BigQuery 采用基于树状结构的分布式处理架构。
根服务器接收来自客户端的查询,将其传递给其下方的中间服务器,最终由叶服务器执行查询处理。这种对上述列式数据的并行处理方式,能够快速汇总读取的结果并输出查询结果。
(据报道,即使数据量巨大,例如 5 亿到 10 亿行以上,也能在短短几秒钟内获得结果。)
○ 列式结构数据
○ 树状架构
* 信息来源:Dremel:《网络规模数据集的交互式分析》
以上两点就是 BigQuery 速度快的原因。
想知道价格吗?
但是,即使使用 BigQuery,成本仍然是一个需要考虑的问题,所以我整理了一份简要总结。
BigQuery 的定价结构将从 2023 年起进行重大调整,由按需定价和容量定价两部分组成。本文列出了东京地区的具体价格。
● 按需定价 = 7.5 美元/TiB
按 BigQuery 上每次查询处理的字节数
计费
●容量费 = 0.051 美元(标准版)
- 费用根据查询处理能力(每个插槽(虚拟 CPU))收取。
*价格因版本而异。
更多详情BigQuery 官方定价网站请访问
概括
它价格便宜,何不试一试?(如果您有谷歌账号,即可立即开始使用。)
▼ 如需了解更多关于 BigQuery 的信息,请点击此处 ▼
https://cloud.google.com/bigquery/?hl=ja
如果您想与云计算专业人士交谈
自成立以来,Beyond 一直利用我们作为多云集成商和托管服务提供商 (MSP) 所培养的技术能力,设计、构建和迁移使用各种云服务器平台(包括 AWS、GCP、Azure 和 Oracle Cloud)的系统。
我们提供根据客户所需系统和应用程序的规格和功能定制的云服务器环境,如果您对云感兴趣,请随时与我们联系。
● 云/服务器设计与构建
● 云/服务器迁移
● 云/服务器运行、维护和监控(全年365天,每天24小时)
2
