# Big genomic data on Google Cloud Platform - 1505070811

![video\_screenshot](https://2300623831-files.gitbook.io/~/files/v0/b/gitbook-legacy-files/o/assets%2F-M42R_LUyJKgBHlKjSRa%2F-M42Rc6P9yocNdfaP271%2F-M42RzCdiN8B5CJrMlZg%2FExNxi_X4qug.jpg?generation=1585974624301757\&alt=media)

&#x20;**视频发布时间**

> 2014年6月25日

&#x20;**视频介绍**

> As the cost of DNA sequencing has dropped, the volume of data produced has risen into the petabytes. Google is working with the genomics community to define a standard API for working with big genomic data sets in the cloud. Building on Google Cloud Platform, we show how to store, process, explore and share genomic data using technologies like BigQuery, AppEngine MapReduce, R and more.

&#x20;**视频推介语**&#x20;

> 暂无，待补充。

## 译者信息

| 翻译     | 润稿 | 终审 | 原始链接                                                     | 中文字幕                                                     | 翻译流水号      | 加入字幕组                                                                                                                                                                         |
| ------ | -- | -- | -------------------------------------------------------- | -------------------------------------------------------- | ---------- | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
| TWL007 | 葛伟 | -- | [ Youtube ](https://www.youtube.com/watch?v=ExNxi_X4qug) | [ Youtube ](https://www.youtube.com/watch?v=bOhsmsCf34Y) | 1505070811 | [ 加入 GDG 字幕组 ](https://github.com/gdsub/pub/tree/420613f9ff598576d7b4321d0b83923050d0d03d/Conference/065-IO-Bytes-2014/%7B%7B%20book.host%20%7D%7D/join_translator/README.md) |

## 解说词中文版：

Google拥有令人叹为观止的云架构

可以让你在其上面运行你的业务程序 移动程序以及进行数据分析

但是你知道Google对科学研究也贡献了很多么

我将要告诉你Google是如何将数据科学以及

生命科学结合在一起的

来服务于健康和基础研究

首先 介绍一些背景知识

人类基因组包含了大约60亿个核苷酸碱基

A C G T (腺嘌呤 胞嘧啶 鸟嘌呤 胸腺嘧啶)

从父母双方各获得30亿个

理论上来讲这不是一个巨大的信息量

尤其是如果你压缩它的话

人类的DNA有99.9%是相同的 但是在实践中

数据文件开始创建的时候远远比理论大得多 因为你需要做很多分析来

确定那些仅占总数0.1%

但却是导致个体不同原因的基因

当科学界对第一个人类基因组测序的时候

其花费了15年的时间 大约30亿美元

值得庆幸的是 自那以后时间以及经济成本大幅度暴跌

如你所知道的 价格如同

测序容量爆炸式增长一样指数级下降

项目已在进行中来测序数以百万计的基因组

有多少数据呢

让我们思考一下

一个基因组100GB

如果你想读取在莫斯科所有人的基因组

那将需要120万TB的硬盘存储空间

所以这真的是一个巨大的挑战

好吧 Google知道关于大数据的一两件事情

Google的搜索索引大概100PB

但仍能在0.25秒内返回搜索结果

这是一个可以将数据科学和生命科学

结合在一起的巨大机遇

想像一下这是多么巨大的冲击

如果全世界的科学家都拥有强力的工具来区分

生病的和健康的人

对疗法产生反应的和状况继续恶化的人

引起疾病爆发和

没有导致爆发无害的病原体

想象一下在没有数据中心的情况下可以

在数秒内得到结果而无需等待几天

这就是我们想要令世界成为的样子

我们的第一份公告就是我们加入了基因组学与健康全球联盟

一个由超过180个顶级大学机构

研究型医院 医疗中心

健康服务提供商

公共健康组织以及公司为了

同一个承诺的目标而组建的国际联盟

我们是一个计算机科学公司

所以我们通过制订了一个标准API

来提升互操作性对团队做出贡献

就像W3C基因组标准那样

我们托管了一个可通过这个API访问的公共数据

并且我们创建了开源软件来展示

如何利用这个API来处理大规模基因组数据

为了给出一个互通性的例子

这是一个可以通过API

来访问数据的基因浏览器

在美国 国家生物技术信息中心已经为他们的

读取序列存档应用了这个API

并且欧洲生物信息研究所也部署了这个API

在Google我们是第三个部署

尽管所有的三个团体用不同的

内部格式存储DNA序列

但是使用同样的软件可以在不修改代码的情况下访问他们

并且这个在几周前就已经实现了

这是个梦幻般的过程

全球联盟有一个Github项目

那里你可以阅读关于数据模型的讨论

以及查看API规范草案

我们有更多的例子在我们的基因组团对的Github代码库中

来展示如何在Python Java R调用API

以及如何利用两种模型来

分析基因信息 这两种模型是

交互查询和大规模并行计算

点击这里来查看Github上的开源代码库

当然 你也可以通过查看我们的在线开发者文档

来详细的了解Goolge基因组学项目

探索基因数据是一个挑战

一方面是因为文件太大

另一方面是因为用来处理他们的计算机技术

已经有几十年的历史了

让我们来看一下那些可以帮助

我们探索DNA序列的21世纪计算机技术

一个Google拥有可以用来对

探索性数据进行分析的工具是BigQuery

底层技术是之前被构建出来

可以以实现互动的速度标准上 用于处理数以万亿行的日志文件

在我们的第一个使用Goolge技术来观察遗传变异的原型中

我们发现BigQuery对于处理那些与群体遗传学

有关的科学问题是一个很好的工具

包括最小的等位基因频率

碱基转换/颠换比率等问题

其工作的方式其实很简单

在你的浏览器中键入SQL查询语句

点击Enter 等几秒 从巨大的数据集中获取结果

当然也有你可以在你的脚本

或者程序中的调用的API

这是一个查询语句的例子

看起来很像SQL吧

我们有多种不同的例子托管在GitHub

你可以复制 粘贴 或者修改他们来查询一些

真正的生物学问题并在数秒内得到答案

现在 让我们看看你可以做什么

我们载入1000条基因组数据

然后对他们进行汇总统计

我们发现了什么

基于这个研究的设计 一半参与者是女性

另一半是男性

呈现了不同的地理组并且一些家庭也被测序了

但是大部分还是独立个体

2000年的时候研究者对255个独立个体

应用了早期基因测试技术

他们发现了关于非洲人种相比世界上其他人种的基因

更具多样性的证据

并且他们或许是现代人类的起源

在2009年大规模的基因测序确认了这项发现

现在 你可以仅仅花费数秒就可以在

超过1000条基因数据上利用BigQuery来测试这些发现

关键的发现 展现在浅红色区域的

非洲人种拥有更多的遗传变异

希望这个可以给你用BigQuery来

查询的问题时添加了一点点趣味

键入一个查询语句

喝一口咖啡 看着结果

然后敲入另外一个稍微不同的查询语句

另一种探索这些基因数据的方式是利用MapReduce

同样是Google用来生成

搜索索引的分布式计算范例

MapReduce是一个通过加入很多服务器到其中

来进行数据并行处理的方法

我们决定运行一个MapReduce来处理这1000条基因数据

每一个圆代表一个个体的变异

使用MapReduce进行主成分分析 简称PCA

把数据映射到解释变异的

二维坐标系上

它大概有整整一页的代码并运行了大约15分钟

在这个图表上我们看见三个清晰的不同集群组织 但是他们代表什么意思

基于人口总数来给他们着色

我们发现三个集群对应了三个世界上人数最多的人种

浅红色是非洲人 蓝色是欧洲人

亚洲人则是绿色

看这个介于欧洲人和非洲人之间的粉色点

这是来自美国西南部的非洲裔美国人

这个真的很酷 但是X轴和Y轴代表什么呢

让我们稍微更深入的了解一下BigQuery

这点SQL语句选择出了有多少变异发生在

一个等位基因与在两个等位基因中

即在一个染色体拷贝中与同时在两个拷贝中

复制 粘贴 点击确定

几秒后你就会得到答案

利用R语言生成图表

我们发现对主成分分析我们生成了一个非常相似的图表

利用MapReduce和BigQuery

我们有两种方法来处理数据

并且我们可以随意的在这两种方法中切换

现在 想象一下我们可以利用1000倍的样品来做什么

利用一个涵盖了显型 疾病 治疗方案 环境的

宽广范围的数以百万计的基因组库

想想你可以利用它学到关于疾病 药物反应以及

更多方面的基因基础的什么样的知识

并且为了实现这个目标 在以后这个世界还将需要更多的计算机加入到这个计划中去

幸运的是 这些例子让你领略了一下

利用Google Cloud Platform将

数据科学和生命科学结合到一起将会发生什么

从今开始这一切都将对你可用

从阅读开发者文档 查看示例代码

尝试基因组浏览器以及

加入我们的论坛里来让你自己上手

我是Jonathan Bingham

谢谢观赏
