Big genomic data on Google Cloud Platform - 1505070811
视频发布时间
2014年6月25日
视频介绍
As the cost of DNA sequencing has dropped, the volume of data produced has risen into the petabytes. Google is working with the genomics community to define a standard API for working with big genomic data sets in the cloud. Building on Google Cloud Platform, we show how to store, process, explore and share genomic data using technologies like BigQuery, AppEngine MapReduce, R and more.
视频推介语
暂无，待补充。
译者信息
翻译
润稿
终审
原始链接
中文字幕
翻译流水号
加入字幕组
解说词中文版：
Google拥有令人叹为观止的云架构
可以让你在其上面运行你的业务程序 移动程序以及进行数据分析
但是你知道Google对科学研究也贡献了很多么
我将要告诉你Google是如何将数据科学以及
生命科学结合在一起的
来服务于健康和基础研究
首先 介绍一些背景知识
人类基因组包含了大约60亿个核苷酸碱基
A C G T (腺嘌呤 胞嘧啶 鸟嘌呤 胸腺嘧啶)
从父母双方各获得30亿个
理论上来讲这不是一个巨大的信息量
尤其是如果你压缩它的话
人类的DNA有99.9%是相同的 但是在实践中
数据文件开始创建的时候远远比理论大得多 因为你需要做很多分析来
确定那些仅占总数0.1%
但却是导致个体不同原因的基因
当科学界对第一个人类基因组测序的时候
其花费了15年的时间 大约30亿美元
值得庆幸的是 自那以后时间以及经济成本大幅度暴跌
如你所知道的 价格如同
测序容量爆炸式增长一样指数级下降
项目已在进行中来测序数以百万计的基因组
有多少数据呢
让我们思考一下
一个基因组100GB
如果你想读取在莫斯科所有人的基因组
那将需要120万TB的硬盘存储空间
所以这真的是一个巨大的挑战
好吧 Google知道关于大数据的一两件事情
Google的搜索索引大概100PB
但仍能在0.25秒内返回搜索结果
这是一个可以将数据科学和生命科学
结合在一起的巨大机遇
想像一下这是多么巨大的冲击
如果全世界的科学家都拥有强力的工具来区分
生病的和健康的人
对疗法产生反应的和状况继续恶化的人
引起疾病爆发和
没有导致爆发无害的病原体
想象一下在没有数据中心的情况下可以
在数秒内得到结果而无需等待几天
这就是我们想要令世界成为的样子
我们的第一份公告就是我们加入了基因组学与健康全球联盟
一个由超过180个顶级大学机构
研究型医院 医疗中心
健康服务提供商
公共健康组织以及公司为了
同一个承诺的目标而组建的国际联盟
我们是一个计算机科学公司
所以我们通过制订了一个标准API
来提升互操作性对团队做出贡献
就像W3C基因组标准那样
我们托管了一个可通过这个API访问的公共数据
并且我们创建了开源软件来展示
如何利用这个API来处理大规模基因组数据
为了给出一个互通性的例子
这是一个可以通过API
来访问数据的基因浏览器
在美国 国家生物技术信息中心已经为他们的
读取序列存档应用了这个API
并且欧洲生物信息研究所也部署了这个API
在Google我们是第三个部署
尽管所有的三个团体用不同的
内部格式存储DNA序列
但是使用同样的软件可以在不修改代码的情况下访问他们
并且这个在几周前就已经实现了
这是个梦幻般的过程
全球联盟有一个Github项目
那里你可以阅读关于数据模型的讨论
以及查看API规范草案
我们有更多的例子在我们的基因组团对的Github代码库中
来展示如何在Python Java R调用API
以及如何利用两种模型来
分析基因信息 这两种模型是
交互查询和大规模并行计算
点击这里来查看Github上的开源代码库
当然 你也可以通过查看我们的在线开发者文档
来详细的了解Goolge基因组学项目
探索基因数据是一个挑战
一方面是因为文件太大
另一方面是因为用来处理他们的计算机技术
已经有几十年的历史了
让我们来看一下那些可以帮助
我们探索DNA序列的21世纪计算机技术
一个Google拥有可以用来对
探索性数据进行分析的工具是BigQuery
底层技术是之前被构建出来
可以以实现互动的速度标准上 用于处理数以万亿行的日志文件
在我们的第一个使用Goolge技术来观察遗传变异的原型中
我们发现BigQuery对于处理那些与群体遗传学
有关的科学问题是一个很好的工具
包括最小的等位基因频率
碱基转换/颠换比率等问题
其工作的方式其实很简单
在你的浏览器中键入SQL查询语句
点击Enter 等几秒 从巨大的数据集中获取结果
当然也有你可以在你的脚本
或者程序中的调用的API
这是一个查询语句的例子
看起来很像SQL吧
我们有多种不同的例子托管在GitHub
你可以复制 粘贴 或者修改他们来查询一些
真正的生物学问题并在数秒内得到答案
现在 让我们看看你可以做什么
我们载入1000条基因组数据
然后对他们进行汇总统计
我们发现了什么
基于这个研究的设计 一半参与者是女性
另一半是男性
呈现了不同的地理组并且一些家庭也被测序了
但是大部分还是独立个体
2000年的时候研究者对255个独立个体
应用了早期基因测试技术
他们发现了关于非洲人种相比世界上其他人种的基因
更具多样性的证据
并且他们或许是现代人类的起源
在2009年大规模的基因测序确认了这项发现
现在 你可以仅仅花费数秒就可以在
超过1000条基因数据上利用BigQuery来测试这些发现
关键的发现 展现在浅红色区域的
非洲人种拥有更多的遗传变异
希望这个可以给你用BigQuery来
查询的问题时添加了一点点趣味
键入一个查询语句
喝一口咖啡 看着结果
然后敲入另外一个稍微不同的查询语句
另一种探索这些基因数据的方式是利用MapReduce
同样是Google用来生成
搜索索引的分布式计算范例
MapReduce是一个通过加入很多服务器到其中
来进行数据并行处理的方法
我们决定运行一个MapReduce来处理这1000条基因数据
每一个圆代表一个个体的变异
使用MapReduce进行主成分分析 简称PCA
把数据映射到解释变异的
二维坐标系上
它大概有整整一页的代码并运行了大约15分钟
在这个图表上我们看见三个清晰的不同集群组织 但是他们代表什么意思
基于人口总数来给他们着色
我们发现三个集群对应了三个世界上人数最多的人种
浅红色是非洲人 蓝色是欧洲人
亚洲人则是绿色
看这个介于欧洲人和非洲人之间的粉色点
这是来自美国西南部的非洲裔美国人
这个真的很酷 但是X轴和Y轴代表什么呢
让我们稍微更深入的了解一下BigQuery
这点SQL语句选择出了有多少变异发生在
一个等位基因与在两个等位基因中
即在一个染色体拷贝中与同时在两个拷贝中
复制 粘贴 点击确定
几秒后你就会得到答案
利用R语言生成图表
我们发现对主成分分析我们生成了一个非常相似的图表
利用MapReduce和BigQuery
我们有两种方法来处理数据
并且我们可以随意的在这两种方法中切换
现在 想象一下我们可以利用1000倍的样品来做什么
利用一个涵盖了显型 疾病 治疗方案 环境的
宽广范围的数以百万计的基因组库
想想你可以利用它学到关于疾病 药物反应以及
更多方面的基因基础的什么样的知识
并且为了实现这个目标 在以后这个世界还将需要更多的计算机加入到这个计划中去
幸运的是 这些例子让你领略了一下
利用Google Cloud Platform将
数据科学和生命科学结合到一起将会发生什么
从今开始这一切都将对你可用
从阅读开发者文档 查看示例代码
尝试基因组浏览器以及
加入我们的论坛里来让你自己上手
我是Jonathan Bingham
谢谢观赏
Last updated
Was this helpful?