加载中…
个人资料
  • 博客等级:
  • 博客积分:
  • 博客访问:
  • 关注人气:
  • 获赠金笔:0支
  • 赠出金笔:0支
  • 荣誉徽章:
正文 字体大小:

从数据到发现——云计算助力科研

(2013-11-29 10:15:44)
标签:

数据

云计算

windowsazure

escience

分类: 技术

从数据到发现——云计算助力科研

 

编者按:大数据时代下,如何在浩瀚如海的数据中找到有价值的科学发现,成为科学研究者们迫切想要解决的问题2013年微软eScience研讨会致力于推动通过云计算,实现从大数据到大发现的转变。活动邀请了40多名国内外杰出的研究者在环境问题、生物计算等多个方面进行了探讨。微软亚洲研究院与首批国内重点高校一起合作进行了应用Windows Azure于科学研究的尝试,发挥了云计算在医学影像分析、全球气候变化研究以及黑河生态水文系统研究方面具有的计算速度快、储存空间巨大等突出优势,也取得了一定的研究成果。

 

20131022日至25日,一年一度的微软eScience研讨会来到了北京。eScience研讨会为科学研究者提供了一个能够与学术和研究团体分享他们宝贵经验和技能的平台。微软已经积极参与eScience领域的研究达十余年。

  

2013 eScience Workshop主题是“从数据到发现(from data to discovery)”,探讨了大数据时代云计算如何推动科学发现。国内外40余名杰出的研究者通过主题演讲、论坛讨论等形式向200多名师生们介绍了广泛的科学领域内最新的研究成果及即将面临的挑战。其中,话题涵盖了环境问题、生物计算、气候变化、城市计算等多个方面的数据模型研究。最突出的一点是讨论了云如何为科学家提供了最有效的一种方式来帮助他们提升计算能力,从而加速从大数据到大发现的进程。

 

2012年开始,微软亚洲研究院与首批国内重点高校合作开展了一系列应用Windows Azure于科学研究中的项目,进行了第一次尝试,也积累了诸多的经验。

从数据到发现——云计算助力科研

云计算助力医学影像分析        

癌症的诊断是全世界医学专家攻克的难题。PET、CT、MRI等影像技术已被广泛的使用在癌症的诊断中。然而,在临床中病理医生根据组织切片所给出的病理报告才是判断癌症的金标准(Golden Standard)。

       

当数字化技术发展到能够将病理切片扫描存储为数字格式后,计算机图像处理技术可以在病理图像的处理中大展身手。计算机辅助诊疗系统不仅可以大大提高医生的工作效率,而且能够为医生的判断提供定量的依据。但由于病理图片的特殊性即病理切片的数据信息量很大,病理医生通常需要在显微镜下用40倍左右的放大倍数对组织进行分析才能观察到诸如血管栓塞,幽门螺旋杆菌等症状。而使用同样放大倍数进行数字扫描,所获得的数字图像高达15,000 x 15,000像素。

 

微软亚洲研究院的张益肇博士、屠卓文博士,北京航空航天大学生物医学工程的许燕博士与中国药科大学校长,中华医学会病理学分会主任委员来茂德教授合作以大肠癌为切入点开展病理切片数字化处理的研究。由于大尺度的病理切片图像,单机不可能完成图像分析的工作,给出癌症诊断的结果。云计算平台则为研究的进行提供了巨大的存储空间和快捷的计算资源,项目已经将计算部署到Windows Azure上实现并行运算,提高了运算效率——将计算部署到128个节点上(每个计算节点为2.43G的八核处理器),处理6TB的肠癌切片数据共耗时一天左右(25小时)。计算机的结果接近了医生的诊断结果,达到了临床运用的价值。

 

从数据到发现——云计算助力科研

云计算助力全球气候变化研究

CMIP(Coupled Model Intercomparison Project)是世界气候研究计划(WCRP)推动制定的一整套耦合大气环流气候模式的比较计划。该计划旨在通过比较模式的模拟能力来评价模式的好坏,促进气候模式的发展;同时也为生态、水文、社会经济诸学科在全球变化背景下预估未来环境变化提供可靠的科学依据。CMIP计划从AMIP开始,经历了CMIP1、CMIP2、CMIP3几个阶段的发展,并已为模式研究提供了迄今为止时间最长、内容最为广泛的模式资料库。

 

冰川是地球气候系统一个重要的组成部分,而多样的气候模型则是研究冰川必不可少的工具。在CMIP第五个阶段,世界上一共有30多个模型组得出了总共达1.5PB的包括冰川数据在内的模型输出数据。然而,至今为止,CMIP却只建立了一个以网页为基础的数据系统,提供相关数据的查询和下载。所以,建立一种整合好的既可以存储、查询CMIP第五阶段数据,又可以进行分析和对比的研究环境就显得尤为必要。

 

从数据到发现——云计算助力科研

清华大学地球系统科学研究中心的白玉琪教授开展了一项针对气候模型进行大数据整合的研究。研究中选用的冰川数据是由第二代网格点的气候传统模式和第三代的地球物理流体动力学实验气候模型产生的。借助Windows Azure,一个以网页为基础的CMIP5DE数据入口得以建立。其中,云端的存储系统被用来存储冰川的数据,而Azure视觉机器则为NCAR Command Language (NCL)提供了一个实现数据可视化和互比的运行环境。这样通过一个前端的网页界面,研究者就能够与CMIP5DE数据入口进行互动。而对于整个CMIP团体的成员来说,现在他们就可以在一个整合的环境里实现模型输出数据的发现和分析了。因此,整个模型互比的工作也得到了极大地改进。

 

所以,这一试点项目就可以清晰地说明Windows Azure的价值:提供了一个以网页为基础的数据整合的计算环境。这样,对于模型中心来说,则不用在本地保存数据基础设施,相反,借助Windows Azure就可以处理包括数据储存、传播和分析的所有事情。而研究者也无需再为数据的下载和储存而费心,能够一心一意地开展科学研究。

 

云计算助力黑河生态水文系统研究

在中国,很多地方都处于干旱半干旱地区。随着生活水平的不断提高,这些区域内水资源供求之间的差距变得越来越大。为了能够对复杂的生态水文系统的水平衡状况进行评估从而寻求高效的方式以建立起生态和水文状况之间的数值模型,中国自然科学基金委在2011年开展了一项以黑河盆地(HRB)地区生态水文状况为例的综合性研究。此项研究旨在建立一种水流模型来描述和预测出在气候变化和人类活动的影响下的多种水文状况的时空模式已解决不断恶化的生态系统的问题。同时,与经济模式相结合为黑河地区在内的干旱和半干旱地区探讨出可持续的水管理战略。然而,这就需要大量的观察数据和巨大的计算资源。而快速成长的“云计算”已经成为高性能分析的一个可替代平台。

从数据到发现——云计算助力科研

北京大学水资源中心的郑春苗老师利用Windows Azure支持进行全面的数据处理,帮助建立起生态-水文处理的数值模型以及溶解物的运输模型。在三个不同的案例研究中,Windows Azure都起到了非常重要的作用。例如,在黑河地区地下水流量模型研究中,Windows Azure通过云计算以一种有力而创新的方式支持运行了地下水模式并分享了其结果。

 

通过Azure建构起一种能够进行数据预处理的高效的框架,流量模型得以建立。在结合经济模型后,整个系统就可以提供给决策者,这样就为政府制定地区发展的政策和战略提供了数据借鉴。

 

关注更多云计算助力科研的机会

云助推器教学科研奖励计划(Windows Azure for Research Awards Program)

微软每年从全球接收来自不同国家和地区的研究计划,入选的研究计划将被奖励使用Windows Azure的资源促进科学研究。在Azure4Research.com 的网站上定期公布特定的研究话题。在2013年10月15日截止的第一轮Windows Azure for Research的全球项目选拔中,一共有来自15个国家和地区的35份研究计划入选,其中包括5名中国研究者。下一轮的选拔将于2013年12月15日截止,更多信息详见:http://research.microsoft.com/en-us/projects/azure/default.aspx

 

云助推器培训计划(Windows Azure Research for Training)

“科研云助推器培训计划”,作为Windows Azure for Research 项目的一部分,旨在为全球的研究者提供多样的培训课程,从而帮助他们运用云助推器来推动研究。自2013年9月起,微软在全球开展了多场云助推器培训计划的活动。10月起分别于北京、广州两地开展了两场分会场的培训活动。近期,12月2日-3日即将于北京开展第二次分会场活动,12月14日-15日于南京大学鼓楼校区进行南京会场的培训活动。更多信息详见:http://msra.cn/WindowsAzure4Research/

 

从数据到发现——云计算助力科研

____________________________________________________________________________

 

欢迎关注

微软亚洲研究院官方微博:http://e.weibo.com/msra/profile

微软亚洲研究院人人主页:http://www.renren.com/600674137

 

0

阅读 收藏 喜欢 打印举报/Report
  

新浪BLOG意见反馈留言板 欢迎批评指正

新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 产品答疑

新浪公司 版权所有