院科学数据总中心推出BigFlow V1.0版本

2024-11-27 16:00 科学数据软件社区 朱小杰

随着“大数据+人工智能”、“融合科学”等新型科研范式的深入应用,科学数据的利用被置于一个“多主体、多要素、全景式”的开放协作环境,科学数据的跨域融合与协作尤显重要。国家数据局最新发布的《可信数据空间发展行动计划(2024—2028年)》明确提出要“重点培育行业可信数据空间”,“推动基础科学数据集、高质量语料库融合汇聚,支撑人工智能行业模型跨域研发应用”,发展科学数据的跨域融合与协作技术与系统,对实现这一战略目标有着重大意义。

11月7日,在“科研信息化技术与应用创新”大会的“科学大数据促进科研范式变革”论坛上,院科学数据总中心正式推出端到端科学数据跨中心协同分析框架(英文名称BigFlow) V1.0版本。BigFlow基于分布式计算框架,通过提供新型的数据调度框架,实现科学数据的按需供给与高效协同,有望助力重大复杂科学问题的解决,推动实现国家战略科技目标和数字经济发展。


        中国科学院计算机网络信息中心高级工程师朱小杰介绍了BigFlow的系统架构、关键技术及其实际应用成效。BigFlow通过其动态组网、按需检索、跨域分析、智能编排等能力,使得科学家和研究人员在无需迁移数据的情况下,实现复杂的跨中心协同分析。目前,BigFlow已在空间科学、天文学、冰冻圈研究和生态学等多个科研领域得到了应用。


01 BigFlow支撑生态监测数据产品生产

会上,中国科学院地理科学与资源研究所高级工程师苏文作了《生态站监测数据产品生产系统》的报告,从生态学领域的需求场景出发,阐述了科学数据跨域协作在生态观测数据处理中的重要价值。以BigFlow作为底层引擎的生态监测数据产品生产系统已成功支撑了27个国家生态野外站、4个中亚地区生态野外站和3个兰州大学生态野外站的数据产品生产,极大提高了数据产品生产效率,生产周期由年缩短至月,有效解决了传统生态监测数据处理周期长、效率低的问题。

02 BigFlow助力黄河流域生态价值评估

        中国科学院西北生态环境资源研究院高级工程师敏玉芳分享了《地学研究对科学数据协作的需求、挑战及实践》。依托BigFlow的跨域协作能力,国家对地观测科学数据中心、国家冰川冻土沙漠科学数据中心、国家气象科学数据中心和国家农业科学数据中心的数据资源和算法实现了在线汇聚与协同分析,助力黄河流域生态价值的综合评估。

03 BigFlow应用于CATCH卫星地面数据系统

中国科学院国家空间科学中心工程师王磊分享了《BigFlow在CATCH卫星地面数据系统的应用》。国家空间科学数据中心和中国科学院高能物理研究所基于BigFlow系统实现了CATCH卫星数据跨域流转与产品共享,至今已累计稳定运行150天,共执行19821条流程,成功生产了27660个数据产品,有效支撑了卫星数据处理、质量分析、数据分发与汇集全流程。


04 BigFlow赋能大规模天文星表跨台站交叉证认

中国科学院国家天文台副研究员樊东卫介绍了《大规模天文星表跨台站交叉证认》,展示了科学数据跨域协作在天文领域的应用。利用BigFlow的跨域协作能力,实现了百亿量级星表数据跨中国科学院国家天文台和云南天文台的高效融合与交叉证认,为大规模天文数据的整合分析和综合利用提供了重要支撑。


        本次会议吸引了来自科研机构、高校及企业的30余名专家学者的共同参与。会议现场气氛热烈,与会嘉宾紧扣主题,围绕科学数据跨域协作的技术壁垒、应对策略及应用前景展开了深入交流与讨论。


现场照片

BigFlow V1.0的推出为各领域科研合作带来了全新的数据整合与协同分析的创新空间。技术与应用团队表示,科学数据跨域协作将更加注重数据共享过程中的安全性与合规性,提升数据标准化与互操作能力,推动各领域科学数据的无缝对接,为多学科协作研究和创新应用提供有力支撑。未来,BigFlow还将进一步支持更多学科的跨域数据分析,为用户提供智能化、自动化的数据协作体验。

联系方式/邮箱:xjzhu@cnic.cn

相关新闻
热点新闻
投票
查看结果
Tags

站点地图 在线访客: 今日访问量: 昨日访问量: 总访问量:

© 2025 中国科学院计算机网络信息中心 版权所有 Powered by UJCMS

京ICP备05002857号-1