开发用于管理和共享复杂数据集的新开源系统

时间：2021-09-06 12:52:10 来源：

研究人员已经为科学家创建了一个新的开源数据管理系统，希望该系统可以使协作更加轻松。

简化科学家共享数据的方式

数据通常是科学的核心–研究人员跟踪速度，测量来自恒星的光，分析心率和胆固醇水平并扫描人脑中的电脉冲。

但是，通常很难与其他科学家（或与同行评审的期刊编辑或资助者）共享数据。该软件可能是专有软件，购买价格过高。一个人可能需要多年的培训才能管理和理解该软件。否则，创建软件的公司可能已经倒闭了。

一个研究小组开发了一个开源数据管理系统，科学家希望该系统能够解决所有这些问题。研究人员于2020年1月2日在《 PLOS ONE》杂志上概述了他们的系统。

“我们希望创建一种文件格式和数据集模型，以封装我们在实验室中的所有仪器上处理的大多数数据集，”俄亥俄州立大学化学教授，该论文的资深作者Philip Grandinetti说。。“存在一个长期存在的问题，在科学家中普遍存在，您购买了价值数百万美元的仪器，而制造该仪器的公司拥有自己的专有格式，与其他任何人共享都是一个噩梦。”共享大型数据集非常棘手，部分原因是软件通常是专有软件，部分原因是文件通常太大，以至于难以通过电子邮件或基于云的服务器共享。即使将文件导出为可以共享的文件类型，重要的元数据（解释数据集实际内容的东西）也经常丢失。

他们的系统被Grandinetti及其同事称为“核心科学数据模型”，旨在轻松共享复杂的数据集，而无需占用大量带宽和硬盘空间的海量文件，并且不会丢失元数据。考虑一个包括空气温度，气压，风速和太阳通量的数据集-该系统可以处理它。或考虑来自遥远星系中恒星的光的测量结果和颜色-该系统可以处理它。

Grandinetti说：“您需要一个非常灵活的数据集，能够以一种文件格式保存所有内容，而不会丢失信息。”“所以我们的想法是，我们创建了一个我们认为足够灵活的模型来做到这一点。”

俄亥俄州立大学的团队与丹麦奥尔胡斯大学的Thomas Vosegaard教授以及法国奥尔良大学的Dominique Massiot博士合作，开发了可以在Mac或PC上运行的软件。他们将其上载到Web并使代码开源（这意味着任何人都可以查看，使用和免费下载它）。PLOS ONE中的出版物是有意的：该杂志也免费提供给任何人。

而且，研究人员希望，该系统可以是一种简单，免费的方式，可以将多种类型的数据组合到一个位置。

博士后研究员Deepansh Srivastava表示：“我们以科学家的身份研究多个数据集，而作为一名科学家本人，我希望能够从所有这些文件中获取数据，并以一种可以使用的方式将它们放在一起。”在格兰蒂内蒂（Grandinetti）的团队中。

“如果我们可以简单地将其导出为一种文件类型（作为核心科学数据文件类型），而不是寻找数据并将其从数据集中提取出来，我们将能够在一个通用系统中工作。”

参考：“核心科学数据集模型：Deepansh J. Srivastava，Thomas Vosegaard，Dominique Massiot和Philip J. Grandinetti于2020年1月2日在PLOS ONE.DOI：
10.1371 / journal.pone.0225953

郑重声明：文章仅代表原作者观点，不代表本站立场；如有侵权、违规，可直接反馈本站，我们将会作修改或删除处理。