SKA大数据的科学应用和挑战

大数据典型应用——平方公里阵列（SKA）射电望远镜

天文学关注有关宇宙、天体和生命起源的最具有前瞻性的问题，这些问题的突破和解决将极大地推动自然科学基础理论，促进人类科技水平的整体进步。

由宏伟科学目标驱动的 SKA 射电望远镜是我国参加的最大的天文领域国际合作大科学工程。SKA 建成后将成为世界上最大的天文实验装置，为人类探索宇宙起源奥秘创造新的机会。SKA 由包括中国在内的 11 个正式成员国以及 10 多个观察员国参与，建设和运行天文大望远镜已经成为一个国家综合实力的真实体现和重要标志。SKA 总部位于英国，SKA 低频阵列（SKA-low）包括 130 万个对数周期天线，拟建于澳大利亚西部沙漠；SKA 中频阵列（SKA-mid）包括 2 500 个碟形天线，拟建于南非以及南部非洲的无线电宁静区域，这两处是经过天文学家十几年评估和测评后优选出来的最佳台址。望远镜的总接收面积高达 1 平方公里，频率几乎连续覆盖 50 MHz—20 GHz 的范围，比目前厘米波段最大的射电望远镜阵的灵敏度提高约 50 倍、巡天速度提高约 10 000 倍。

作为下一代担当引领作用的射电天文观测设施，SKA 将对射电天文学的发展产生深远影响。SKA 的强大观测能力体现在其超高灵敏度（mK）、超大视场（数十度）、超快巡天速度、超高频率分辨率（kHz）、超高时间分辨率（纳秒）、超高空间分辨率（亚角秒），这些技术特点使得SKA产生前所未有的超大数据量。

SKA 的建设主要分为两个阶段：第一阶段（SKA1）将按照全规模的10% 来建造，预计 2020 年开建；第二阶段（SKA2）将完成其余 90% 建设工程，不过目前尚未确定具体计划。SKA1-low 每个台站的数据产生率为 2 Tbps，总的数据流是 1 Pb/s。据此规模递推，SKA2 至少产生 10 倍以上的实时数据流。从上述数据可知，SKA 产生的数据量是空前巨大的，即使经过相关处理后数据量极大降低了，但输入到科学数据处理器（SDP）的数据也达到了 4 GB/s，是当之无愧的科学大数据。SKA 超大规模的数据流需要及时地以实时模式处理掉，否则会造成整个数据处理管线（pipeline）的堵塞甚至崩溃。采用实时模式、多并发任务、数据流管线系统的处理方式是 SKA 数据处理的几个典型特点，也是新型科学大数据处理的典型应用。

作为史上最大的射电望远镜，SKA 不仅承载孕育世界级科研成果的使命，而且将产生世界上最大规模的数据，因此我们需要充分认识到 SKA 数据处理的巨大挑战。由于 SKA 工程极其庞大及复杂，为了攻克关键技术、降低技术风险，包括中国在内的多个国家先后建设了一些探路者和先导项目，每个项目相当于 SKA 总体规模的 1% 左右，并基于这些先导望远镜开展了相关的科学预研究和技术攻关。这些先导设备在理解 SKA 科学目标、建立和逐步完善天空模型、开发和测试数据处理软件、培养急需的人才队伍等方面发挥了积极作用，在 SKA 发展历程中处于不可忽视的地位。需要指出的是，尽管如此，这些先导项目的数据量远远不能达到 SKA1 规模，因此与建立真实的验证参考还有一定的距离。