链氪巴士
  1. 首页
  2. 站点导航
  3. 文章
  4. 快讯
  5. 软件
  6. 书刊
  7. 关于

DXY-COVID-19-Crawler:2019新冠疫情实时爬虫及API

本项目为2019新型冠状病毒(COVID - 19/2019 - nCoV)疫情状况的实时爬虫,数据来源为丁香园。项目每分钟爬取一次数据存于MongoDB,保存历史数据更新,开放API接口https://lab.isaaclin.cn/nCoV供数据获取,还有多个实践案例,不过...

访问官网 →

【Github】项目名:DXY-COVID-19-Crawler:2019新冠疫情实时爬虫及API

项目简介

这一项目是针对2019新型冠状病毒(COVID – 19/2019 – nCoV)疫情状况的实时爬虫,数据来源为丁香园。项目每分钟访问并爬取一次数据,储存在MongoDB中,保存所有历史数据更新。项目已开放API接口(https://lab.isaaclin.cn/nCoV),供他人获取数据做可视化等操作。

项目目的

开发者表示,苦于没有医学背景,希望通过该项目让大家增强对疫情的关注,让未感染者做好更全面的防护。

核心技术

爬虫技术是该项目的核心,利用爬虫每分钟对丁香园的数据进行访问和爬取,将数据存储在MongoDB数据库中。同时,项目还涉及到API的部署与管理,方便其他开发者获取数据。

实践案例

有多个项目使用了本项目的数据或技术,如yijunwang0805/YijunWangDemo网站(https://ncov.deepeye.tech/)可呈现时间序列疫情地图、疫情小区及分析报告;pzhaonet/ncov网站(https://ncov2020.org)等也利用相关数据进行了不同形式的可视化展示。

项目总结

该项目为疫情相关数据的获取与分析提供了便利的工具,在数据获取过程中也面临数据异常等问题(如浙江省/湖北省部分时间序列数据存在数据异常,因丁香园数据为人工录入可能存在错误),但项目也提供了数据异常反馈通道。希望大家可以积极讨论这个项目,有任何想法或问题欢迎留言。

项目地址

GitHub链接直达