项目标题:changedetection.io-免费开源的网页变更检测等多功能服务
项目简介
changedetection.io是一个免费且开源的最佳网页变更检测、网站监控、补货监控和通知服务。它能够检测网站内容的变化并执行有意义的操作,例如通过Discord、电子邮件、Slack、Telegram、API调用等方式触发通知。用户可以直接开始进行网页页面变更监控,如果没有时间,也可以尝试每月8.99美元的订阅服务,还包括代理使用和支持等。它支持多种功能,如针对网页特定部分进行监控、执行交互式浏览器步骤、进行很棒的补货和价格变更通知、支持多种触发过滤器、可在不同的“提取器”之间切换、支持跟踪PDF文件变化、可轻松指定网站检查频率等。
核心技术
该项目主要使用Python开发,占比达71.1%,同时还使用了HTML(11.9%)、JavaScript(8.2%)、CSS(4.3%)、SCSS(3.6%)、Shell(0.7%)和Dockerfile(0.2%)等技术。支持XPath(1.0)、JSONPath、jq和CSS等过滤器,利用apprise库实现大量通知功能,在JSON API监测方面可通过JSONPath或jq进行过滤、解析和重构JSON数据。
实践案例
- 产品和服务价格变化时进行监控。
- 缺货通知和补货通知。
- 监控和跟踪PDF文件的变化。
- 政府部门网站更新时获取通知。
- 监测软件发布、安全公告(当不在其邮件列表时)。
- 监控音乐节相关变化、Discogs补货提醒、房地产列表变化等。
- 监控特定威士忌的促销活动或者其他特殊交易。
- 从政府网站获取COVID相关新闻、大学或组织网站新闻。
- 检测和监控JSON API响应中的变化并进行警报。
- 监控HTML源代码的意外变化以加强PCI合规性。
- 监控特定关键词在Twitter搜索结果中的出现。
- 主动搜索工作机会,当公司更新职业页面时获取通知。
- 当BambooHR和其他工作平台上有新职位开放时收到警报。
- 进行网站污损监测、宝可梦卡补货跟踪等。
项目总结
changedetection.io功能丰富,无论是对于个人用户想要免费监控网页变更,还是对于企业用户有更多复杂需求(如网络安全、航空航天、数据科学和数据新闻专业人员等)都有很大的价值。它支持多种安装方式如Docker、Windows、Python Pip等,并且提供了API支持、导入支持等方便的功能。希望大家如果觉得这个项目有用,可以给这个项目加星来助力它的成长,也欢迎大家在下方留言参与对这个项目的讨论。