MDC-NG - 一款开源的电影资料抓取与管理工具
MDC-NG 尤其适合针对日本小电影的自动整理与美化!
▫️智能刮削:支持30+刮削源,AI人脸识别裁剪,日亚高清海报下载
▫️多种整理模式:硬链接、复制、移动、软链接、原地整理,适配各种场景
▫️目录监控:自动检测新文件并刮削,支持性能和兼容两种模式
▫️演员管理:联动Emby自动刮削演员信息和图片,内置演员数据库
▫️手动整理:可视化文件管理,支持文件扫描、批量操作和任务管理
▫️图片增强:4K/8K、影片类型水印标签,自定义位置和样式
▫️智能翻译:支持OpenAI/Google等多引擎翻译,内置中文标题数据库
▫️现代界面:Web管理界面,支持登录认证、主题切换、NSFW模式
▫️JavSP - 一键刮削多站点 AV 元数据
📮投稿 📢频道 💬群聊
EasySpider
一个完全免费(包括商业使用和二次开发)的可视化浏览器自动化测试/数据采集/爬虫软件,可以使用图形化界面,无代码可视化的设计和执行任务。
只需要在网页上选择自己想要操作的内容并根据提示框操作即可完成任务的设计和执行,同时还可以单独以命令行的方式进行执行,从而可以很方便的嵌入到其他系统中。
https://www.easyspider.net
频道 @Edgebyte
Crawlee Python:面向现代爬虫与自动化的全栈解决方案,助力高效稳定的数据抓取与网页交互。
• 统一支持 HTTP 请求与无头浏览器(Playwright)模式,兼顾性能与复杂网页渲染需求。
• 内置代理轮换、会话管理及自动重试机制,智能避开反爬虫检测,提升爬取成功率。
• 采用 asyncio 异步架构,配合完整类型提示,提升开发体验与运行效率。
• 灵活请求路由与持久化队列,支持多任务并行与断点续爬,节省运维成本。
• 多样化数据存储方案,支持结构化数据与文件下载(HTML/PDF/JPG/PNG等),满足多场景需求。
• 兼容 BeautifulSoup 解析与 Playwright 浏览器自动化,适应从静态页面到动态内容的全方位抓取。
• 轻松集成至 Apify 云平台,扩展云端自动化爬虫能力,适用研究、AI训练数据采集、RAG知识库构建等。
Crawlee 提供了从入门到进阶的示例教程,帮助开发者快速构建符合项目需求的定制化爬虫系统,专注于方法论的完善和爬取流程的稳定性。其设计理念体现了现代爬虫的核心要素:高效、稳定、可扩展与易维护。
#资源参考 #Crawlee #爬虫 #python
• 统一支持 HTTP 请求与无头浏览器(Playwright)模式,兼顾性能与复杂网页渲染需求。
• 内置代理轮换、会话管理及自动重试机制,智能避开反爬虫检测,提升爬取成功率。
• 采用 asyncio 异步架构,配合完整类型提示,提升开发体验与运行效率。
• 灵活请求路由与持久化队列,支持多任务并行与断点续爬,节省运维成本。
• 多样化数据存储方案,支持结构化数据与文件下载(HTML/PDF/JPG/PNG等),满足多场景需求。
• 兼容 BeautifulSoup 解析与 Playwright 浏览器自动化,适应从静态页面到动态内容的全方位抓取。
• 轻松集成至 Apify 云平台,扩展云端自动化爬虫能力,适用研究、AI训练数据采集、RAG知识库构建等。
Crawlee 提供了从入门到进阶的示例教程,帮助开发者快速构建符合项目需求的定制化爬虫系统,专注于方法论的完善和爬取流程的稳定性。其设计理念体现了现代爬虫的核心要素:高效、稳定、可扩展与易维护。
#资源参考 #Crawlee #爬虫 #python