闲人吧重新回归
不一样的福利体验,一样的专注

【CrawlerFor】一款针对“某网站”高清中文字幕专区的资源的爬虫工具,可以完整爬取所有,下载封面及预览等等

前段时间,站长推荐过,有人通过爬虫爬了“色花堂”的中文字幕区的所有数据,然后做了一个xlsx,可以很方便的查阅,即便色花堂挂了,我们也会拥有大量的中文字幕资源。

但那天带来的只是那个时段的干货,毕竟“某花堂”每天都在更新,我们又无法对XLSX进行“增量”

于是有大神做了下面这个爬虫工具,其实这个工具很早就做好了,但站长一直对其功能不是很喜欢,知道它现在出了第3个版本

这款工具名叫“CrawlerFor”

它是一款针对“色花堂”高清中文字幕区的爬虫,它可以爬取“中文字幕区”的所有数据以及匹配相关的封面,以及可以爬取并下载封面和预览图

作者在昨天也发布了一个关联工具,可以一键让下载的图片和预览图和XLSX进行关联,方便我们查阅。

作者提供了截至5月20号的所有资源数据,以及截至5月20号的所有封面以及图片下载,而后续的大家点击工具进行“增量即可”

CrawlerFor程序下载地址:点击我呀  提取码: dc6b  解压码:xianrenba

图包下载地址:点击我呀    提取码:l29q  密码:abc2020

下面就工具的使用,做一个简单的教程:

1:下载程序后,进行解压。然后下载“图包”把所有的图片解压到“98_Data”下面的“img”文件夹下

Poster:为封面文件下

ScreenShot:为预览图文件夹

2:由于程序以及图包只有2020年5月20号以前的数据,因此我们需要进行增量,来爬截至目前为止所有的数据,由于站长已经给大家配置好了,大家不用进行设置了。

直接点击“CrawlerForS_2.3.exe”,然后根据提示打“1”按回车,这样,程序就自动开始爬数据了。而且程序有续点功能,因此即便爬取失败或者下载失败,下次打开的时候还可以完整的进行“增量”

软件会先爬“增量”的资源数据,爬完后,会开始下载“封面”以及“预览图”

3:图片正常下载可能会很慢,如果想高速下载图片,有条件的可以开“代理”来下载

当然程序也有专门的图片“增量下载”工具,也就是那个“ImgDownload.exe”,点击后,软件会自动查询没有下载的图片,然后进行下载。当然你也可以直接靠主程序自己爬和下载,都行。

二:一键生成XLSX预览。

由于爬到的数据,都进入了“98_Data\Csv_data”里面的“98CTest.csv”数据库,因此我们要一键生成关联性表格预览。

于是,软件有一键生成“XLSX”工具,点击“ToExcel.exe”,程序会自动把“98CTest.csv”数据库文件,在程序根目录生成“XLSX”预览文件

然后根据文件夹里面的“使用说明.docx”教程,把“XLSX”预览文件的模板样式,替换为文件夹里面“模板.xlsx”的模板格式就行了。““使用说明.docx”里面讲的很详细,按照做就行了。

三:一点小技巧

对于生成的“XLSX”里面一些多余的数据,如果看着不美观的话,大家可以把整列进行隐藏即可,这样就美观了,不要进行“删除”,因为“XLSX”里面一些功能需要调用

最后:

作者的项目地址为:https://github.com/abcabc2020/CrawlerFor98_2.1

同时,不会的,可以关注作者在“某花堂”的帖子:GO

给大家发的程序,是站长已经设置好了的,如果有问题,或者其他需要,可以自行设置里面对应工具的“xxx配置.ini”参数修改。

分享到: 生成海报

评论 5

  • QQ号
  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
  1. #1
    avatar

    老大,我已经将以上文章转发到了福吧论坛:https://www.wnflb66.com/thread-151314-1-1.html
    已经标明出处,如果不合规矩,麻烦告知我删帖 :shock:

    111sss5个月前 (05-31)国内网友谷歌浏览器 Windows 10 回复
    • 没事啦!都是兄弟站,一个时代的。

      闲人吧5个月前 (05-31)国内网友谷歌浏览器 Windows 10 回复
    • avatar

      能发个福利吧邀请码吗?

      奔腾丶乖乖v5个月前 (06-01)AustraliaSafari浏览器  COR-AL00 Build/HUAWEICOR-AL00) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Mobile Safari/537.36 回复
      • avatar

        主页正在搞活动,去看看

        111sss5个月前 (06-02)国内网友谷歌浏览器 Windows 10 回复
  2. #2
    avatar

    站长牛逼

    nicecx1235个月前 (06-01)国内网友谷歌浏览器 Windows 10 回复
切换注册

登录

忘记密码 ?

切换登录

注册