这几天给某位老板整漫画，逛遍国内没看到什么好用的大型漫画网站，后来在国外发现几个，E-hentai不太会玩，界面很古老，还都是英文，搞得我不太敢下载。
于是找了另外一个网站，发现只能一本一本的下。
一开始我也是一本本下载的，因为要给老板那边挑选嘛，后来发现这个网站一天更几百本漫画，这就有点受不了了，就开始琢磨怎么批量下载。
跟老板那边一商量，他自己挑选，我只管给他下载，说干就干，之后我就开始研究怎么批量下载该网站的漫画。
首先，确定了一下网站漫画列表翻页是通过切换页面来实现的，每一页都是一个新页面，且URL也随之变化。
切换页面之后，URL只有页码数字发生变化，其余内容保持不变。
所以，我们可以通过字符串组合出不同页码的链接。
看了一下源码，发现每篇漫画详情页的链接都直接写在列表里，而不是通过其他什么特殊方法跳转。这样就能直接提取出链接，抓取详情页面。
详情页面长这样，不登录也能用下载按钮，而且下载页的连接是直接写在按钮上的。
但是呢，为了让用户多看广告，这里点击下载按钮之后并不会直接下载漫画，而是跳转到另一个界面。
新的界面有这么一个选择框，可以选择漫画的下载路线，这两个按钮其实是两个链接文本（a标签），漫画的下载链接也直接在这里面写着。
打码部分就是下载链接，分析了几个链接后，我发现下载链接都是随机命名的找不出规律，不过幸好都是静态链接。
也就是说，我们需要抓取三次页面源码，列表页、详情页、下载页，才能获得一本漫画的下载链接。
但是这时候我发现，下载页的URL跟详情页的URL非常接近。
详情页
下载页
被打码的是网站域名，可以很明显的看出来，二者的区别仅在域名后的第一个单词，详情页是photos，下载页则是download。
也就是说，只需要在解析详情页时，将photos替换成download，就能直接去解析下载链接。
接下来我们使用iapp编写程序，这种URL组合跟页面解析没什么技术含量，几分钟程序就写好了。
因为这个网站设定每个IP的下载链接只能有一条，有时候下载流量过大，还会莫名其妙封你几分钟。
考虑到最后文件还是要传到电脑上的，而且iapp的下载程序确实不太好整，所以我不打算再去写下载程序，而是直接导出下载链接丢给IDM，能连接的时候自动给我下载。
首先，把所有下载链接导出为TXT文档，然后在IDM里依次点击，再选择你导出的TXT文档。
这里发生了一个小插曲，因为直接抓页面解析出来的下载链接，其中的非英文字符都是没有URL编码的，类似于这种链接形式：
转载请注明：http://www.0431gb208.com/sjszjzl/391.html
