python爬虫入门(1):爬万本书籍

最近闲的无聊,想爬点书看看。
于是我选择了这个网站澳门新葡新京在线,雨枫轩。

python编码错误和中文的乱码问题,研究了整整两天,查阅了很多资料,也走了一些弯路,我把经验写下,让新手少走点弯路,本人技术较渣,有什么疏漏错误望大牛指正!

STEP1.分析网站


一开始我想通过一篇文章引用的链接,将书爬完,后来发现并不需要这样做。比如我们可以打开人生哲学这个栏目。

如图1所示,会把页面数全列出来。
并且这个url

http://txt.rain8.com/txtzx/list_93_1.html

也非常的有规律。
可以看出是由

'http://txt.rain8.com/txt'+'栏目名称'+'list_栏目编号_页数.html'

组成的。
知道了这点后,我们就能轻松的把网站爬完了。

以下str表示文本字符,byte表示字节流。

STEP2.初始化

首先我们来理清思路。

这是我们需要的库

import requests
import re
import os

其实这个项目用urllib2也能完成。
我们首先来初始化,在self.urls里,我们定义一些需要fetch的栏目。(比如言情,恐怖仙侠之类的书就可以跳过)。然后写一些正则表达式,供其他的method使用。

class fetchBook:
    def __init__(self):
        self.header = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:47.0) Gecko/20100101 Firefox/47.0'}
        self.urls = [
                     'http://txt.rain8.com/txtgw/',
                     'http://txt.rain8.com/txtzj/',
                     'http://txt.rain8.com/txtzx/',
                     'http://txt.rain8.com/txtsh/'
                     ]
        self.rePageIndex = re.compile('list_d+_d+.html')#得到栏目编号
        self.rePageCount = re.compile('<strong>d+</strong>')#得到页面数目
        self.reDownloadGet1 = re.compile('href=.http://txt.rain8.com/plus/xiazai_yfx.php?[^>]+')#得到下载链接
        self.reGetTitle = re.compile('<title>.+</title>')#得到标题
        self.reGetAuthor = re.compile("</small>[^>]+")#得到作者名称
        self.reBookGetNew = re.compile('')#得到书籍链接
        self.reBookGetOld = re.compile('')
        self.cnt = 0

py3只有str和byte,str只能encode,byte只能decode,不需要显式地通过unicode这个“中间人”…py2就必须会经过unicode这个”中间人”….

STEP3.获取所有的页面

我们可以查看人生哲学源代码。可以找到总共的页数。

然后我们就能得到每一页的数据。
代码如下

    def viewAllPage(self,url):
        """
        函数功能为把该栏目下所有页面全过一遍。
        """
        req = requests.get(url,headers = self.header)
        pageIndex = self.rePageIndex.findall(req.text)[0][5:7]
        pageCount = int(self.rePageCount.findall(req.text)[0][8:-9])
        urlToFetch = [url,'list_',pageIndex,'_','1','.html']
        foldname = self.reGetTitle.findall(req.text)[0][7:]
        foldname = foldname.encode('unicode_escape').decode('string_escape')
        foldname = foldname.split('|')[0]
        self.createDir(foldname)
        for page in range(1,pageCount+1):
            urlToFetch[4] = str(page)
            url_to_get = ''.join(urlToFetch)#得到所有页面的url

主要讲一下py2的编码方式,因为现在用py2来造轮子的人挺多的,很多新手会因为中文乱码的问题很头疼,尤其是抓去网页的数据的时候….

STEP4.得到下载链接

然后我们用上面写好的正则表达式,来匹配她的下载链接。

    def fetchDownloadUrl(self,bookurl):
        req = requests.get(bookurl,headers = self.header)
        result = self.reDownloadGet1.findall(req.text)
        result = result[0][6:-17]
        authorname = self.reGetAuthor.findall(req.text)[0][14:-6].encode('unicode_escape').decode('string_escape')
        req = requests.get(result,headers = self.header)
        bookname = self.reGetTitle.findall(req.text)[0][7:-24]
        downloadurl = self.reDownloadGet1.findall(req.text)[0][6:-17]
        return downloadurl,bookname,authorname

首先必须要知道输入的str会被系统以什么方式去编码,是utf-8还是gbk还是其他的编码方式,用chartdet包可以来判断。chardet包在win下要自行安装!

STEP5.下载

下载的时候,由于该网站下载的书都是rar格式的。所以我们只要用二进制的方式写就可以了。
我们调用

self.req = requests.get(downloadUrl,headers = self.header)

然后

f = open(posi+'/'+bookname+'.rar','wb')

就可以写进去了。

import chardet

STEP6.编码问题

之前一直被python的编码问题搞的头大,这次又遇见了。于是找了点资料看了看。
因为python工作使用的编码是unicode,如果要在编码间进行转化,推荐要先decode成unicode,然后再encode成别的编码。
然后我在爬内容的过程中碰到了这个问题:

s = u'xb9xc5xcaxabxb4xcaxc3xfbxd6xf8'

xb9这样的很明显应该是gbk编码。而python却在字符串前加了个u。然后我对这串字符encode还是decode都会报错。或者打印出来乱码。
经过查阅资料,我找到了一种解决办法

s.encode('unicode_escape').decode('string_escape')

经过这样处理后

>>> print repr(s)
>>> 'xb9xc5xcaxabxb4xcaxc3xfbxd6xf8'

很明显就恢复了正常。这时我们只要decode(‘gb2312’)就能转换成unicode编码了。

s=’大家好,我叫卓少!’

STEP7.结果展示

github地址
喜欢的可以点一下喜欢。

chardet.detect(s)

{‘confidence’: 0.99, ‘encoding’: ‘GB2312’}

判断出这个输入将会以GB2312去编码,用print
输出也是GB2312编码的中文。一般这种是在windows下py环境里的,GBK系列的编码方式就是windows下默认的,Linux下的编码方式一般是utf-8,输出也一样(这里讲的都是中文的编码方式,英文的默认是ascii…中文用ascii也编码不了…才128个字符…)

上面这种输入情况是自己敲键盘打进去的,还有一种输入情况是你在网页上爬取的str,这种你就要看看这个网站是什么编码方式了,打开网页的源代码,上面可以看到chardet=’xxx’…一般现在基本都用的是utf-8编码(utf-8是unicode中综合性最好的编码方式了,而且是包含了全世界各种语言字符的集合,大而全)。知道了网页的编码之后,我们分别来尝试一下在可能会遇到的乱码或者编码错误的问题。

比如说我们来爬取一个网页,就拿鱼c的首页来试水。先看看其前端的源码,是utf-8的。写个最简单的爬取脚本。

import urllib2

url=’

res=urllib2.urlopen(url)

res=res.read()  #把抓取的网页的utf-8数据流读进去。

res=res.decode(‘utf-8’) #由于数据流是utf-8,因此要把utf-8解码成Unicode

#这里可以查看一下res的数据,可以发现有中文的地方就有/uxxx/uxxx啥的,这就是unicode字符…

#这也是编码成其他形式的第一步,必须要先解码变成unicode字符。再encode…

print res
   #print 这个命令有自动转换成系统的”习惯编码”(例如上面说的win下是GBK系列,linux下是utf-8系列),GBK编码方式包含了所有中文,不会有乱码。

我们来试试另一种种方法:(接着上面res=res.read()往后)

res =res.encode(‘gbk’) #直接在utf-8的时候编码成gbk,由于win和linux系统默认编码方式都是ascii ,肯定是显示ascii
cann’t decode…

怎么回事?utf-8编码成gbk关ascii解码啥事?

其实是这样的,因为如果res这个字节流编码不是unicode就直接encode的话python会自动用默认的编码方式来decode成为unicode,刚才说过,py2编码(encode)必须要先把原来的格式解码(decode)成unicode,要经过这个”中间人”才能去编码成其他格式…然而网页的编码方式是utf-8,用ascii方式来decode怎么可能不报错呢…所以,我在网上找到了修改py默认编码方式的方法(一般改成utf-8比较好):

在linux下:

python安装目录:/etc/python2.x/sitecustomize.py

import sys

reload(sys)

sys.setdefaultencoding(‘utf-8’)

try:

import apport_python_hook

except ImportError:

Leave a Comment.