利用Scrapy将CSDN博客迁移到Github Pages(Hexo)

迷南。 2022-02-01 07:51 215阅读 0赞

> 打算将CSDN上的博客迁移到GitHub Pages上去，怕有一天所有的博客都不见了的时候，自己会有一个备份. 其中，上传到CSDN网站上的图片，是必须要自己有一个备份的。所以，便有了这一篇记录博客。

## 了解Scrapy ##

Scrapy是一个Python包，是一个爬取网页的框架。顾名思义，可以理解成Java中的抽象类。它负责流程性的逻辑，我们自己编写具体的处理逻辑。经过此次的使用，发现它确实是一个比较厉害的框架。首先，在爬取网页的过程中，你可能会遇到的问题，网上都有相应的解答；其次，我们只需要编写处理网页的逻辑和小的流程逻辑，这样我们可以更加专注爬取这件事本身，而不用关注使用什么技术来怎么爬。

### 简易使用 ###

> 网上的使用方法很多，这里只写一些关键性的步骤以及自己遇到的问题、解决办法。

初始化项目：`scrapy startproject CSDNBlogMover`

各个文件及目录的作用：

`items.py`

# 定义所需数据的属性，比如说，想爬取每一篇文章，此文件中则定义一些文章属性，如下：
    class CsdnblogmoverItem(scrapy.Item):
        # define the fields for your item here like:
        # name = scrapy.Field()
        link = scrapy.Field()
        title = scrapy.Field()
        time = scrapy.Field()
        tags = scrapy.Field()
        categories = scrapy.Field()
        content = scrapy.Field()
        comments = scrapy.Field()

`pipelines.py`

# 此文件可以理解成在某些关键时候，所要执行的操作，比如打开、关闭、处理爬虫这3个关键时候，与Android中Activity的生命周期类似
    class CsdnblogmoverPipeline(object):
        def open_spider(self, spider):
            self.myconn = mysql_connection()
    
        def close_spider(self, spider):
            self.myconn.conn.close()
    
        def process_item(self, item, spider):
            self.myconn.reconnect()
            sql = 'INSERT INTO wp_posts(post_author, post_excerpt, to_ping, pinged, post_content_filtered, post_date, post_date_gmt, post_content, post_title, post_modified, post_modified_gmt) VALUES (1, " "," ", " ", "", %s, %s, %s, %s, %s, %s)'
            vars = (get_uniformed_datetime(item['time'], DATE_FORMAT_CN), get_gmt_datetime(item['time'], DATE_FORMAT_CN), '\n'+item['content'] + item['comments'] + '\n', item['title'], get_now_datetime(), get_gmt_datetime(get_now_datetime()))
            self.myconn.cursor.execute(sql, vars)
            
            self.myconn.conn.commit()
            print(item)
            return item

`middlewares.py`

这个文件的作用在此次爬取博客中未使用到，但是也了解了部分内容，其实就是可以在这里面加上selenium，**来处理动态加载的数据**。

`settings.py`

这是一个配置类，里面有很多项，并且都有相应的注释，可以仔细看看。

BOT_NAME = 'CSDNBlogMover'
    
    SPIDER_MODULES = ['CSDNBlogMover.spiders']
    NEWSPIDER_MODULE = 'CSDNBlogMover.spiders'
    FEED_EXPORT_ENCODING = 'utf-8'
    
    ROBOTSTXT_OBEY = True
    
    ITEM_PIPELINES = {
        
       'CSDNBlogMover.pipelines.CsdnblogmoverPipeline': 300,
    }

爬取的关键：`spiders/CSDNBlogSpider.py`

import json
    import math
    
    import scrapy
    
    # 需要更换相应的Cookie，来确定你对此博客的拥有权，否则会抓取失败。
    # 直接从浏览器的开发者工具中，打开编辑器时，所发出的请求的Cookie即可
    raw_cookie = 'xxx'
    items = raw_cookie.split('; ')
    cookies = {
        }
    for item in items:
        kv = item.split('=')
        cookies[kv[0]] = kv[1]
    
    print(cookies)
    
    class CSDNBlogSpider(scrapy.Spider):
        # 名字，用来使用scrapy crawl csdn_spider来调用此爬虫
        name = 'csdn_spider'
        # 限定爬取的域名，如果域名不为此，则会爬取失败
        allowed_domains = ['blog.csdn.net', 'mp.csdn.net']
        author = ''
    
        def __init__(self):
            # self.browser = webdriver.Chrome()
            # self.browser.set_page_load_timeout(30)
            pass
    
        def closed(self, spider):
            print("spider closed")
    
        # 爬虫入口
        def start_requests(self):
            urls = [
                'https://blog.csdn.net/asahinokawa'
            ]
            for url in urls:
                self.author = url.split('/')[-1]
                # 返回一个Request，并指明：当请求发送成功，收到响应后，执行self.parse()回调
                yield scrapy.Request(url=url, callback=self.parse)
    
        # 只负责爬取页数
        def parse(self, response):
            # 获取总博客数
            total_blog_cnt = response.xpath(
                '//*[@id="mainBox"]/aside/div[@id="asideProfile"]/div[2]/dl[1]/dd/a/span/text()').get()
            if total_blog_cnt is None or total_blog_cnt == '':
                raise Exception('total blog number parse error')
            else:
                total_blog_cnt = int(total_blog_cnt)
            # 获取第1页的博客总数
            if response.status == 200:
                links = response.xpath('//*[@id="mainBox"]/main/div[2]/div[@data-articleid]/h4/a/@href')
                raw_links = []
                for link in links:
                    if link.get().__contains__(self.author):
                        # yield scrapy.Request(link.get(), callback=self.parse_content)
                        raw_links.append(link.get())
                    else:
                        print('%s not belong to author %s' % (link, self.author))
                # 获取第1页博客数量
                first_page_blog_cnt = len(raw_links)
    
                if first_page_blog_cnt <= total_blog_cnt:  # 不止一页
                    # 通过总页数与第一页页数，来计算总共有多少页
                    pages = int(math.ceil(total_blog_cnt / first_page_blog_cnt)) + 1
                    for idx in range(1, int(pages)):
                        page_url = '%s/article/list/%d' % (response.url, idx)
                        print(page_url)
                        # 返回爬取某页页面的请求
                        yield scrapy.Request(url=page_url, callback=self.parse_page)
                else:
                    self.parse_page(self, response)
            else:
                print('对CSDN主页访问的响应异常，请检查URL')
        # 爬取某页页面的请求
        def parse_page(self, response):
            if response.status == 200:
                links = response.xpath('//*[@id="mainBox"]/main/div[2]/div[@data-articleid]/h4/a/@href')
                # 依次遍历所有的博客请求，并第每一个博客链接（即所有文章），进行文章页面爬取
                for link in links:
                    # 包含作者
                    if link.get().__contains__(self.author):
                        yield scrapy.Request(url=link.get(), callback=self.parse_content)
                    else:
                        print('%s not belong to author %s, skipped' % (link.get(), self.author))
            else:
                print('对CSDN中某页访问出错')
    
        # 爬取页面
        @staticmethod
        def parse_content(self, response):
            if response.status == 200:
                data =  {
        
                    'link': response.url,
                    'title': response.xpath(
                        '//*[@id="mainBox"]/main/div[@class="blog-content-box"]/div[@class="article-header-box"]/div[@class="article-header"]/div[@class="article-title-box"]/h1/text()').get(),
                    # //*[@id="mainBox"]/main/div[1]/div/div/div[2]/div[1]/span[1]
                    'time': response.xpath(
                        '//*[@id="mainBox"]/main/div[@class="blog-content-box"]/div[@class="article-header-box"]/div[@class="article-header"]/div[@class="article-info-box"]/div[@class="article-bar-top"]/span[@class="time"]/text()').get(),
                    # //*[@id="mainBox"]/main/div[1]/div/div/div[2]/div[1]/span[3]/a
                    'tags': response.xpath(
                        '//*[@id="mainBox"]/main/div[@class="blog-content-box"]/div[@class="article-header-box"]/div[@class="article-header"]/div[@class="article-info-box"]/div[@class="article-bar-top"]/span[@class="tags-box artic-tag-box"]/a/text()').get(),
                    # //*[@id="mainBox"]/main/div[1]/div/div/div[2]/div[1]/div/a
                    'categories': response.xpath(
                        '//*[@id="mainBox"]/main/div[@class="blog-content-box"]/div[@class="article-header-box"]/div[@class="article-header"]/div[@class="article-info-box"]/div[@class="article-bar-top"]/div[@class="tags-box space"]/a/text()').get(),
                    # //*[@id="mainBox"]/main/div[1]/article
                    # class="blog-content-box"
                    'content': response.xpath('//*[@id="mainBox"]/main/div[@class="blog-content-box"]/article').get(),
                    # //*[@id="mainBox"]/main/div[3]/div[2]
                    'comments': response.xpath(
                        '//*[@id="mainBox"]/main/div[@class="comment-box"]/div[@class="comment-list-container"]').get()
                }
                # 获取markdown文档
                mark_down_url = 'https://mp.csdn.net/mdeditor/getArticle?id=' + str(response.url.split('/')[-1])
                yield scrapy.Request(url=mark_down_url,
                                     callback=self.get_markdown_content,
                                     meta=data,
                                     # Headers模拟浏览器的头部
                                     headers={
        
                                         'accept-encoding': 'gzip, deflate, br',
                                         'accept': '*/*',
                                         'accept-language': 'zh,en;q=0.9,ja;q=0.8,zh-TW;q=0.7,fr;q=0.6,zh-CN;q=0.5',
                                         'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36',
                                     },
                                     # 需要更换相应的Cookie，来确定你对此博客的拥有权，否则会抓取失败
                                     cookies=cookies)
            else:
                print('对CSDN中某篇文章访问出错')
        # 接收markdown内容，并作为Item的属性
        @staticmethod
        def get_markdown_content(response):
            content = json.loads(response.body_as_unicode())
            data = content['data']
            if 'markdowncontent' in data:
                content = data['markdowncontent']
                # print('$$$$ == ' + content)
                response.meta['content'] = content
                response.meta['tags'] = data['tags']
                response.meta['categories'] = data['categories']
                # 此处返回的是一个完整的Item
                return response.meta
            else:
                print('获取失败 : '+response.meta['link'])

## 关键性的API获取 ##

在上面的处理中，对于Hexo来说，最为关键的API是获取markdown的API，这里记录一下发现的过程。此处要求原文是markdown格式，否则得到的markdown数据为空。

**第一步、在登录状态下，点开编辑**  
![点开编辑][Jietu20190513-203201.jpg]

**观察API**

链接：`https://mp.csdn.net/mdeditor/getArticle?id=89402970`  
![观察API][API]

入参为一个id加一些Headers（这里选择与浏览器保持一致），返回的参数为一个JSON串，里面的数据如下：

{
        
        "data": {
        
            "id": "89402970",
            "title": "Flask如何使用logging.FileHandler将日志保存到文件",
            "articleedittype": 1,
            "description": "需求\n将日志尽可能往文件中输，自带的默认只输出到屏幕上。\n代码\n获取文件名\ndef get_custom_file_name():\n    def make_dir(make_dir_path):\n        path = make_dir_path.strip()\n        if not os.path.exists(path):\n            os.makedirs(pat...",
            "content": "<h2><a id=\"_0\"></a>需求</h2>\n<p>将日志尽可能往文件中输，自带的默认只输出到屏幕上。</p>\n<h2><a id=\"_3\"></a>代码</h2>\n<p>获取文件名</p>\n....",
            "markdowncontent": "## 需求\n将日志尽可能往文件中输，自带的默认只输出到屏幕上。\n\n## 代码\n获取文件名\n```python\ndef get_custom_file_name():\n    def make_dir(make_dir_path):\n        path = make_dir_path.strip()\n        if not os.path.exists(path):\n            os.makedirs(path)\n        return path\n    log_dir = \"ac_logs\"\n    file_name = 'logger-' + time.strftime('%Y-%m-%d', time.localtime(time.time())) + '.log'\n    file_folder = os.path.abspath(os.path.dirname(__file__)) + os.sep + log_dir\n    make_dir(file_folder)\n    return file_folder + os.sep + file_name\n```\n配置logging\n\n```python\ndictConfig({\n    'version': 1,\n    'formatters': {'default': {\n        'format': '%(asctime)s - %(levelname)s - %(filename)s - %(funcName)s - %(lineno)s - %(message)s',\n    }},\n    'handlers': {\n        'default': {\n            'class': 'logging.StreamHandler',\n            'stream': 'ext://flask.logging.wsgi_errors_stream',\n            'formatter': 'default'\n        },\n        'custom': {\n            'class' : 'logging.FileHandler',\n            'formatter': 'default',\n            'filename' : get_custom_file_name(),\n            'encoding' : 'utf-8'\n        },\n    },\n    'root': {\n        'level': 'INFO',\n        'handlers': ['custom']\n    }\n})\n```\n## 代码分析...",
            "private": 0,
            "tags": "Flask,日志",
            "categories": "Python",
            "channel": "31",
            "type": "original",
            "status": 1,
            "read_need_vip": 0
        },
        "error": "",
        "status": true
    }

## 对图片的处理 ##

至此，所有格式为markdown的CSDN博客都被抓取下来，接下来就是对其中图片的处理。对于图片，初步的想法是，先把markdown中的图片下载下来，再随机命名，然后把原来markdown中的图片链接修改成改名之后的，图片的baseUrl使用gitee前缀，也就是说，把所有下载下来的图片都存到一个仓库中，（也算是作为一种备份吧）然后通过如下形式的地址，来访问该图片：`https://gitee.com/xuchuanjun/pics/raw/master/xxx.jpg`。处理代码：

import os
    import random
    import re
    import string
    
    import filetype as filetype
    
    dir = "C:\\Users\\yangyu\\sasuraiu.github.io\\source\\_posts"
    img_dir = "C:\\Users\\yangyu\\sasuraiu.github.io\\source\\_posts\\images"
    mds = os.listdir(dir)
    pattern = re.compile('!\[.*\]$([^$]+)\)')
    
    # 读取markdown内容
    def get_file_content(path):
        content = ''
        if not os.path.isdir(path):
            with open(path, 'r', encoding='utf-8') as f:
                for line in f:
                    content = content + line
            return content
        else:
            return None
    # 修改markdown中的图片原地址
    def parse_content(content):
        changed = False
        for pic in pattern.findall(content):
            # print(pic)
            new_pic_link = download_pic(pic, img_dir, random_name())
            if new_pic_link is not None:
                content = content.replace(pic, 'https://gitee.com/xuchuanjun/pics/raw/master/' + new_pic_link)
                changed = True
    
        return changed, content
    # 随机名称
    def random_name():
        return ''.join(random.sample(string.ascii_letters + string.digits, 32)).upper()
    # 下载图片并重命名
    def download_pic(url, path, name):
        import requests
        r = requests.get(url)
        if r.status_code == 200:
            filepath = path + '\\' + name
            # 下载
            with open(filepath, 'wb') as f:
                f.write(r.content)
            # 重命名，通过文件魔数确定图片类型
            # 这里进行类型判断是为了避免格式错误导致的图片无法展示
            kind = filetype.guess(filepath)
            if kind is None:
                print('Cannot guess file type!')
                os.remove(filepath)
                return None
            else:
                os.rename(filepath, filepath+'.'+kind.extension)
                return name+'.'+kind.extension
        else:
            print(url)
            print('下载图片失败，请手动确认\n\n')
            return None
    # 修改后保存回文件
    def write_back_file(filepath, content):
        with open(filepath, 'w', encoding='utf-8') as f:
            f.write(content)
    
    if __name__ == '__main__':
        for md in mds:
            print('当前正在处理的文件为：' + md)
            filepath = dir + "\\" + md
            # 获取文件内容
            content = get_file_content(filepath)
            # 解析文件中是否含有图片链接
            if content is not None and content != '':
                changed, content = parse_content(content)
                # 替换回原文件
                if changed:
                    write_back_file(filepath, content)
                    print('replaced original file with the latest link')

## 后记 ##

至此，大部分重复性质的工作已经完成了，剩下就是对每一个篇文章进行格式检查。此爬虫的代码地址为（欢迎fork）：[https://github.com/sasuraiu/CSDNBlogMover][https_github.com_sasuraiu_CSDNBlogMover]

[Jietu20190513-203201.jpg]: https://gitee.com/xuchuanjun/pics/raw/master/Jietu20190513-203201.jpg
[API]: https://gitee.com/xuchuanjun/pics/raw/master/Jietu20190513-204745.jpg
[https_github.com_sasuraiu_CSDNBlogMover]: https://github.com/sasuraiu/CSDNBlogMover