電影天堂迅雷(Python爬蟲框架：scrapy爬取迅雷電影天堂最新電影ed2k)

Python爬蟲框架：scrapy爬取迅雷影戲天國最新影戲ed2k

項目開頭

第一步仍舊是創建scrapy項目與spider文件

切換到事情目次兩條下令依次輸入

scrapy startproject xunleidianying scrapy genspider xunleiBT https://www.xl720.com/thunder/years/2019

內容分析

掀開目標網站（分類是2019年上映的影戲），分析我們必要的數據

進入頁面是列表的情勢就像豆瓣影戲一樣，然后我們點進入具體頁面看看

這個頁面就是我們必要拿到的內容頁面，我們來看我們必要哪些數據(某些數據從第一個頁面就可以取得，但是下載地點必需到第二個頁面)

• 影戲稱呼
• 影戲信息
• 影戲內容劇情
• 影戲下載地點

分析完成之后就可以起首編寫 items.py文件

import scrapy ''' 更多Python學習材料以及源碼教程材料，可以在群821460695 無償獲取 ''' class XunleidianyingItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() name = scrapy.Field() information = scrapy.Field() content = scrapy.Field() downloadurl = scrapy.Field() pass

別的別忘了去settings.py中開啟 ITEM_PIPELINES 選項

爬蟲文件編寫

老樣子，為了便利測試我們的爬蟲，起首編寫一個main.py的文件便利IDE調用

main.py：

import scrapy.cmdline scrapy.cmdline.execute('scrapy crawl xunleiBT'.split())

起首我們先測試直接向目標發送哀求對否可以取得呼應

爬蟲文件 xunleiBT.py編寫如下：

# -*- coding: utf-8 -*- import scrapy class XunleibtSpider(scrapy.Spider): name = 'xunleiBT' allowed_domains = ['https://www.xl720.com/thunder/years/2019'] start_urls = ['https://www.xl720.com/thunder/years/2019/'] def parse(self, response): print(response.text) pass

運轉 main.py 看看會顯現什么

好的，發覺直接前往正常的網頁也就是我們要的網頁，分析該網站沒有反爬機制，如此我們就更容易爬取了

然后經過xpath定位頁面元素，具體就不再贅述，之前的scarpy教程中都有 持續編寫爬蟲文件

import scrapy #導入編寫的 item from xunleidianying.items import XunleidianyingItem ''' 更多Python學習材料以及源碼教程材料，可以在群821460695 無償獲取 ''' class XunleibtSpider(scrapy.Spider): name = 'xunleiBT' allowed_domains = ['www.xl720.com'] start_urls = ['https://www.xl720.com/thunder/years/2019/'] def parse(self, response): url_list = response.xpath('//h3//@href').getall() for url in url_list: yield scrapy.Request(url,callback=self.detail_page) nextpage_link = response.xpath('//a[@class="nextpostslink"]/@href').get() if nextpage_link: yield scrapy.Request(nextpage_link, callback=self.parse) def detail_page(self,response): # 牢記item帶括號 BT_item = XunleidianyingItem() BT_item['name'] = response.xpath('//h1/text()').get() BT_item['information'] = ''.join(response.xpath('//div[@id="info"]//text()').getall()) BT_item['content'] = response.xpath('//div[@id="link-report"]/text()').get() BT_item['downloadurl'] = response.xpath('//div[@class="download-link"]/a/text() | //div[@class="download-link"]/a/@href').getall() yield BT_item

ITEM爬取完成后該干什么？固然是入庫保存了，編寫pipelines.py文件舉行入庫保存

再次提示別忘了去settings.py中開啟 ITEM_PIPELINES 選項

pipelines.py文件代碼如下：

import pymongo #毗連當地數據庫 myclient = pymongo.MongoClient("mongodb://localhost:27017/") #數據庫稱呼 mydb = myclient["movie_BT"] #數據表稱呼 mysheet = mydb["movie"] ''' 更多Python學習材料以及源碼教程材料，可以在群821460695 無償獲取 ''' class XunleidianyingPipeline(object): def process_item(self, item, spider): data = dict(item) mysheet.insert(data) return item

再次運轉main.py 等候運轉完成后掀開數據庫查詢

數據保存完成，這次我們一共導入了380個數據，可以愉快的查察影戲了