Scrapy - Thử crawl bóc tách dữ liệu một cách đơn giản
Chào mọi người, mình cumback rồi đây, nhưng nay chán django rồi nên chuyển sang crawl dữ liệu cho có tí mới mẻ.
Mình dùng thằng Scrapy để clawling website và extracting structured data.
Chi tiết về thằng này thì mọi người có thể xem tại đây
Ok, bắt đầu thôi. Trước tiên cứ cài đặt scrapy cái đã. Rất đơn giản, cứ package của python thôi.
$ pip3 install Scrapy
Xong cài đặt thì xác định trang web cần clone. Ở bài này, mình lấy trang http://quotes.toscrape.com trên document cho dễ chơi, dễ trúng thưởng. Mình sẽ lấy các bài viết trên trang đó cùng với tác giả của bài đó nữa.
Rồi tiếp theo là bắt tay vào thực hiện thôi!
Tạo Scrapy project
scrapy startproject quotes
thư mục project quotes sẽ được tạo ra với nội dung:
quotes/
scrapy.cfg # deploy configuration file
quotes/ # project's Python module, you'll import your code from here
__init__.py
items.py # project items definition file
middlewares.py # project middlewares file
pipelines.py # project pipelines file
settings.py # project settings file
spiders/ # a directory where you'll later put your spiders
__init__.py
Tạo Spider
Tạo một file tên là quotes_spider.py trong thư mục spiders đã được tạo ở trên và đây cũng là file thao tác chính trong bài này. Thư mục là nơi mọi người đưa ra các chỉ định cho Scrapy biết muốn thu thập dữ liệu gì. Trong thư mục này, mọi người có thể định nghĩa các Spider khác nhau cho các trang Web khác nhau.
Trước tiên cứ thêm các định nghĩa ban đầu cho spider(quotes_spider.py) đã.
import scrapy
class QuotesSpider(scrapy.Spider):
name = "quotes"
def start_requests(self):
start_urls = [
'http://quotes.toscrape.com/page/1/',
]
for url in urls:
yield scrapy.Request(url=url, callback=self.parse)
Ta thấy, trong mỗi quote được thể hiện giống như sau:
<div class="quote">
<span class="text">“The world as we have created it is a process of our
thinking. It cannot be changed without changing our thinking.”</span>
<span>
by <small class="author">Albert Einstein</small>
<a href="/author/Albert-Einstein">(about)</a>
</span>
<div class="tags">
Tags:
<a class="tag" href="/tag/change/page/1/">change</a>
<a class="tag" href="/tag/deep-thoughts/page/1/">deep-thoughts</a>
<a class="tag" href="/tag/thinking/page/1/">thinking</a>
<a class="tag" href="/tag/world/page/1/">world</a>
</div>
</div>
Để crawl dữ liệu, ta dùng CSS trong response khi call đến site.(Ngoài CSS còn có XPath nhưng để thao tác đơn giản hơn với HTML thì mình dùng XPath). Mình tạo hàm parse để crawl ra nội dung của các quotes.
Trong quotes_spider.py mình thêm:
def parse(self, response):
for quote in response.css('div.quote'):
yield {
'text': quote.css('span.text::text').extract_first(),
'author': quote.css('small.author::text').extract_first(),
'tags': quote.css('div.tags a.tag::text').extract(),
}
Giải thích thêm là:
- response.css('div.quote') nó sẽ lấy tất cả bài quotes có thẻ HTML là
- quote.css('span.text::text').extract_first() có ::text sẽ lấy text trong thẻ qua extract_first()
- 'tags': quote.css('div.tags a.tag::text').extract() lấy tất cả tags của bài quote, trả ra array
Chạy Spider thôi
$ scrapy crawl quotes
nó sẽ gửi một số request cho quotes.toscrape.com và nhận được phản hồi (response) và chúng ta sẽ bóc tách data từ response mà chúng ta vừa nhận được bằng hàm parse. Và kết quả:
Để lưu ra file json
$ scrapy crawl quotes -o quotes.json
Crawl in next_page
Để crawl không chỉ trong 1 page mà ở tất cả các page bằng cách lấy liên kết page tiếp và đệ quy parse với mỗi liên kết.
Thêm đoạn sau vào cuối parse
next_page = response.css('li.next a::attr(href)').extract_first()
if next_page is not None:
yield response.follow(next_page, callback=self.parse)
và run lại spider là có thể lấy được tất cả các bài quote trong quotes.toscrape.com.
Trên đây, mình vừa giới thiệu nhẹ ví dụ đơn giản về crawl bằng Scrapy. Mọi người có thể tham khảo thêm tại: https://docs.scrapy.org/en/latest/index.html