requests爬取豆瓣top250电影信息

1.爬取豆瓣top250电影信息

- 第一页： https://movie.douban.com/top250?start=0&filter=

- 第二页： https://movie.douban.com/top250?start=25&filter=

- 第三页： https://movie.douban.com/top250?start=50&filter=

- 第十页： https://movie.douban.com/top250?start=225&filter=

2.-爬取步骤：

- 1) 获取所有电影的主页url

- 2) 往每一个主页发送请求，获取响应数据

- 3) 解析并提取想要的数据（获取每一部电影的class为item的div）

- 4) 根据每一部电影的div提取电影的： 详情页url、电影名字、电影评分、评价人数

3.解析html数据

"""

re.findall('正则匹配规则', '匹配文本', '匹配模式')

            re.findall(

            '<div class="item">.*?<a href="(.*?)">.*?<span class="title">(.*?)</span>.*?<span class="rating_num".*?>(.*?)</span>.*?<span>(.*?)人评价',

            response.text, re.S)

            - html:

                <div class="item">.*?<a href="https://movie.douban.com/subject/1293908/">

                .*?

                <span class="title">城市之光</span>.*?<span class="rating_num" property="v:average">(.*?)</span>

                .*?

                <span>(.*?)人评价

"""

import requests

import re

headers = {

    'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36 chrome-extension'

}

# 1.发送请求

def get_html(url):

    response = requests.get(url,headers=headers)

    return response

# 2.解析数据

def parse_html(response):

    movie_list = re.findall(

                        '<div class="item">.*?<a href="(.*?)">.*?<span class="title">(.*?)</span>.*? <span class="rating_num" .*?>(.*?)</span>.*? <span>(.*?)人评价',

                        response.text,

                        re.S)

    return movie_list

# 3.保存数据

def save_data(movie_data, num):

    url, name, grade, count = movie_data

    movie = f"""

    电影排名： {num}

    电影详情： {url}

    电影名字： {name}

    电影评分： {grade}

    评分人数： {count}

    """

    print(movie)

    with open('douban.txt','a', encoding='utf-8') as f:

        f.write(movie)

if __name__ == '__main__':

    number = 0

    num = 1

    for i in range(10):

        url = f'https://movie.douban.com/top250?start={number}&filter='

        number += 25

        response = get_html(url)

        movie_list = parse_html(response)

        for movie in movie_list:

            save_data(movie, num)

            num += 1

requests爬取豆瓣top250电影信息的相关教程结束。