爬虫入门爬豆瓣文本

栏目:影视资讯  时间:2023-08-12
手机版

  好的,您想了解如何使用Python编写一个爬虫来获取豆瓣影评吗?下面是一个简单的爬虫示例,可以获取指定电影的影评信息:

  ```python

  import requests

  from bs4 import BeautifulSoup

  # 设置请求头信息

  headers = {

  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}

  # 获取指定电影的影评信息

  def get_comments(movie_url):

  # 发送请求获取页面内容

  response = requests.get(movie_url, headers=headers)

  content = response.text

  # 解析页面内容

  soup = BeautifulSoup(content, 'html.parser')

  comments = []

  # 获取所有影评内容

  for comment in soup.find_all('span', class_='short'):

  comments.append(comment.string)

  return comments

  # 测试,获取《肖申克的救赎》的影评

  movie_url = 'https://movie.douban.com/subject/1292052/comments?status=P'

  comments = get_comments(movie_url)

  print(comments)

  ```

  这个示例中,我们使用requests库发送请求获取页面内容,然后使用BeautifulSoup库解析网页内容,获取影评信息。您只需要将`movie_url`变量替换成您需要获取影评的电影链接即可。

上一篇:完善治理机制,提升医学科技伦理治理能力
下一篇:装一套房后深知,这样的厨房才省钱又不添堵,不懂就记下这口诀!

最近更新影视资讯