跳转至

使用 selenium 爬取豆瓣小组讨论信息

使用 selenium 模拟浏览器访问网页，解析并提取需要的信息，实现网络爬虫。

image-20230115235227306

使用selenium模拟浏览器，爬取豆瓣复旦校友上海租房小组的帖子，网址在 这里。

导入必要的包

Python
from selenium import webdriver
from bs4 import BeautifulSoup
import pandas as pd

设置驱动、请求头和需要访问的 URL

Python
driver = webdriver.Chrome("D:\Program\chromedriver.exe")
# 初始化选项
options = webdriver.ChromeOptions()
# 设置自定义请求头
options.add_argument(
    'user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.64 Safari/537.36 Edg/101.0.1210.53"'
)
# 设置 URL
url = "https://www.douban.com/group/515560/discussion"
driver.get(url)

用 BeautifulSoup 解析数据

Python
# 用 BeautifulSoup 解析数据
content = driver.page_source.encode("utf-8")
soup = BeautifulSoup(content, "lxml")
# 找到所有帖子的标题
title_content = soup.find_all(class_="title")
time_content = soup.find_all(class_="time")

提取出需要的数据

Python
# 只保存标题文字、超链接和时间
title_list = []
href_list = []
time_list = []
for title, time in zip(title_content[:-1], time_content):
    title_list.append(title.a["title"].strip())
    href_list.append(title.a["href"].strip())
    time_list.append(time.text)

将数据导出到本地 csv 文件

Python
# 将数据导出到本地 csv 文件
df = pd.DataFrame(
    list(zip(time_list, title_list, href_list)), columns=["最后回应时间", "标题", "网址"]
)
df.to_csv("豆瓣小组爬虫。csv", index=False, encoding="utf-8-sig")

展示爬取到的具体内容

Python
df
最后回应时间 标题 网址
0 11-25 11:15 复旦大学附近全配双南二室一厅 https://www.douban.com/group/topic/279122048/
1 11-24 12:36 合租转租仅女生 2100/月押一付一 近 B 站尚浦 https://www.douban.com/group/topic/279076030/
2 11-24 09:46 美岸栖庭单间实体房出租 https://www.douban.com/group/topic/279068051/
3 11-22 16:14 同济大学附近两居室次卧转租，限女生 https://www.douban.com/group/topic/278976916/
4 11-21 09:51 国顺路 310 弄南北两室，装修干净清爽，只要 5000，看房有钥匙联系 13588488922 https://www.douban.com/group/topic/278905908/
5 11-18 20:36 复旦，地铁 10，18 号线国权路站附近全配三室户出租 https://www.douban.com/group/topic/278783611/
6 11-18 09:35 转租 - 个人转租 - 浦东大道 https://www.douban.com/group/topic/278748900/
7 11-18 09:26 出租国顺路 375 弄 2 楼双南，两室一厅，6300/月精装修全配，看房有钥匙看房联系 13588... https://www.douban.com/group/topic/278748540/
8 11-16 10:42 东方文苑小区出租，离复旦大学邯郸校区脚程不到 10 分钟 https://www.douban.com/group/topic/278643617/
9 11-14 19:12 转租国权路 1200/月女生无中介费 https://www.douban.com/group/topic/278560381/
10 11-09 21:18 复旦，同济，五角场，10/18 号线，寻考研 or 专硕在读 or 实习女室友（无中介费）～ https://www.douban.com/group/topic/278274798/
11 11-09 15:51 五角场好房出租 https://www.douban.com/group/topic/278256396/
12 11-05 16:43 五角场！！！十号线！！18 号线！！财经大学站！！！精装公寓 loft 层高 5 米只需要 3100 https://www.douban.com/group/topic/278026628/

关闭浏览器

Python
driver.close()

评论