爬取最新通知

发表于： 2023年2月7日 2023年2月7日
分类：未分类

1.爬取最新通知

要导入的包：

from urllib.request import Request  
from urllib.request import urlopen  
import urllib.parse  
import datetime  
from bs4 import BeautifulSoup

定义解析网址的函数

def get_new_notice(website:str):  
    # 直接使用 urlopen('网址') 返回 404 错误，对方网站设置有反爬虫机制  
     requst = Request(website)  
        requst.add_header('User-Agent', 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)')  # 添加请求头，模仿人使用浏览器访问页面  
     response = urlopen(requst)  
        # 一、获取该网址的源代码  
     html = response.read()  

        # 二、解析源代码  
     bs = BeautifulSoup(html, 'html.parser')  # 爬取该网址的 HTML 源代码  
     # print(bs)  

     # 三、使用 find_all 方法找到最新通知所在的标签  
     nameList = bs.find_all('div', {'id': 'line_u3_0'})  # 使用 find_all() 方法 id 选择器找到指定的 tr 标签  
     # print(nameList)  # 爬取的的结果存放在列表中，使用时需要加下标，否则会报错  
     # AttributeError: ResultSet object has no attribute 'find_all'.  

     print('--------------------------------')  
        notice_time = nameList[0].span.get_text()  
        notice_title = nameList[0].a.get_text()  
        notice_link = 'http://sjxy.whpu.edu.cn/' + nameList[0].a['href'][2:]  
        print('通知时间：', notice_time)  
        print('通知标题：', notice_title)  
        print('链接：', notice_link)  
        print('-----------分割线----------------')  

        currdate = datetime.date.today()  
        currdate = str(currdate).replace('-', '/')  
        if notice_time == currdate:  
            return notice_time, notice_title, notice_link  
        else:  
            return -1

get_new_notice（网址），返回当天的通知，没有当天没有通知就返回-1

-调用函数

if __name__ == '__main__':  
    website = 'http://sjxy.whpu.edu.cn/index/tzgg.htm'  

 res = get_new_notice(website)  
    if res == -1:  
        print("No new notice")  
    else:  
        print(res)

2. 结果

admin

2225