[中文解说-腾讯] 03月02日NBA常规赛 活塞vs奇才 全场完整录像
[中文解说-腾讯] 03月02日NBA常规赛 活塞vs奇才 第一节 录像
[中文解说-腾讯] 03月02日NBA常规赛 活塞vs奇才 第二节 录像
[中文解说-腾讯] 03月02日NBA常规赛 活塞vs奇才 第三节 录像
[中文解说-腾讯] 03月02日NBA常规赛 活塞vs奇才 第四节 录像
上面的代码是爬取某场比赛的视频和视频截图，但是有的时候有些页面链接打不开，请问如何去重
要从上述代码中实现对页面链接的去重，可以使用Python中的`requests`库来检查每个链接是否能够正常访问。如果某个链接无法访问，则跳过该链接并继续处理其他链接。具体步骤如下：
1. **安装必要的库**：
```bash
pip install requests
```
2. **编写代码进行去重和爬取操作**：
以下是一个示例代码，展示了如何实现上述功能：
```python
import requests
from urllib.parse import urljoin
def is_valid_url(url):
try:
response = requests.head(url, timeout=5)
return response.status_code == 200
except requests.RequestException:
return False
def fetch_and_process_links(base_url, links):
processed_links = set()
for link in links:
full_url = urljoin(base_url, link)
if is_valid_url(full_url):
print(f"Processing: {full_url}")
# 这里可以添加你的处理代码，例如保存视频和截图
processed_links.add(full_url)
else:
print(f"Skipping invalid URL: {full_url}")
base_url = "http://example.com"
links = [
"/video1.mp4",
"/screenshot1.jpg",
"/video2.mp4",
"/invalid_link.html",
"/screenshot2.jpg",
"/video3.mp4"
]
fetch_and_process_links(base_url, links)
```
### 代码解释
1. **`is_valid_url(url)` 函数**：这个函数使用 `requests.head` 方法来检查一个URL是否有效。如果请求成功返回状态码200，则认为该链接是有效的。
2. **`fetch_and_process_links(base_url, links)` 函数**：这个函数接受基础URL和要处理的链接列表，并遍历这些链接，检查每个链接的有效性，然后对其进行进一步处理（如保存视频和截图）。
### 使用示例
假设你有一个包含视频和截图链接的列表 `links`，并且你想从一个基础URL开始爬取。你可以使用上述代码来实现去重并只处理有效的URL。
通过这种方式，你可以确保在处理页面时不会重复处理无效或无法访问的链接。此外，这种方法还可以帮助你更好地管理网络请求，避免不必要的资源浪费。
