目录前言伴着互联网迅猛发展, 加之技术在科技圈出现翻天覆地革新, 互联网每日均会生成海量数据这些数据对企业和个人均具重要价值 开发者对数据处理并不觉陌生, 使用方面想必也不见得生疏, 鉴于当下语言在初中阶段便已开始普及, 关于数据主要功能中之一的爬虫想必也并不生僻, 可以将这种工具视为能够独自抓住网络数据, 帮助我们从网络里获取所需信息的网络蜘蛛。本期主题是关于爬虫简单使用, 本文会手把手教你怎样使用去实现一个简单爬虫, 还会用PyQt5构建一个简单前端界面来展示爬取数据。本文从爬虫基本原理讲起, 接着介绍如何借助库发送HTTP请求, 还要说如何运用库解析HTML页面, 最终实现一个完整爬虫程序, 期望能对读这篇文章的开发者小伙伴有帮助且带来启发。爬虫基本原理想必身为程序员, 对爬虫这个概念是颇为熟悉的, 此间再来了解一下爬虫的基本原理, 爬虫的工作原理实际上挺简单, 它先是会给目标网站发送一个HTTP请求, 紧接着解析服务器回返的HTML页面, 从中提取所需的那些信息, 而这些信息涵盖文本、图片、链接等方面。与此同时, 爬虫能够依据这些信息去判定是否要继续抓取该页面, 以及怎样抓取该页面的其他链接。另外, 爬虫主要借助语言具体予以实现, 本文同样以语言当作示例语言来展开介绍。下面再来分享一下爬虫的设计思路具体如下图所示使用的库发送HTTP请求曾经使用过的那些小伙伴想必都清楚它的三方库极为强大并且十分好用, 这里所要提及介绍出来的是关于网络请求方面的库, 也就是说此库是一个相当流行的HTTP库, 它能够助力我们开发人员轻轻松松地去发送HTTP请求。具体使用库发送HTTP请求的步骤分为以下几步引入库, 构建一个对象, 运用对象去发送HTTP请求, 取得HTTP请求的响应。接着来分享一下详细的运用方式, 紧接着呈现的就是一个凭借库去发送HTTP请求的示例代码示范 :。import requests # 创建一个Session对象 session requests.Session() # 发送HTTP请求 response session.get(https://www.baidu.com) # 获取HTTP请求的响应 print(response.text)使用库解析HTML页面接下来继续介绍一下用于解析 HTML 页面的三方库, 在其中同样存在对应的库用以支持 HTML 页面解析, 这是一个极为流行的 HTML 解析库, 它能够帮助我们以轻松的方式解析 HTML 页面。具体运用该库进行 HTML 页面解析的步骤如下所示:导入库创建一个对象使用对象解析HTML页面获取解析结果一会儿要用来分享一下具体的使用方式, 紧接着下面呈现的便是一个借助库去解析HTML页面的示例代码:from bs4 import BeautifulSoup # 创建一个BeautifulSoup对象 soup BeautifulSoup(html_doc, html.parser) # 获取解析结果 print(soup.title.text)使用PyQt5构建前端界面下面所要分享的, 是关于本文课题迈向终端节点步骤的最终一部分要点, 当中牵涉靠着前沿直观显示区画面展示的是爬捕虫程式捕获获得信息数值行为, 这里是经由运用PyQt5来构造前沿直观显示区画面, 实际上PyQt5是一个跨越平台的图形用户界面库, 它能够协助我们较为轻易地构造图形化界面。具体运用PyQt5构造前沿直观显示区画面的操作流程像下面所呈示那样:对而言, 导入PyQt5这个库, 去创建成那么一个对象, 再创建出一份主窗口对象, 于主窗口对象之内, 添加进相关控件, 设置好控件的如此这般属性, 连接达成控件的对应信号以及槽。接下来, 进行一下具体使用方法的分享, 下面呈现的是, 一个借助PyQt5搭建前端界面的示例代码:import sys from PyQt5.QtWidgets import QApplication, QMainWindow, QPushButton, QLabel class MainWindow(QMainWindow): def __init__(self): super().__init__() # 设置窗口标题 self.setWindowTitle(爬虫) # 创建一个按钮 self.button QPushButton(开始爬虫) # 创建一个标签 self.label QLabel(爬虫结果) # 设置按钮的槽函数 self.button.clicked.connect(self.on_button_clicked) # 在主窗口对象中添加控件 self.setCentralWidget(self.button) # 设置控件的属性 self.label.setAlignment(Qt.AlignCenter) # 显示窗口 self.show() def on_button_clicked(self): # 爬虫逻辑 # 更新标签的内容 self.label.setText(爬虫完成) # 创建一个QApplication对象 app QApplication(sys.argv) # 创建一个主窗口对象 window MainWindow() # 进入主循环 sys.exit(app.exec_())实现一个完整的爬虫程序通过上述加以分享的、至关重要的两个、作为爬虫必备的三方库的运用, 紧接着当中我们会把先前的两个知识点予以组合, 达成一个完备的爬虫程序。此爬虫程序会从所指定的URL展开起始, 抓取在该页面之上的全套链接, 随后将这些链接存放于一个文件之内。具体的示例代码如下方所展示的那般:import requests from bs4 import BeautifulSoup import sys from PyQt5.QtWidgets import QApplication, QMainWindow, QPushButton, QLabel # 要抓取的URL url https://www.baidu.com # 创建一个Session对象 session requests.Session() # 发送HTTP请求 response session.get(url) # 获取HTTP请求的响应 html_doc response.text # 创建一个BeautifulSoup对象 soup BeautifulSoup(html_doc, html.parser) # 获取所有链接 links soup.find_all(a) class MainWindow(QMainWindow): def __init__(self): super().__init__() # 设置窗口标题 self.setWindowTitle(爬虫) # 创建一个按钮 self.button QPushButton(开始爬虫) # 创建一个标签 self.label QLabel(爬虫结果) # 设置按钮的槽函数 self.button.clicked.connect(self.on_button_clicked) # 在主窗口对象中添加控件 self.setCentralWidget(self.button) # 设置控件的属性 self.label.setAlignment(Qt.AlignCenter) # 显示窗口 self.show() def on_button_clicked(self): # 爬虫逻辑 # 更新标签的内容 self.label.setText(爬虫完成) # 创建一个QApplication对象 app QApplication(sys.argv) # 创建一个主窗口对象 window MainWindow() # 进入主循环 sys.exit(app.exec_())结语本文先讲爬虫基本原理, 接着介绍用特定库发送HTTP请求, 以及运用库解析HTML页面, 随后进行前端界面展示爬取的数据, 最后把拆解的这些知识点组合起来, 实现了一个完整的简单爬虫示例, 通过针对这一示例的介绍, 想必读者都学会了吧? 鉴于此案例归属简单爬虫程序范畴, 本文所阐述仅仅是比较简单的示例, 期望能够给读者予以一些启发, 要是读者打算更深入去了解以及运用爬虫, 那就请前往开发者社区寻觅思路, 同时也期望相关领域的大佬别纠缠, 高手就自行掠过吧。但愿本教程能够帮到你去学习爬虫, 并且能够达成你自身的爬虫程序, 多谢观看欢迎于评论区展开交流
目录前言伴着互联网迅猛发展, 加之技术在科技圈出现翻天覆地革新, 互联网每日均会生成海量数据这些数据对企业和个人均具重要价值 开发者对数据处理并不觉陌生, 使用方面想必也不见得生疏, 鉴于当下语言在初中阶段便已开始普及, 关于数据主要功能中之一的爬虫想必也并不生僻, 可以将这种工具视为能够独自抓住网络数据, 帮助我们从网络里获取所需信息的网络蜘蛛。本期主题是关于爬虫简单使用, 本文会手把手教你怎样使用去实现一个简单爬虫, 还会用PyQt5构建一个简单前端界面来展示爬取数据。本文从爬虫基本原理讲起, 接着介绍如何借助库发送HTTP请求, 还要说如何运用库解析HTML页面, 最终实现一个完整爬虫程序, 期望能对读这篇文章的开发者小伙伴有帮助且带来启发。爬虫基本原理想必身为程序员, 对爬虫这个概念是颇为熟悉的, 此间再来了解一下爬虫的基本原理, 爬虫的工作原理实际上挺简单, 它先是会给目标网站发送一个HTTP请求, 紧接着解析服务器回返的HTML页面, 从中提取所需的那些信息, 而这些信息涵盖文本、图片、链接等方面。与此同时, 爬虫能够依据这些信息去判定是否要继续抓取该页面, 以及怎样抓取该页面的其他链接。另外, 爬虫主要借助语言具体予以实现, 本文同样以语言当作示例语言来展开介绍。下面再来分享一下爬虫的设计思路具体如下图所示使用的库发送HTTP请求曾经使用过的那些小伙伴想必都清楚它的三方库极为强大并且十分好用, 这里所要提及介绍出来的是关于网络请求方面的库, 也就是说此库是一个相当流行的HTTP库, 它能够助力我们开发人员轻轻松松地去发送HTTP请求。具体使用库发送HTTP请求的步骤分为以下几步引入库, 构建一个对象, 运用对象去发送HTTP请求, 取得HTTP请求的响应。接着来分享一下详细的运用方式, 紧接着呈现的就是一个凭借库去发送HTTP请求的示例代码示范 :。import requests # 创建一个Session对象 session requests.Session() # 发送HTTP请求 response session.get(https://www.baidu.com) # 获取HTTP请求的响应 print(response.text)使用库解析HTML页面接下来继续介绍一下用于解析 HTML 页面的三方库, 在其中同样存在对应的库用以支持 HTML 页面解析, 这是一个极为流行的 HTML 解析库, 它能够帮助我们以轻松的方式解析 HTML 页面。具体运用该库进行 HTML 页面解析的步骤如下所示:导入库创建一个对象使用对象解析HTML页面获取解析结果一会儿要用来分享一下具体的使用方式, 紧接着下面呈现的便是一个借助库去解析HTML页面的示例代码:from bs4 import BeautifulSoup # 创建一个BeautifulSoup对象 soup BeautifulSoup(html_doc, html.parser) # 获取解析结果 print(soup.title.text)使用PyQt5构建前端界面下面所要分享的, 是关于本文课题迈向终端节点步骤的最终一部分要点, 当中牵涉靠着前沿直观显示区画面展示的是爬捕虫程式捕获获得信息数值行为, 这里是经由运用PyQt5来构造前沿直观显示区画面, 实际上PyQt5是一个跨越平台的图形用户界面库, 它能够协助我们较为轻易地构造图形化界面。具体运用PyQt5构造前沿直观显示区画面的操作流程像下面所呈示那样:对而言, 导入PyQt5这个库, 去创建成那么一个对象, 再创建出一份主窗口对象, 于主窗口对象之内, 添加进相关控件, 设置好控件的如此这般属性, 连接达成控件的对应信号以及槽。接下来, 进行一下具体使用方法的分享, 下面呈现的是, 一个借助PyQt5搭建前端界面的示例代码:import sys from PyQt5.QtWidgets import QApplication, QMainWindow, QPushButton, QLabel class MainWindow(QMainWindow): def __init__(self): super().__init__() # 设置窗口标题 self.setWindowTitle(爬虫) # 创建一个按钮 self.button QPushButton(开始爬虫) # 创建一个标签 self.label QLabel(爬虫结果) # 设置按钮的槽函数 self.button.clicked.connect(self.on_button_clicked) # 在主窗口对象中添加控件 self.setCentralWidget(self.button) # 设置控件的属性 self.label.setAlignment(Qt.AlignCenter) # 显示窗口 self.show() def on_button_clicked(self): # 爬虫逻辑 # 更新标签的内容 self.label.setText(爬虫完成) # 创建一个QApplication对象 app QApplication(sys.argv) # 创建一个主窗口对象 window MainWindow() # 进入主循环 sys.exit(app.exec_())实现一个完整的爬虫程序通过上述加以分享的、至关重要的两个、作为爬虫必备的三方库的运用, 紧接着当中我们会把先前的两个知识点予以组合, 达成一个完备的爬虫程序。此爬虫程序会从所指定的URL展开起始, 抓取在该页面之上的全套链接, 随后将这些链接存放于一个文件之内。具体的示例代码如下方所展示的那般:import requests from bs4 import BeautifulSoup import sys from PyQt5.QtWidgets import QApplication, QMainWindow, QPushButton, QLabel # 要抓取的URL url https://www.baidu.com # 创建一个Session对象 session requests.Session() # 发送HTTP请求 response session.get(url) # 获取HTTP请求的响应 html_doc response.text # 创建一个BeautifulSoup对象 soup BeautifulSoup(html_doc, html.parser) # 获取所有链接 links soup.find_all(a) class MainWindow(QMainWindow): def __init__(self): super().__init__() # 设置窗口标题 self.setWindowTitle(爬虫) # 创建一个按钮 self.button QPushButton(开始爬虫) # 创建一个标签 self.label QLabel(爬虫结果) # 设置按钮的槽函数 self.button.clicked.connect(self.on_button_clicked) # 在主窗口对象中添加控件 self.setCentralWidget(self.button) # 设置控件的属性 self.label.setAlignment(Qt.AlignCenter) # 显示窗口 self.show() def on_button_clicked(self): # 爬虫逻辑 # 更新标签的内容 self.label.setText(爬虫完成) # 创建一个QApplication对象 app QApplication(sys.argv) # 创建一个主窗口对象 window MainWindow() # 进入主循环 sys.exit(app.exec_())结语本文先讲爬虫基本原理, 接着介绍用特定库发送HTTP请求, 以及运用库解析HTML页面, 随后进行前端界面展示爬取的数据, 最后把拆解的这些知识点组合起来, 实现了一个完整的简单爬虫示例, 通过针对这一示例的介绍, 想必读者都学会了吧? 鉴于此案例归属简单爬虫程序范畴, 本文所阐述仅仅是比较简单的示例, 期望能够给读者予以一些启发, 要是读者打算更深入去了解以及运用爬虫, 那就请前往开发者社区寻觅思路, 同时也期望相关领域的大佬别纠缠, 高手就自行掠过吧。但愿本教程能够帮到你去学习爬虫, 并且能够达成你自身的爬虫程序, 多谢观看欢迎于评论区展开交流
