从 ASP.NET 网站抓取 HTML 表格数据的实用指南(抓取,表格,实用,指南,数据.......)

本文旨在提供一个清晰、高效的解决方案，用于从动态 ASP.NET 网站抓取表格数据。通过模拟网站的 POST 请求，绕过 Selenium 的使用，直接获取包含表格数据的 HTML 源码。结合 BeautifulSoup 和 Pandas 库，实现数据的解析、清洗和提取，最终以易于阅读的表格形式呈现。该方法适用于需要自动化抓取此类网站数据的场景，能有效提高数据获取的效率和稳定性。

从 ASP.NET 网站抓取数据，特别是表格数据，有时会遇到一些挑战。传统的 requests 结合 BeautifulSoup 可能无法直接获取到动态加载的内容，而使用 Selenium 虽然可以解决动态加载的问题，但效率相对较低。本文介绍一种更高效的方法，通过分析网站的请求，模拟 POST 请求直接获取包含表格数据的 HTML 源码，然后利用 BeautifulSoup 和 Pandas 库进行解析和提取。

步骤详解

1. 分析网站请求

   首先，需要分析目标网站的请求方式和参数。使用浏览器的开发者工具（通常按 F12 键打开），在 Network 选项卡中观察网页加载过程中发送的请求。特别是 POST 请求，通常包含一些关键的参数，例如 __VIEWSTATE、__EVENTVALIDATION 等。这些参数是 ASP.NET 用来维护页面状态的，需要在后续的请求中携带。

2. 获取关键参数

   使用 requests 库获取网页的初始 HTML 源码，然后使用 BeautifulSoup 解析 HTML，提取 __VIEWSTATE 和 __EVENTVALIDATION 的值。

   import requests
   from bs4 import BeautifulSoup
   
   url = "https://serviciosede.mineco.gob.es/indeco/reports/verSerieGraf.aspx/?codigo=230400&frec=-1"
   
   with requests.Session() as s:
       soup = BeautifulSoup(s.get(url).text, "lxml")
   
       # Get the viewstate and eventvalidation values first
       payload_data["__VIEWSTATE"] = soup.select_one("#__VIEWSTATE")["value"]
       payload_data["__EVENTVALIDATION"] = soup.select_one("#__EVENTVALIDATION")["value"]

   这段代码使用 requests.Session() 创建一个会话，以便在后续的请求中保持 Cookie 等信息。然后，使用 BeautifulSoup 解析 HTML，通过 CSS 选择器 soup.select_one("#__VIEWSTATE")["value"] 提取 __VIEWSTATE 和 __EVENTVALIDATION 的值。

3. 构造 POST 请求

   构造一个字典，包含需要 POST 的数据。除了 __VIEWSTATE 和 __EVENTVALIDATION，可能还需要包含其他参数，例如 __EVENTTARGET、控件的 ID 等。这些参数通常可以在开发者工具的 Network 选项卡中找到。

   payload_data = {
       "__EVENTTARGET": "ReportViewer1$_ctl9$Reserved_AsyncLoadTarget",
       "__VIEWSTATE": "",
       "__VIEWSTATEGENERATOR": "4B866612",
       "__EVENTVALIDATION": "",
       "ReportViewer1:_ctl11": "standards",
       "ReportViewer1:AsyncWait:HiddenCancelField": "False",
       "ReportViewer1:ToggleParam:collapse": "false",
       "ReportViewer1:_ctl7:collapse": "false",
       "ReportViewer1:_ctl9:VisibilityState:_ctl0": "None",
       "ReportViewer1:_ctl9:ReportControl:_ctl4": "100"
   }

   请注意，payload_data 中的值需要根据实际情况进行调整。

4. 发送 POST 请求并解析表格数据

   使用 requests.post() 方法发送 POST 请求，并将构造好的数据作为参数传递。然后，使用 Pandas 库的 read_html() 方法解析返回的 HTML 源码，提取表格数据。

   import pandas as pd
   from io import StringIO
   
   with requests.Session() as s:
       soup = BeautifulSoup(s.get(url).text, "lxml")
   
       # Get the viewstate and eventvalidation values first
       payload_data["__VIEWSTATE"] = soup.select_one("#__VIEWSTATE")["value"]
       payload_data["__EVENTVALIDATION"] = soup.select_one("#__EVENTVALIDATION")["value"]
   
       # Now the table should be in the source HTML
       table_data = s.post(url, data=payload_data)
   
       # Do some pandas magic to get the table data
       df = pd.read_html(StringIO(table_data.text))[-3]
       df = df.drop(df.columns[0], axis=1)
       df.dropna(inplace=True)
       df.columns = df.iloc[0]
       df = df.iloc[1:]
       print(tabulate(df, headers='keys', tablefmt='psql', showindex=False))

   pd.read_html() 方法会返回一个包含所有表格数据的列表。根据实际情况，选择正确的表格索引。然后，对表格数据进行清洗，例如删除不需要的列、删除空行、设置列名等。

5. 数据清洗和格式化

   根据实际需求，对提取到的表格数据进行清洗和格式化。例如，删除不需要的列、删除空行、修改数据类型等。

注意事项

• User-Agent: 某些网站会检查 User-Agent，可以设置请求头模拟浏览器访问。
• Cookies: 有些网站依赖 Cookies 来跟踪会话，需要正确处理 Cookies。requests.Session() 可以方便地管理 Cookies。
• 动态参数: __VIEWSTATE 和 __EVENTVALIDATION 等参数可能会动态变化，每次请求前都需要重新获取。
• 错误处理: 添加适当的错误处理机制，例如捕获 requests.exceptions.RequestException 异常。
• 网站协议: 遵守网站的robots.txt协议，尊重网站的爬取规则。

总结

本文介绍了一种从 ASP.NET 网站抓取表格数据的高效方法，通过模拟 POST 请求直接获取包含表格数据的 HTML 源码，避免了使用 Selenium 的开销。结合 BeautifulSoup 和 Pandas 库，可以方便地解析和提取表格数据。在实际应用中，需要根据目标网站的具体情况进行调整，例如修改 POST 数据、处理 Cookies 等。

以上就是从 ASP.NET 网站抓取 HTML 表格数据的实用指南的详细内容，更多请关注资源网其它相关文章！