网站源码文件格式怎么改(GNE v0.1正式发布：4行代码开发新闻网站通用爬虫)

摄影：产品经理GNE 比羊肉面还香！GNE（GeneralNewsExtractor）是一个通用新闻网站正文抽取模块，输入一篇新闻网页的 HTML， 输出正文内容、标题、作者、发布时间、正文中的图片地址和正文所在的标签源代码。

GNE在提取今日头条、网易新闻、游民星空、 观察者网、凤凰网、腾讯新闻、ReadHub、新浪新闻等数百个中文新闻网站上效果非常出色，几乎能够达到100%的准确率使用方式非常简单：from gne import

GeneralNewsExtractorextractor = GeneralNewsExtractor()html = 网站源代码result = extractor.extract(html)print(result)

GNE 的输入是经过 js 渲染以后的 HTML 代码，所以 GNE 可以配合Selenium 或者 Pyppeteer 使用。下图是 GNE 配合 Selenium 实现的一个 Demo：

对应的代码为：import timefrom gne import GeneralNewsExtractorfrom selenium.webdriver import Chromedriver = Chrome(

./chromedriver)driver.get(https://www.toutiao.com/a6766986211736158727/)time.sleep(3)extractor = GeneralNewsExtractor()

result = extractor.extract(driver.page_source)print(result)下图是 GNE 配合 Pyppeteer 实现的 Demo：

对应代码如下：import asynciofrom gne import GeneralNewsExtractorfrom pyppeteer import launchasyncdefmain(): browser =

await launch(executablePath=/Applications/Google Chrome.app/Contents/MacOS/Google Chrome) page = await

browser.newPage()await page.goto(https://news.163.com/20/0101/17/F1QS286R000187R2.html) extractor = GeneralNewsExtractor()

result = extractor.extract(await page.content()) print(result) input(检查完成以后回到这里按下任意键)asyncio.run(main())

如何安装 GNE现在你可以直接使用 pip 安装 GNE 了：pip install gne如果访问pypi 官方源太慢，你也可以使用网易源：pip install gne -i https://mirrors.163.com/pypi/simple/

安装过程如下图所示：

功能特性获取正文源代码在extract()方法只传入网页源代码，不添加任何额外参数时，GNE 返回如下字段：title：新闻标题publish_time：新闻发布时间author：新闻作者content：新闻正文

images: 正文中的图片（相对路径或者绝对路径）可能有些朋友希望获取新闻正文所在标签的源代码，此时可以给extract()方法传入with_body_html参数，设置为 True：extractor = GeneralNewsExtractor()

extractor.extract(html, with_body_html=True)返回数据中将会增加一个字段body_html，它的值就是正文对应的 HTML 源代码。运行效果如下图所示：

总是返回图片的绝对路径默认情况下，如果新闻中的图片使用的是相对路径，那么 GNE 返回的images字段对应的值也是图片相对路径的列表如果你想始终让 GNE 返回绝对路径，那么你可以给extract()。

方法增加host参数，这个参数的值是图片的域名，例如：extractor = GeneralNewsExtractor()extractor.extract(html, host=https://www.kingname.info

)这样，如果新闻中的图片是/images/pic.png，那么 GNE 返回时会自动把它变为https://www.kingname.info/images/pic.png指定新闻标题所在的 XPath。

GNE 预定义了一组 XPath 和正则表达式用于提取新闻的标题但某些特殊的新闻网站可能无法提取标题，此时，你可以给extract()方法指定title_xpath参数，用于提取新闻标题：extractor = GeneralNewsExtractor()。

extractor.extract(html, title_xpath=//title/text())提前移除噪声标签某些新闻下面可能会存在长篇大论的评论，这些评论看起来比新闻正文“更像”正文，为了防止他们干扰新闻的提取，可以通过给

extract()方法传入noise_node_list参数，提前把这些噪声节点移除noise_node_list的值是一个列表，里面是一个或多个 XPath：extractor = GeneralNewsExtractor()。

extractor.extract(html, noise_node_list=[//div[@class="comment-list"], //*[@style="display:none"]])使用配置文件

API 中的参数 title_xpath、 host、 noise_node_list、 with_body_html除了直接写到 extract() 方法中外，还可以通过一个配置文件来设置请在项目的根目录创建一个文件 。

.gne，配置文件可以用 YAML 格式，也可以使用 JSON 格式YAML 格式配置文件title: xpath://title/text()host:https://www.xxx.comnoise_node_list:。

-//div[@class=\"comment-list\"] -//*[@style=\"display:none\"]with_body_html:trueJSON 格式配置文件{"title"

: {"xpath": "//title/text()" },"host": "https://www.xxx.com","noise_node_list": ["//div[@class=\"comment-list\"]"

,"//*[@style=\"display:none\"]"],"with_body_html": true}这两种写法是完全等价的配置文件与 extract() 方法的参数一样，并不是所有字段都需要提供。

你可以组合填写你需要的字段如果一个参数，既在 extract() 方法中，又在 .gne 配置文件中，但值不一样，那么 extract() 方法中的这个参数的优先级更高FAQGeneralNewsExtractor(以下简称GNE)是爬虫吗？。

GNE不是爬虫，它的项目名称General News Extractor表示通用新闻抽取器它的输入是HTML，输出是一个包含新闻标题，新闻正文，作者，发布时间的字典你需要自行设法获取目标网页的HTMLGNE 现在不会，将来也不会提供请求网页的功能。

GNE支持翻页吗？GNE不支持翻页因为GNE不会提供网页请求的功能，所以你需要自行获取每一页的HTML，并分别传递给GNEGNE支持哪些版本的Python？不小于Python 3.6.0我用requests/Scrapy获取的HTML传入GNE，为什么不能提取正文？。

GNE是基于HTML来提取正文的，所以传入的HTML一定要是经过JavaScript渲染以后的HTML而requests和Scrapy获取的只是JavaScript渲染之前的源代码，所以无法正确提取另外，有一些网页，例如今日头条，它的新闻正文实际上是以JSON格式直接写在网页源代码的，当页面在浏览器上面打开的时候，JavaScript把源代码里面的正文解析为HTML。

这种情况下，你在Chrome上面就看不到Ajax请求所以建议你使用Puppeteer/Pyppeteer/Selenium之类的工具获取经过渲染的HTML再传入GNEGNE 支持非新闻类网站吗（例如博客、论坛……）。

不支持关于 GNEGNE 官方文档：https://generalnewsextractor.readthedocs.io/GNE 的项目源代码在：https://github.com/kingname/GeneralNewsExtractor。

关于作者

亲爱的读者们，感谢您花时间阅读本文。如果您对本文有任何疑问或建议，请随时联系我。我非常乐意与您交流。