本文代码基于 Python 2.7 。
导入必要的库:
from bs4 import BeautifulSoup
import urllib2 #用来下载网页
创建函数get_data_from_url()用来下载网页内容:
def get_data_from_url(url):
""" 下载来自url的数据 """
headers = {'User-agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:27.0) Gecko/20100101 Firefox/27.0',}
req = urllib2.Request(url, None, headers)
resp = urllib2.urlopen(req)
return resp.read()
创建BeautifulSoup对象:
soup = BeautifulSoup(get_data_from_url('http://www.oschina.net/'))
如何获取title标签的内容:
print soup.title
print soup.title.name
print soup.title.string
会输出:
<title>开源中国 - 找到您想要的开源项目,分享和交流</title>
title
开源中国 - 找到您想要的开源项目,分享和交流
如何获取该网页设置的关键字: 可以看到关键字在 标签里,但是http://www.oschina.net/
包含了多个meta标签,我们可以遍历这些标签,找到name属性的值为keywords的meta标签,然后提取出关键词(在content属性里)。下面是手动提取的meta标签以供参考:
<meta content="text/html; charset=UTF-8" http-equiv="Content-Type">
<meta content="开源,OSC,开源软件,开源硬件,开源网站,开源社区,java开源,perl开源,python开源,ruby开源,php开源,开源项目,开源代码" name="Keywords">
<meta content="开源中国 www.oschina.net 是目前中国最大的开源技术社区。我们传播开源的理念,推广开源项目,为 IT 开发者提供了一个发现、使用、并交流开源技术的平台。目前开源中国社区已收录超过两万款开源软件。" name="Description">
代码如下:
for meta in soup.find_all("meta"):
if meta.has_attr("name") and meta["name"].lower().strip() == "keywords":
print meta["content"]
这段代码的执行结果如下:
开源,OSC,开源软件,开源硬件,开源网站,开源社区,java开源,perl开源,python开源,ruby开源,php开源,开源项目,开源代码