前言：

编写一个爬虫脚本，用于爬取东方财富网的上海股票代码，并通过爬取百度股票的单个股票数据，将所有上海股票数据爬取下来并保存到本地文件中

系统环境：

64位win10系统，64位python3.6,IDE位pycharm

预备知识：

BeautifulSoup的基本知识，re正则表达式的基本知识

代码：

代码解释：

第一个getHTMLText函数的作用是获得所需的网页源代码

股票投资小常识：企业是大势下的企业，他不能脱离整个行业而存在。也不能脱离国家而存在。

第二个getStockList函数的作用是获得东方财富网上面上海股票的全部代码，查看网页源代码可知，股票代码的数据放在a标签里面，如下图所示：

因此，首先用find_all方法遍历所有a标签，然后在a标签里面提取出href部分信息，在提取出来的href信息里面，用正则表达式匹配所需的信息，sh\d{6}，即徐亚匹配例如sh200010的信息

第三个函数需要根据第二个函数得到的股票代码，拼接出一个url，在这个特定的url的网页里，使用第一个函数解析网页，首先加一个判断，如果遇到html为空，那么要继续执行下去，同样，我们也需要再加一个判断（关键之处），遇到网页不存在，

但html源代码仍然是存在的，因此接下去这个命令

stockInfo = soup.find(div,attrs = {class:stock-bets})

股票投资小常识：一支股票再好，行业再好，如果已经大涨，那一定会有跌的过程，因为炒股的本质，就是通过股价的上涨然后卖出来赚钱。

可能为空，如果不加判断，程序执行到这里就会报错而无法继续执行，因此添加：

if stockInfo == None:

continue