当前位置:首页 > 财经新闻 > 股票新闻

各大财经上下载股票的“历史价格”(图)

2021-08-27 06:01:57

上一篇是关于投资组合的计算,里面用到的数据量大,不好找。基本上,各种免费股票软件一次只能导出一只股票的历史价格。我不想坐在电脑前点击鼠标十到二十个小时。

以下是详细的获取方式说明。希望对大家有用,也给自己一个记录。

查看各大财经网站的情况后,发现雅虎可以提供一些不错的免费午餐。在雅虎财经下载股票“历史价格”时,可以看到“XML数据下载”项。这比分页的 HTML 数据更容易解析。至于网上流行的新浪股票数据接口,它不提供历史价格,只提供当前价格(或者不知道有没有)。点击链接,发现是:

数据线的小接口叫什么_股票新闻数据_股票新闻数据接口

非常好。一目了然。数据为:

现在已经开发了!

使用python,很容易写出一个多线程的网络爬虫程序。

数据线的小接口叫什么_股票新闻数据_股票新闻数据接口

线程库:线程

网页抓取:urllib2

XML 解析:xml.dom

HTML 解析:SGMLPaser

注意,由于数据量大,导致爬取失败的因素很多,所以要做好错误处理。我抓不到一次,我抓到了两次!我就是这么不要脸的处理的:发现爬不成功,就循环了他5次!谁让你提供免费午餐?我有义务履行作为套利者的义务。用钱买数据?你烧更多的钱,对吧? (如果你找到任何可以下载所有股票的所有历史数据的免费市场软件,请不要告诉我)。

在雅虎财经上,发现总市值不容易捕捉,也没有出现在其源代码中。用过ajax?没有找到相关的javascript代码。算了,我也不熟悉网络技术。

数据线的小接口叫什么_股票新闻数据_股票新闻数据接口

后来发现百度财经提供的信息比较容易抓取,所以就用了。

至于公司代码,一两千,人工一一核对非常费力。幸运的是,可以轻松找到交易所主页。在这方面,深交所比上交所做得更好,EXCEL文件可以直接下载。

经过几次调试,OK。都抓到了相关python代码可点击下方链接下载。

股票新闻数据接口_股票新闻数据_数据线的小接口叫什么

友情附上上市公司代码文件。 fetch_market_cap.py/ fetch_data.py 是主程序,其他都是模块。详情请参阅自述文件。

抓到的数据都是CSV文件,用python/perl/awk/sed处理极其方便。

购买数据?玩笑!它将免费进行。

标签 股票   财经