昨天不是刚亏过钱吗？python爬取天天基金网所有基金数据

2024-09-20 05:30:03

股票市场是一个需要长期持有的市场，投资者需要有耐心和毅力，不断学习和调整自己的投资策略，才能在市场中获得长期的稳定回报。下面，天成财经将带领大家一起认识天天基金网基金公司，希望可以帮到你。

买基金真的挺有用的，500块钱一个月只亏了200，要是不买基金早就花光了. .

基金，堪称近期当代年轻人

无法言说的痛

看着满屏一片环保

眼泪默默流了下来…

有一说一，小编这些天

可以说是被绿的睡不着

懂了，虽然没有爱情

但要我强行体会心碎的感受吗？

简介

青青草原，跌妈不认

提到爬虫，大部分人都会想到使用Scrapy工具，但是仅仅停留在会使用的阶段。为了增加对爬虫机制的理解，我们可以手动实现多线程的爬虫过程，同时，引入IP代理池进行基本的反爬操作。

本次使用天天基金网进行爬虫，该网站具有反爬机制，同时数量足够大，多线程效果较为明显。

第一步：基金数据爬取

打开天天基金网，通过浏览器的开发者工具，我们能观察到用户的请求和数据的返回过程。从而利用正则表达式，以及 xpath 等工具，辅以一点 python 爬虫的知识，很容易就能获取到每支基金的增长率和持仓情况。开始分析天天基金网的一些数据。经过抓包分析，可知： ./fundcode_search.js包含所有基金的数据，同时，该地址具有反爬机制，多次访问将会失败的情况。

同时，经过分析可知某只基金的相关信息地址为:fundgz.1234567.com.cn/js/ 基金代码 .js

分析完天天基金网的数据后，搭建IP代理池，用于反爬作用。搭建代理池，由于该作者提供了一个例子，所以本代码里面直接使用的是作者提供的接口。如果你需要更快速的获取到普匿IP，则可以自行搭建一个本地IP代理池。

第二步：股票增持计算

有了上面爬下来的原始数据之后，我们就可以统计：单股票被基金公司持有的数量、单股票被基金公司持有的市值和持有单股票基金公司的数目。对于不同的相邻季度，我们可以计算这三个量的增长，又得到三个新的指标。对于不同的指标进行降排序，我们可以得到股票在基金公司中的受欢迎程度，以此得到股票好坏度，指标值作为权重。不同的指标得到的不同的股票排序还可以拿前几取交集。从而我们就得到了基金公司们期待值比较高的股票。

搭建完IP代理池后，我们开始着手多线程爬取数据的工作。一旦使用多线程，则需要考虑到数据的读写顺序问题。这里使用python中的队列queue进行存储基金代码，不同线程分别从这个queue中获取基金代码，并访问指定基金的数据。由于queue的读取和写入是阻塞的，所以可以确保该过程不会出现读取重复和读取丢失基金代码的情况。

第三步：好股基金选取

第二步中，我们其实已经得到了被基金公司看重的股票，如果炒股，直接取其前几，按其权重进行金额配置即可。现在问题是，国内股票交易，一手起步，选出来的股票很贵，比如说茅台，你不一定买得起。这时候，我们还是寄希望于买基金。我们希望选出的基金的持仓和我们选出的好股票集合的“相似度”尽可能高。相似度的衡量又很多方法。比如说：基金持有的十大重仓含有好股的数目、基金持有的十大重仓含有好股的市值、基金持有的十大重仓含有好股的占比、基金持有的十大重仓含有好股的加权占比（加权基于增持市值或增持基金数量）等等。

现在，开始编写如何获取指定基金的代码。首先，该函数必须先判断queue是否为空，当不为空的时候才可进行获取基金数据。同时，当发现访问失败时，则必须将我们刚刚取出的基金代码重新放回到队列中去，这样才不会导致基金代码丢失。