值得纪念的一天:记第一个有用的爬虫的诞生

By wangwz|1月 8, 2017|生活琐事|0 comments

我是文科生出生,虽然从高中毕业就开始接触电脑,在我那个年代算很早了,至今过去快20年了,一直喜欢计算机,也一直打算以此谋生,但阴差阳错的是进入了通信行业。

心中一直有个心愿:希望有朝一日能写出自己的应用程序,哪怕做了产品经理并且一路进阶到了ui和前端开发,但是离真正的写代码还差的很远。

2017个人计划里有一个重要的内容就是:学些python,而python最主要的用途就是写爬虫程序。

这个算是比较清晰的目标定位了,远比写app或者java要清楚的多,因为我很清醒的认识到将来利用python能干的事情。

学python的路途很艰辛,虽然也学了很多入门知识,但是离真正的学有所有还很远,如果只是爬一些列表,其实没有多大的意义。

我的第一个爬虫程序主要是用来爬取p2p网站的发标情况的,大家都知道好的p2p网站热门的新标是很抢手的,如果不盯着页面刷新是很难知道什么时候发新标的。

而我的这个爬虫实现的功能是:一旦有符合我设定条件的新标发布,就立刻发邮件通知,我用的是139邮件,在新邮件达到时会有短信提醒,这样就间接的实现了新发布内容的短信通知功能,最重要的是:完全免费的。

写的过程中遇到的几个问题是:爬取关键字段并且拼装;循环执行任务;触发邮件提醒。

过程很痛苦,但是成就感满多,有点小激动,尽管在高手面前只是个屁大的事情,但作为中年文科男来说,自给自足还是很有快感的。

从这个代码开始,进行一片新的世界。

jietu20170108-144012

发表评论