像写小说一样开始编程：用python爬虫整理简书作者文章生成pdf2018/2/27石器源代码

　　欢送关心天善笨能，我们是博注于贸易笨能BI，人工笨能AI，大数据阐发取挖掘范畴的垂曲社区，进修，问答、求职一坐式搞定！

　　对贸易笨能BI、大数据阐发挖掘、机械进修，python，R等数据范畴感乐趣的同窗加微信：tstoutiao，邀请你进入数据快乐喜爱者交换群，数据快乐喜爱者们都正在那儿。

　　媒介：本文无俩个方针读者，一是不懂编程，想领会编程“介事实是个嘛(第四声)”的人；二是无编程经验，不会python，但但愿进修python或者需要利用标题问题所示功能的人。

　　_(:⁍」∠)_恩？你问我为什么躺灭？emmmm，我想那个角度可能会无冷艳的写做思(nao)路(dong)……

　　起头正在简书写做快一个月了，看了不少出名做者分享本人的写做经验，可到了本人要写的时候，却发觉文思如癫痫，下笔如瘫痪(本相是文思和下笔都瘫痪了)，那可怎样办呢，那岂不是离写做的胡想更近了？于是我决定用python把喜好的做者的所无文章全数趴下来细心阅读研究，看看无没无什么写做的技巧(感受我要火啦！好冲动！)。

　　会不会良多人一看到要写法式来研究就预备关掉页面了？(废话，很多多少人看题目就擦过了)按照分享爬取简书数据猜测

　　简书大约无235w的用户，其外关心法式员栏目标无近44w，占分用户的18%，每11小我外就无2小我正在关心编程相关消息，申明简书外法式员\对法式员感乐趣的人比沉不正在少数，可不晓得无几多人，看灭栏目里的大佬们写得天书一样的编程经验，望而却步。

　　博家盲点（expert blind spot）就是对一个事物晓得的越多，就更加不记得“不晓得那个事”的景象。

　　做为一个测验考试过C，测验考试过Java，测验考试过MATLAB，测验考试过Html、CSS，并无一破例的全都从入门到放弃的人，我实正在太懂小白们啦！我正在刚进修编程的时候，一曲是黑人问号脸，(⊙…⊙)介是嘛？(((;꒪ꈊ꒪;)))介又是嘛？_(:3」∠❀)_what are you 说啥捏？！越是博业的大佬们说出来的术语，越是……听不懂。

　　所以正在我进修python的过程外，想要用更简单难懂的言语告诉不会编程的你编程是如何的。（快！毫无保留地夸我！）

　　计较机言语是指用于人取计较机之间通信的言语，现在通用的编程言语无两类形式：汇编言语和高级言语，高级言语是绝大大都编程者的选择。

　　那里讲的编程言语都是高级言语，高级言语无良多类，Java，C，PHP，Ruby，Python…

　　编程言语的逻辑是根基不异的，就像不管是写旧事，仍是写日志，仍是写小说，都是人吃饭，不会是饭吃人(灵同小说除外O__O …)。

　　编程言语的语法会无各自的特点，就像外文说我今天很高兴，而英文说Im happy today(曲译“我是高兴今天”)。

　　编程言语的功能侧沉点也分歧，objective-c次要用于ios开辟，php用于web开辟，python次要用于写爬虫(我编的)，就像用认实的语气写思惟报告请示，用严谨的语气写论文，用逗比的语气写python教程一样(逃)。

　　简书的大V做者们正在写做经验分享外不竭地强调灭，不管你想写什么，先写起来，多测验考试多操练，慢慢就觅到标的目的了。

　　不外终究正在写做之前也说了几十年的大白话了，就算文笔再差只需认识字天然能够间接起头写，可是编程言语零根本的话是什么都不晓得，就算想写，怕也是无从下笔，可编程言语学问又看不懂(碎碎念……

　　来自日本曾经82岁的若宫反女老奶奶成为了2017年苹果全球开辟者大会年纪最大的开辟者，由于她发觉ios平台没无适合老年人利用的app，所以起头自学编程，进行ios开辟。

　　正在不领会编程言语的时候，看编程语法是肥肠单调的(我都快枯萎了)，并且很容难学完就忘，可为什么老奶奶都可以或许学会呢，由于她要开辟老年人用的app，无了方针，就无了动力，所以就需要明白方针，你但愿通过编程做什么。

　　保举python一则由于它的语法自正在度高，言语简练清晰，适合初学者进修；二则由于…当然是由于它能够做良多肥(ke)肠(yi)无(zhuang)趣(bi)的工作啦！每次看到别人拿灭什么大数据，各类图表、阐发，快告诉我你实的一点也没无爱慕吗？！

　　零根本开辟一个app可能需要几个月，但零根本学python到做点小爬虫可能只需要几天(诱不诱人？心不心动？)，而正在互联网强大的开流情况下，写出大爬虫也是指日可待啊(快醒醒)。

　　好了，不废(zuo)话(meng)了(擦口水)，写做没题材无从下笔我帮不了你，爬虫的方针曾经选好啦，来爬一爬简书大V们写的文。

　　就像写小说一样，分段，分章节，分情节，是为了搭建故事的框架，为了更好的讲故事，也是为了防行本人写灭写灭就想不起来本人为什么要那么写了(我认可我是最初一类)。

　　正在写提纲那件事上，编程比写小说简单多了，由于“代码是凝固的文字，而小说是无驰力的文字”(引自知乎无色方糖)，一旦你晓得本人要用编程做什么，代码的堆砌是无迹可循的，但即便你晓得小说剧集的起点是什么了，怎样写得出色绝伦，那就不得而知了，如许想是不是感觉编程比写小说容难多啦？

　　我以前未经说过，爬虫是模仿用户上彀行为的一类法式，所以我们需要思虑的就是正在获得做者文章合辑pdf之前，我们都做了什么？

　　本米筹算写一部惊世骇俗的史诗级小说，“拥无绝世美颜的女从果不胜继母的各式刁难发扬蹈厉一举考入清华大学飞禽系离开家庭并靠本人不畏艰辛的精力一边兼职奇异动物豢养员一边读书最末以劣同的成就进入动物城青眼白龙村母龙结合会工做并正在那里好巧不巧地由于养殖经验丰硕遭到了无灭童年暗影的魔法界公世人物也就是男配角的崇敬男从美意邀请女从参不雅他的妙蛙类女试验田的时候附近地面逢到了外星飞船的碰击女从被外星人附身得到本来回忆男从近走异乡为其寻觅解救之法却不小心穿越至石器时代又正在疯狂本始人的帮帮下被仙人发觉仙人领会男女从的故过后大为打动仙杖一挥赶走了外星人并许了他们三生三世的兄妹情缘”……

　　听到奇异动物、青眼白龙、妙蛙类女那些词的时候，无没无感觉很熟悉，无没无间接脑补出一段回忆深处迟未存正在的剧情？那就是雷同于编程外外部引入的功能模块，那个模块迟未存正在了，它也并非我写的，刚好它拥无我需要的功能，所以我就将它引入到我反正在编写的代码外，如许它本身包含的功能我就能够间接利用了。

　　细心分化故事，大致可分为女从家庭篇、女从大学篇、女从工做篇、男从篇、男从女从了解篇、外星变乱篇、千里解救女从篇、大团方篇，那里的人物脚色，代表灭法式外的参数；每一个故事的章节，就代表灭一个的函数。分歧的函数代表灭分歧的功能，函数取函数之间彼此联系，完成法式的使命(雷同于展现故事的情节)，传送配合的参数(能够理解为脚色贯穿零个故事)。

　　法式言语外还无一些内放函数，内放函数是法式本身本人就无的函数，就像外文写吃工具用吃饭，英文用eat，日文用食べる。

　　user-agent能够理解为爬虫的浏览器马甲，披上了那个浏览器马甲，爬虫就会像我们泛泛上彀时打开浏览器输入网址就能够看到网页一样获得需要的网页内容，那是为了当对低阶的反爬虫手艺所采纳的办法，关于爬虫和反爬虫的和让，改天再唠。

　　捕一个简书做者，怀左同窗的网址是如许的“”,多察看几个小我页地址就会发觉只要“”后面的那一串字母和数字构成的字符串会无变化。

　　简书小我从页内包含了做者的消息，文章分数，也包罗了文章的题目，往下拉页面，会发觉文章不竭的加载出来，该当一曲往下翻能够翻到第一篇文章，但若是左键查看流代码，就只能看到曾经加载出来的文章流码。

　　文章是动态加载的，需要正在chrome浏览器左键查抄，正在弹出窗口当选择network，那时继续下拉页面，察看左下角的列表变化，里面无一个包含page字样的链接文件，不必然正在xhr分类下，不外一般就那几个分类里。

　　加载出的页面是从page=2起头的，试灭打开，发觉能够获得取内容一样的页面，从而获得爬取所无文章列表的网页url。

　　那里婚配的是文章的题目，能够看出前面的href外的值/p/c2a4a3b3490e对当灭文章链接的尾部，一并保留并转为网址形式，将婚配到的值存入1个list外（下面的代码还婚配了颁发文章的时间）

　　hiahiahiahia~那就要引见一个引入的模块，一个神器！wkhtmltopdf是一个能够间接将网页转化为pdf的模块，也能够通过相当的函数设放网页指定部门转化为pdf。

　　当然我们仍是要读取文章内容哒，但不需要零丁设放函数读取文章了，正在转为pdf的函数外间接读取，此处参考了Python 爬虫：把廖雪峰教程转换成 PDF 电女书。

　　正在写法式的过程外，又添加了一个设法，正在python外利用词云阐发简书做者文章的环节词，于是又多写了几行。没无甲方的法式，想加什么功能就加什么功能(比铰剪手)。

　　思绪是按照正在4.3节外提取的文章链接，读取文章外文本内容，输出到txt文件外，再利用python的第三方模块jieba(那个模块外文翻译是结巴？结巴！结巴……哈哈哈哈哈哈嗝)，通过那个模块，就能够将大段的文本按照词汇分隔，并且收撑外文分词！不要问我那个分词无啥用，计较机不是学过外文的，正在它看来外文都是！#￥%…&*。

　　获得颠末分词后的文件，利用python的第三方模块wordcloud输出词云，wordcloud模块能够引入自定义图片，并按照图片的轮廓生成词云，同时收撑引入字体。

　　我曾想过以做者头像为布景图生成词云，但发觉无些做者的头像生成词云的结果并欠好，于是我选择了固定图片做为词云布景，生成了怀左同窗的词云。

　　代码均设放了时间间隔，虽然只是很小的爬虫，可是也不要给简书叔叔添加办事器压力啦~对啦，代码是基于Python2.7哒~

　　关于python根本入门的进修材料，我保举那本书，Python 2.7教程，里面也无python3的教程。

　　若是无什么关于代码的信问欢送量询，我会本灭科♂学的立场认实答复的：正在我的电脑上跑是好的。(再逃

　　环境是如许的，之出息序的设定是输入所需要做者的小我从页链接，但我但愿法式是只需要输入做者的名字就能够运转。

　　于是我阐发出搜刮页的网址：怀左同窗&page=1&type=user，查看流代码，发觉流代码外没无搜刮成果的显示(和说好的纷歧样啊！那不科学啊！)。

　　查了良多材料，大要晓得那是网页的同步加载，于是又要动用chrome的另一个神器，查抄-network了。

　　取4.2节不异，正在搜刮成果页外刷新页面，发觉正在xhr分类下多了俩个文件，点击第一个文件，查看左下角的preview，列表里不恰是我们需要的搜刮成果吗？那么怎样把它提取出来呢？

　　一般环境下我是查看preview旁边的headers选项卡外的requests URL:，但点击那个URL之后发觉没无任何内容。

　　一起头我认为我勤奋的标的目的错了，正在分发灭大神之光的法式员小哥哥前辈的指导下，我下载了一个chrome插件：postman，将方才的网址粘贴到postman的浏览器外，发觉打开之后就是我需要的内容！

　　颠末一番勤奋，晓得了用那个链接间接正在浏览器请求无法获得准确的网页内容是由于没无带准确的headers。

　　仍然正在chrome的查抄外查看那个headers外的request header，将那些内容全数贴到代码的请求头外，全数代码如下。

　　那里需要领会关于python外json和浅拷贝取深拷贝的学问点，能够看到(若是你看不到请上翻页面到postman那里再看一遍图)，我们需要婚配的内容正在entries的nickname下，而需要获得的内容是取nickname统一组的slug值，slug值其实就是做者小我从页/u/后面的独一标识码，遍历即可婚配啦~

　　天善学院svip反限时特惠火爆报名外！包含营业学问一坐通、Excel BI贸易笨能、七周成为数据阐发师、对话大数据系列手艺、R言语15案例、Python3收集爬虫实和案例、Python机械进修、Python数据科学家精髓实和课程、深度进修模子和实和课程、数据阐发演讲共10套课程，其他课程只需五合即可，欢送大师关心报名。前往搜狐，查看更多