一、请求的上下文: User-Agent 指明客户端的类型信息，服务器可以据此对资源的表述做抉择 二、请求的上下文: Referer 浏览器对来自某一页面的请求自动添加的头部 截图2 这对于我们的防盗链非常有帮助： 1、比如我们的图片不希望被某些站点直接引用我们就可以直接禁止掉 服务器端常用于统计分 ...
分类：
Web开发 时间：
2019-10-05 13:45:36
收藏：
0 评论：
0 赞：
0 阅读：
80
切换至 cuda 8.0 sudo rm rf /usr/local/cuda sudo ln s /usr/local/cuda 8.0 /usr/local/cuda nvcc version which nvcc 切换至 cuda 10.0 sudo rm rf /usr/local/cuda ...
分类：
其他 时间：
2019-10-05 13:45:04
收藏：
0 评论：
0 赞：
0 阅读：
88
什么是solr？ solr是一个独立的企业级搜索应用服务器，本质是基于Lucene(一个开源的全文检索引擎工具包)的全文搜索服务器。 搜索引擎的原理是倒排索引。 倒排索引的原理，如何建立倒排索引表的。Lucene会先给所有的数据一个文档编号，将所有的内容进行分词操作，然后，将每个分词和对应的文档编号 ...
分类：
其他 时间：
2019-10-05 13:44:46
收藏：
0 评论：
0 赞：
0 阅读：
83
scrapy框架之下载中间件 介绍 中间件是Scrapy里面的一个核心概念。使用中间件可以在爬虫的请求发起之前或者请求返回之后对数据进行定制化修改，从而开发出适应不同情况的爬虫。 “中间件”这个中文名字和前面章节讲到的“中间人”只有一字之差。它们做的事情确实也非常相似。中间件和中间人都能在中途劫持数 ...
分类：
其他 时间：
2019-10-05 13:44:25
收藏：
0 评论：
0 赞：
0 阅读：
77
初学汇编，老师让写个冒泡排序出来，带提示语句的，于是我就写了一个。 这个程序目前只支持8个数及以内的排序，排序的数值范围最大为255。 用到的东西都很简单，只用了基本的寄存器和jmp运算。 ...
分类：
编程语言 时间：
2019-10-05 13:44:05
收藏：
0 评论：
0 赞：
0 阅读：
74
一、安装使用命令【pip install wordcloud】安装词云二、参数使用了OpenCV的数据格式进行读取，字体可以多试几种 三、结果展示 效果不是很好，还需改进 四、参考OpenCV的包https://www.lfd.uci.edu/~gohlke/pythonlibs/ 官网https: ...
分类：
编程语言 时间：
2019-10-05 13:43:42
收藏：
0 评论：
0 赞：
0 阅读：
76
scrapy框架之Selectors选择器 Selectors（选择器） 当您抓取网页时，您需要执行的最常见任务是从HTML源中提取数据。有几个库可以实现这一点： BeautifulSoup是Python程序员中非常流行的网络抓取库，它基于HTML代码的结构构建一个Python对象，并且处理相当糟糕 ...
分类：
其他 时间：
2019-10-05 13:43:22
收藏：
0 评论：
0 赞：
0 阅读：
65
scrapy框架之spider 爬取流程 Spider类定义如何爬取指定的一个或多个网站，包括是否要跟进网页里的链接和如何提取网页内容中的数据。 爬取的过程是类似以下步骤的循环： 1.通过指定的初始URL初始化Request，并指定回调函数。当Request下载完后，生成Response作为参数传给 ...
分类：
其他 时间：
2019-10-05 13:43:05
收藏：
0 评论：
0 赞：
0 阅读：
177
Scrapy爬虫的暂停和启动 scrapy的每一个爬虫，暂停时可以记录暂停状态以及爬取了哪些url，重启时可以从暂停状态开始爬取过的URL不在爬取 实现暂停与重启记录状态 方法一： 1、首先cd进入到scrapy项目里（当然你也可以通过编写脚本Python文件直接在pycharm中运行） 2、在sc ...
分类：
其他 时间：
2019-10-05 13:42:35
收藏：
0 评论：
0 赞：
0 阅读：
115
for in 和 for offor in 循环数组或者对象的index值for of 循环数组的value值注意点：for in 数组或者对象均可以用 ，而for of 只能用于数组，对象不可用高阶数组函数filter 过滤数组的高阶函数filter（过滤） 参数为callBackFn（）回调函数... ...
分类：
编程语言 时间：
2019-10-05 13:24:37
收藏：
0 评论：
0 赞：
0 阅读：
59
问题 1014: [编程入门]阶乘求和 时间限制: 1Sec 内存限制: 128MB 提交: 27629 解决: 5450 问题 1014: [编程入门]阶乘求和 时间限制: 1Sec 内存限制: 128MB 提交: 27629 解决: 5450 问题 1014: [编程入门]阶乘求和 问题 101 ...
分类：
其他 时间：
2019-10-05 13:24:16
收藏：
0 评论：
0 赞：
0 阅读：
176
喜马拉雅 网页分析 1 2 3 4 5 6 7 8 - 打开我们要爬取的音乐专辑https://www.ximalaya.com/ertong/424529/ - F12打开开发者工具 - 点击XHR 随便点击一首歌曲会看到存储所有歌曲的地址【json格式】 - 正常情况下我们直接用requests ...
分类：
其他 时间：
2019-10-05 13:23:56
收藏：
0 评论：
0 赞：
0 阅读：
147
一、HTTP消息在服务器端的路由 Host 头部 规范与实现间是有差距的 二、代理服务器转发消息时的相关头部 1、Host 头部与消息的路由 2、客户端与源服务器间存在多个代理 三、如何传递 IP 地址 四、消息转发 Via 头部指明经过的代理服务器名称及版本 ...
分类：
Web开发 时间：
2019-10-05 13:23:36
收藏：
0 评论：
0 赞：
0 阅读：
82
按照HTML结构输出以下data结构 var data = [ { name:'AAA', child:[ {name:'a1',child:[{name:'a1-1'},{name:'a1-2'}]}, {name:'a2'}, {name:'a3',child:[{name:'a3-1'},{n ...
分类：
编程语言 时间：
2019-10-05 13:23:17
收藏：
0 评论：
0 赞：
0 阅读：
49
爬虫之获取猫眼电影10W评论 第一步 打开一个电影的评论界面: 哪吒之魔童降世:https://maoyan.com/films/1211270 我们发现这里只显示10条评论,而我们需要爬取10w条数据,所以不能从此页面进行抓包,所以放弃！！！！ 于是又上网查，终于看到一篇文章说到开发者模式可以直接 ...
分类：
其他 时间：
2019-10-05 13:22:57
收藏：
0 评论：
0 赞：
0 阅读：
96
server端 client端 ...
分类：
编程语言 时间：
2019-10-05 13:22:40
收藏：
0 评论：
0 赞：
0 阅读：
69
基本运算符：+(加)、-(减)、*(乘)、/(除)、%(取余) 当参与/ 运算的两个操作数都是整数时， 表示整数除法；否则， 表示浮点除法。 整数的求余操作（有时称为取模)用％ 表示。 例如， 15/2 等于7， 15%2 等于1 , 15.0/2 等于7.50 一、数学函数与常量：在Math 类中 ...
分类：
编程语言 时间：
2019-10-05 13:22:21
收藏：
0 评论：
0 赞：
0 阅读：
58
这篇文章记录安装CentOS7过程错误全记录，供大家和自己参考 起因：笔记本用的win10系统，开启热点的时候，总是10分钟就自动关闭。于是折腾linux系统，平时用win10系统，也切换到linux系统，当ftp服务器，学习用。 不在虚拟机里面安装，想在真机上学习。 尝试过几个版本，Ubuntu, ...
分类：
其他 时间：
2019-10-05 13:21:46
收藏：
0 评论：
0 赞：
0 阅读：
297
1.下载地址，版本号为 2.0.2： 链接: https://pan.baidu.com/s/1GXPm1kMENXhOkefKcEQnlA 密码: 8wwv 2.安装 1).在chrome右上角找到选项--》更多工具--》扩展程序。把crx文件拖拽，即可安装。 2).如果安装失败，显示 则打开开发 ...
分类：
其他 时间：
2019-10-05 13:21:13
收藏：
0 评论：
0 赞：
0 阅读：
99
协程 任务对象绑定回调 多任务异步协程 多任务异步爬虫 aiohttp使用 案列 ...
分类：
编程语言 时间：
2019-10-05 13:20:40
收藏：
0 评论：
0 赞：
0 阅读：
104
