首页 > 2018年05月03日 > 全部分享
[置顶]使用scrapy_redis,自动实时增量更新东方头条网全站新闻
存储使用mysql,增量更新东方头条全站新闻的标题 新闻简介 发布时间 新闻的每一页的内容 以及新闻内的所有图片。项目文件结构。 这是run.py的内容 这是settings.py 这是pipelines.py,里面有建表文件。里面有个mysql检查url是否存在的语句,其实是多余的。因为url已经 ...
分类:其他   时间:2018-05-03 16:13:24    收藏:0  评论:0  赞:0  阅读:332
基本数据类型---数字
布尔型(bool)bool型只有两个值:True和False之所以将bool值归类为数字,是因为我们也习惯用1表示True,0表示False。整型Python中的整数属于int类型,默认用十进制表示,此外也支持二进制,八进制,十六进制表示方式。进制转换python中的数字默认还是十进制。还提供了一些... ...
分类:其他   时间:2018-05-03 16:13:07    收藏:0  评论:0  赞:0  阅读:209
字符编码
ASCII码ASCII(American Standard Code for Information Interchange,美国信息交换标准代码)是基于拉丁字母的一套电脑编码系统,主要用于显示现代英语和其他西欧语言。它是现今最通用的单字节编码系统,并等同于国际标准ISO/IEC 646。由于计算机... ...
分类:其他   时间:2018-05-03 16:12:43    收藏:0  评论:0  赞:0  阅读:197
浏览器的一个请求从发送到返回都经历了什么
我大概讲下我的答案: 1、先从网络模型层面: client (浏览器)与 server 通过 http 协议通讯,http 协议属于应用层协议,http 基于 tcp 协议,所以 client 与 server 主要通过 socket 进行通讯; 而 tcp 属于传输层协议、如果走 https 还需 ...
分类:其他   时间:2018-05-03 16:12:27    收藏:0  评论:0  赞:0  阅读:188
xj监控端口,模拟登陆脚本
#!/bin/bash date=`date +%Y%m%d-%H%M` count=0 ip1=124.117.246.195 ip2=124.117.246.194 port1=(443 80 6051 22101 11194) port2=(443 80) for (( k=0; k<5; k ...
分类:其他   时间:2018-05-03 16:12:07    收藏:0  评论:0  赞:0  阅读:193
NO15 第一关课后考试
第一关课后考试: 1、创建目录/data/oldboy,并且在该目录下创建文件oldboy.txt,然后在文件oldboy.txt里写如内容:inet addr:10.0.0.8 Bcast:10.0.0.255 Mask:255.255.255.0 [root@localhost ~]# mkdi ...
分类:其他   时间:2018-05-03 16:11:46    收藏:0  评论:0  赞:0  阅读:183
Python协程
Python协程:从yield/send到async/await 转自 http://python.jobbole.com/86069/ <!-- JiaThis Button BEGIN --><!-- JiaThis Button END --> 转自 http://python.jobbole ...
分类:编程语言   时间:2018-05-03 16:11:24    收藏:0  评论:0  赞:0  阅读:166
Js 各循环的不同
...
分类:Web开发   时间:2018-05-03 16:10:48    收藏:0  评论:0  赞:0  阅读:148
005_python对整数的拼接
一、 ...
分类:编程语言   时间:2018-05-03 16:10:18    收藏:0  评论:0  赞:0  阅读:145
了解IEnumerable
首先我是看了一篇很棒的博客 先说IEnumerable,我们每天用的foreach你真的懂它吗? 这里面比较全面的介绍了迭代器的使用原理,很好的回答了博主自己提出的三个问题。然后下面是我自己的一些小结 为什么在foreach中不能修改item的值? 答案是IEnumerator的object Cur ...
分类:编程语言   时间:2018-05-03 16:09:58    收藏:0  评论:0  赞:0  阅读:152
scrapy-redis(七):部署scrapy
一般我们写好scrapy爬虫,如果需要启动的话,需要进入scrapy项目的根目录,然后运行以下命令: 这样我们就可以在终端查看到爬虫信息了。但爬虫运行状态还需要给上级领导看,或者自己有空的时候就看看,总不可能想看的时候就登录服务器。 下面就给大家介绍scrapy官方推荐的部署爬虫项目的方法。 需要安 ...
分类:其他   时间:2018-05-03 16:09:40    收藏:0  评论:0  赞:0  阅读:171
C#关键字—方法参数
Printed From Microsoft.docs; 使用 params 关键字可以指定采用数目可变的参数的方法参数。 可以发送参数声明中所指定类型的逗号分隔的参数列表或指定类型的参数数组。 还可以不发送参数。 如果未发送任何参数,则 params 列表的长度为零。 在方法声明中的 params ...
分类:Windows开发   时间:2018-05-03 16:09:23    收藏:0  评论:0  赞:0  阅读:190
各eclipse插件的作用
Eclipse提供了一个可扩展插件的开发系统。这就使得Eclipse在运行系统之上可以实现各种功能。这些插件也不同于其他的应用(插件的功能是最难用代码实现的)。拥有合适的Eclipse插件是非常重要的,因为它们能让Java开发者们无缝的开发基于J2EE和服务的应用程序。Eclipse的插件也能帮助他 ...
分类:系统服务   时间:2018-05-03 16:08:51    收藏:0  评论:0  赞:0  阅读:221
反射1
##反射 #通过字符串映射或修改程序运行时的状态、属性、方法,有以下四个方法 def talk(self): print("%s 的叫声真好听...." % self.name) class Proper(object): def __init__(self,name): self.name = n... ...
分类:其他   时间:2018-05-03 16:08:35    收藏:0  评论:0  赞:0  阅读:132
leecode---40---数组,dfs---求所有的组合为target,有重复数组
dfs的入参是这样:总结果,当前结果,当前总和,数组,数组下标,target 如果当前结果>target直接退出 如果==target,记录结果 总和小于target说明当前需要加数字进去了,但是可以加的数字从pos位置开始往后都可以加入到数组中。这边因为可能有重复,那么如果当前数字和前面数字重复了 ...
分类:编程语言   时间:2018-05-03 16:08:18    收藏:0  评论:0  赞:0  阅读:186
Jaxb对xml报文头的小修小改
前言: 也是在实际工作中, 借助jaxb来实现xml到java对象的映射转换. 在实际应用中, 也遇到了一些有趣好玩的东西, 权当记录下来. 本文主要讲解jaxb如何生成约定的xml报文头的实现思路, 点比较小, 而且方法有点trick, 因此导致取博文标题的时候, 也有些小迷茫, ^_^. 现象: ...
分类:其他   时间:2018-05-03 16:08:02    收藏:0  评论:0  赞:0  阅读:337
2018年湘潭大学程序设计竞赛 G- 又见斐波那契
推一推矩阵直接快速幂。 ...
分类:其他   时间:2018-05-03 16:07:23    收藏:0  评论:0  赞:0  阅读:212
Promise 的基础用法
Promise 是异步编程的一种解决方案,比传统的解决方案–回调函数和事件--更合理和更强大。它由社区最早提出和实现,ES6将其写进了语言标准,统一了语法,原生提供了Promise 所谓Promise ,简单说就是一个容器,里面保存着某个未来才回结束的事件(通常是一个异步操作)的结果。从语法上说,P ...
分类:其他   时间:2018-05-03 16:07:03    收藏:0  评论:0  赞:0  阅读:192
Python Selenium之异常处理
自动化测试执行过程中,难免会有错误/异常出现,比如测试脚本没有发现对应元素,则会立刻抛出NoSuchElementException异常。这时不要怕,肯定是测试脚本或者测试环境哪里出错了!那如何处理才是关键?因为一般只是局部有问题,为了让脚本继续执行,so我们可以用try...except...ra ...
分类:编程语言   时间:2018-05-03 16:06:44    收藏:0  评论:0  赞:0  阅读:219
[原创]java导出word的5种方式
在网上找了好多天将数据库中信息导出到word中的解决方案,现在将这几天的总结分享一下。总的来说,java导出word大致有5种解决方案: 1:Jacob是Java-COM Bridge的缩写,它在Java与微软的COM组件之间构建一座桥梁。通过Jacob实现了在Java平台上对微软Office的CO ...
分类:编程语言   时间:2018-05-03 16:06:26    收藏:0  评论:0  赞:0  阅读:181
1226条   上一页 1 ... 31 32 33 34 35 ... 62 下一页
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!