首页 > 2018年01月31日 > 全部分享
python3下scrapy爬虫(第五卷:利用cookie模拟登陆抓取个人中心页面)
之前我们爬取的都是那些无需登录就要可以使用的网站但是当我们想爬取自己或他人的个人中心时就需要做登录,一般进入登录页面有两种 ,一个是独立页面登陆,另一个是弹窗,我们先不管验证码登陆的问题 ,现在试一下直接登陆的爬取: 爬虫是模拟人的行为来请求网页读取数据的现在我们划分一下过程,从登陆到获取: 先看一 ...
分类:编程语言   时间:2018-01-31 23:18:35    收藏:0  评论:0  赞:0  阅读:803
Enrolment API
由于Moodle 2.0有一个用户注册的新概念,它们完全独立于角色和功能。能力通常与注册状态结合使用。 什么是注册? 登记的用户可以完全参加一门课程。活跃用户注册允许用户输入课程。只有注册的用户可能是小组成员。成绩仅存储在注册用户的名下。 Unenrolment 清除选课(注册)是不可逆转的操作,清 ...
分类:Windows开发   时间:2018-01-31 23:18:02    收藏:0  评论:0  赞:0  阅读:257
Mongodb副本集集群搭建
一、环境准备 1.1.主机信息(机器配置要求见硬件及开发标准规范文档V1.0) 序号 主机名 IP 1 DB_01 10.202.105.52 2 DB_02 10.202.105.53 3 DB_03 10.202.105.54 4 DB_04 10.202.105.181 服务器52(DB_01 ...
分类:数据库技术   时间:2018-01-31 23:17:30    收藏:0  评论:0  赞:0  阅读:232
c语言程序设计第4周编程练习(素数和)
1 素数和(5分) 1 素数和(5分) 题目内容: 我们认为2是第一个素数,3是第二个素数,5是第三个素数,依次类推。 现在,给定两个整数n和m,0<n<=m<=200,你的程序要计算第n个素数到第m个素数之间所有的素数的和,包括第n个素数和第m个素数。 输入格式: 两个整数,第一个表示n,第二个表 ...
分类:编程语言   时间:2018-01-31 23:17:11    收藏:0  评论:0  赞:0  阅读:278
php中$_REQUEST、 $_GET、 $_POST、 $_COOKIE 的关系和区别
看到REQUEST可以通吃GET 、POST 、COOKIE 后 感觉这个$_REQUEST太强大了是不是其他的几个超级变量就没有用了,下面对他们整体做个比较: 1.安全性 post>get 2.数据传输大小 post>get(get最大2000字节) 3.保存到收藏夹 get比较方便. 4.权限大 ...
分类:Web开发   时间:2018-01-31 23:16:34    收藏:0  评论:0  赞:0  阅读:327
python学习笔记(十二)-网络编程
本文结束使用 Requests 发送网络请求。requests是一个很实用的Python HTTP客户端库,编写爬虫和测试服务器响应数据时经常会用到。可以说,Requests 完全满足如今网络的需求。 安装方式一般采用$ pip install requests。 一开始要导入 Requests 模 ...
分类:编程语言   时间:2018-01-31 23:15:26    收藏:0  评论:0  赞:0  阅读:279
Effective Java 第三版——29. 优先考虑泛型
Tips 《Effective Java, Third Edition》一书英文版已经出版,这本书的第二版想必很多人都读过,号称Java四大名著之一,不过第二版2009年出版,到现在已经将近8年的时间,但随着Java 6,7,8,甚至9的发布,Java语言发生了深刻的变化。 在这里第一时间翻译成中文 ...
分类:编程语言   时间:2018-01-31 23:15:09    收藏:0  评论:0  赞:0  阅读:260
URI和URL的区别(转)
1说明: 这段时间写android的时候用到了URL和URI,有点分不清楚,于是做了一个系统性的学习。在这里将自己的学习笔记粘贴出来,希望对大家有帮助。 1)Java类库里有两个对应的类java.net.URL和java.net.URI,官方的定义分别如下: (URL)A Uniform Resou ...
分类:Web开发   时间:2018-01-31 23:14:10    收藏:0  评论:0  赞:0  阅读:270
和为S的连续正整数序列
题目描述 小明很喜欢数学,有一天他在做数学作业时,要求计算出9~16的和,他马上就写出了正确答案是100。但是他并不满足于此,他在想究竟有多少种连续的正数序列的和为100(至少包括两个数)。没多久,他就得到另一组连续正数和为100的序列:18,19,20,21,22。现在把问题交给你,你能不能也很快 ...
分类:其他   时间:2018-01-31 23:13:51    收藏:0  评论:0  赞:0  阅读:267
Linux Tomcat安装及配置详细步骤
1. 连接服务器,进入你要存储文件的文件夹(我的是 cd /root/developer),下载tomcat,得到 apache-tomcat-9.0.4.tar.gz 文件。 2. 使用 tar -zxvf 解压 apache-tomcat-9.0.4.tar.gz 文件 解压完成后会得到 apa ...
分类:系统服务   时间:2018-01-31 23:13:26    收藏:0  评论:0  赞:0  阅读:248
nested exception is java.lang.IllegalStateException: Context namespace element 'annotation-config' a
公司还用的是spring低版本,今天用jre 8测试了一下,发现错误: Unexpected exception parsing XML document from class path resource [applicationContext-dao.xml]; nested exception ...
分类:编程语言   时间:2018-01-31 23:12:52    收藏:0  评论:0  赞:0  阅读:579
NP:建立可视化输入的二次函数数据点集np.linspace+np.random.shuffle+np.random.normal
import numpy as np import matplotlib.pyplot as plt def fix_seed(seed=1): #重复观看一样东西 # reproducible np.random.seed(seed) # make up data建立数据 fix_seed(1) ... ...
分类:其他   时间:2018-01-31 23:12:36    收藏:0  评论:0  赞:0  阅读:436
python发送邮件
1 import smtplib 2 from email.mime.text import MIMEText 3 from email.utils import formataddr 4 5 def Myemail(email_list,content,subjects): 6 #一设置邮件内容 ... ...
分类:编程语言   时间:2018-01-31 23:11:58    收藏:0  评论:0  赞:0  阅读:260
python:多进程,多进程队列,多进程管道,Manager,进程锁,进程池
#!usr/bin/env python# -*- coding:utf-8 -*-__author__ = "Samson"import multiprocessingimport timedef run(name): time.sleep(2) print("process start...%s ...
分类:编程语言   时间:2018-01-31 23:10:22    收藏:0  评论:0  赞:0  阅读:274
Codeforces Round #459 (Div. 2)题解
补题 codeforces 918C 题意 给定一个含有通配符 和`()`的字符串,问有多少子串是括号匹配的 解题思路 首先考虑不用栈求括号匹配的方法: c++ bool solve(char s) { int top=0; for (int i=0;i using namespace std; c ...
分类:其他   时间:2018-01-31 23:09:41    收藏:0  评论:0  赞:0  阅读:219
04.openssl背景
4.1 openssl结构 4.1.1 Openssl总体结构 Openssl整个软件包大概可以分成三个主要功能部分:密码算法库、SSL协议库及应用程序 目录名功能描述crypto存放Openssl所有加密算法源码文件和相关标准如X509源码文件,是Openssl 中最重要的目录,包含了Openss ...
分类:其他   时间:2018-01-31 23:09:16    收藏:0  评论:0  赞:0  阅读:237
【慕课网实战】Spark Streaming实时流处理项目实战笔记十五之铭文升级版
第12章 Spark Streaming项目实战(python生成器的编写、python语言的基础语法) ...
分类:其他   时间:2018-01-31 23:08:46    收藏:0  评论:0  赞:0  阅读:224
洛谷P1233 [木棍加工]
主要思路: 这道题一眼看过去就可以贪心。。 首先可以按L排序。。 显然排序之后我们就可以抛开L不管了。。 然后就可以愉快的贪心了。。 细节: 这道题可以看成用 最少的合法序列(详见原题) 装下所有木棍。。 可以考虑用一种数据结构来记录序列最末端的木棍。。 可以考虑先按上述思路排序, 然后每次加木棍时 ...
分类:其他   时间:2018-01-31 23:08:29    收藏:0  评论:0  赞:0  阅读:256
Android SlidingMenu使用详解
SlidingMenu是安卓程序中的侧滑界面,和系统自带的DrawerLayout的作用是相同的,主要是视觉效果不一样,手机版QQ使用的侧滑界面就是SlidingMenu 初步使用方法:实现侧滑界面滑出效果 步骤一:下载好SlidingMenu类库文件后导入到项目中 SlidingMenu类库网盘下 ...
分类:移动平台   时间:2018-01-31 23:07:05    收藏:0  评论:0  赞:0  阅读:240
day07
1、sql注入跟防止sql注入import pymysql conn = pymysql.connect(host='211.149.218.16',user='jxz', password='123456', port=3306, charset='utf8',db='jxz')cur = con ...
分类:其他   时间:2018-01-31 23:06:27    收藏:0  评论:0  赞:0  阅读:192
1142条   上一页 1 ... 3 4 5 6 7 ... 58 下一页
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!