iostat命令详解
iostat用于输出cpu和磁盘I/O的统计信息。命令格式
iostat --help
Usage: iostat [ options ] [ <interval> [ <count> ] ]
Options are:
[ -c ] [ -d ] [ -N ] [ -n ] [ -h ] [ -k | -m ] [ -t ] [ -V ] [ -x ] [ -y ] [ -z ]
[ -j { ID | LABEL | PATH | UUID | ... } [ <device> [...] | ALL ] ]
[ <device> [...] | ALL ] [ -p [ <device> [,...] | ALL ] ]
输出示例
# iostat
Linux 2.6.32-573.el6.x86_64 (localhost.localdomain) 03/28/2017 _x86_64_ (1 CPU)
avg-cpu: %user %nice %system %i ...
安装爬虫框架
安装爬虫框架
背景介绍
直接使用requests，Selenium等库进行爬虫时，可以达到预期的效果。但是写多了会发现许多模块是可以复用的。如果把这些组件抽取出来，就会慢慢行程一个框架的雏形。
利用框架，可以不去关心功能的实现方式，大大简化代码量。。
pyspider安装
pyspider需要Phantomjs。具体安装详见 4.安装请求库
12345678910111213yum install libcurl*export LDFLAGS=-L/usr/local/opt/openssl/libexport CPPFLAGS=-I/usr/local/opt/openssl/includeexport PYCURL_SSL_LIBRARY=opensslexport PYCURL_SSL_LIBRARY=nsspip3 install pycurlpip3 install pyspider#验证pyspider all #命令行输入#会开启本地的5000端口
scrapy安装
1234567891011yum groupinstall development to ...
cdn
准备工作server1
yum install varnish-*
#关闭selinux和iptables
server2server3
yum install -y httpd
#编辑默认发布文件
#关闭selinux和iptables
单个缓存cd /etc/varnish/
vim /etc/sysconfig/varnish #配置文件
#66行 端口改为80
vim default.vcl
8行 地址改为server2IP
/etc/init.d/varnish start #启动服务
vim default.vcl #在第10行』之后
sub vcl_deliver {
if (obj.hits > 0) {
set resp.http.X-Cache = "HIT from westos cache";
}
else {
set resp.http. ...
nginx_proxy配置说明
12345678910111213141516171819202122232425262728proxy_set_header Host $hoxt; //当后端web服务器也配置了多个虚拟主机时，需要用该header来区分反向代理哪个主机名prox_set header X-Forwarded-For $remote_addr //如果后端web服务器上的程序需要获取用户ip，可以从该header头获取proxy_set_header http_user_agent $http_user_agent; //判断访问端是苹果，安卓，win还是macproxy_body_buffer_size //用于指定客户端请求主体缓冲区大小，可以理解为先保存到本地在传给用户proxy_connect_timeout //表示与后端服务器连接的超时时间，即发起握手等候响应的超时时间proxy_send_timeout //表示后端服务器的数据回传时间，即在规定的时间内后端服务器必须传完所有的数据，否则，nginx将断开这 ...
nc脚本
1234567891011121314151617cat 2 |while read IPPORTdo IP=`echo $IPPORT | awk '{print $1}'` PORT=`echo $IPPORT | awk '{print $2}'` cat 1| while read A do nc -w 1 ${IP} ${PORT} done if [[ $? = 0 ]]; then echo "${IPPORT} is ok" >> 3 else echo "${IPPORT} is error" >> 3 fidone