使用Logstash实时分析日志

Posted on 2018-12-20

Logstash是一个应用程序日志、事件的传输、处理、管理和搜索的平台。你可以用它来统一对应用程序日志进行收集管理，提供 Web 接口用于查询和统计。

一、安装

环境:Centos6

需要java运行环境:java -version

下载并安装公共签名密钥

1	rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch

然后在/etc/yum.repos.d/目录添加一个以.repo后缀的文件，比如:logstash.repo

[logstash-2.3]
name=Logstash repository for 2.3.x packages
baseurl=https://packages.elastic.co/logstash/2.3/centos
gpgcheck=1
gpgkey=https://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1

至此资源库添加完成，你可以使用yum安装logstash了

1	yum install logstash

安装完成后，可用以下命令测试是否安装成功

1	bin/logstash -e 'input { stdin { } } output { stdout {} }'

logstash的默认程序路径在:/opt/logstash/

logstash的默认配置文件路径在:/etc/logstash/conf.d/

二、配置

在/etc/logstash/conf.d/新建一个以.conf后缀的文件，比如:nginx.conf

input {
    file {
        path => "/opt/log/pv.ifchange.com/pv.ifchange.com.access.log"
        type => "nginx-access"
    }
}
output {
    http {
        format => "form"
        http_method => "post"
        url => "http://logsystem.dev.ifchange.com/analysislog/clickLog"
        mapping => ["Body", '%{message}']
    }
    stdout {
        codec => "rubydebug"
    }
}

以上配置代表将文件/opt/log/pv.ifchange.com/pv.ifchange.com.access.log里的日志实时通过HTTP POST的方式提交给http://logsystem.dev.ifchange.com/analysislog/clickLog进行处理。为了方便调试，加了stdout参数，代表输出到屏幕。

##三、启动
为了方便调试可手动启动:

1	/opt/logstash/bin/logstash agent -f /etc/logstash/conf.d/test.conf

也可直接使用服务启动:

1	service logstash start

停止服务:

1	service logstash stop

配置文件测试:

1	service logstash configtest

使用Certbot安装Let's Encrypt免费SSL证书

Posted on 2018-12-20

1.安装certbot

1	sudo yum install certbot

2.生成域名证书

1	certbot certonly --standalone -d youdomain.com -d www.youdomain.com

3.配置Nginx SSL站点

server {
    listen 80;
    server_name www.youdomain.com youdomain.com;
    return 301 https://$server_name$request_uri;
}

server{
    listen 443 ssl;
    server_name www.youdomain.com youdomain.com;
    index index.html index.htm index.php default.html default.htm default.php;
    root  /home/wwwroot/www.youdomain.com;
    ssl on;
    ssl_certificate /etc/letsencrypt/live/youdomain.com/fullchain.pem;
    ssl_certificate_key /etc/letsencrypt/live/youdomain.com/privkey.pem;

    ……
    }

其中return 301 https://$server_name$request_uri;是用来实现80端口到443端口的流量跳转的.

4.重启Ningx即可

5.更新证书

因Let’s Encrypt提供的免费证书有效期为90天,所以我们通过以下语句通过续期

1	certbot renew --quiet

更新所有站点证书

参考

selenium PhantomJS自动登录网站

Posted on 2018-12-20

#!/usr/bin/env python
#coding:utf-8
import re
import sys
import time
import urllib2

from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
from selenium.webdriver.support import ui

#设置user-agent
dcap = dict(DesiredCapabilities.PHANTOMJS)
dcap["phantomjs.page.settings.userAgent"] = ("Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:25.0) Gecko/20100101 Firefox/25.0 ")

#设置参数
service_args = ['--proxy=192.168.1.201:7070','--proxy-type=socks5','--ignore-ssl-errors=true']
driver = webdriver.PhantomJS(executable_path='/root/phantomjs2.1.1/bin/phantomjs', desired_capabilities=dcap,service_args=[])
driver.maximize_window()
wait = ui.WebDriverWait(driver, 10)

#登录alivv
url = "http://www.alivv.com"
driver.get(url)
wait.until(lambda dr: dr.find_element_by_css_selector(".login_login").is_displayed())
driver.find_element_by_css_selector(".login_login").click()
driver.find_element_by_css_selector("#email").send_keys("kaychen")
driver.find_element_by_css_selector("#pass").send_keys("0516*****")
driver.find_element_by_css_selector("#jzpass").click()
driver.find_element_by_css_selector("#submitFormBtn").click()
#进入会员中心
driver.find_element_by_css_selector("#sname a").click()
#输出页面源码
print driver.page_source
time.sleep(3)
driver.save_screenshot('/tmp/screen.png')
driver.quit()

升级Node/Npm版本

Posted on 2018-12-20

一.升级nodejs

安装n
1
sudo npm install -g n

使用n来管理版本

sudo n lts 长期支持
sudo n stable 稳定版
sudo n latest 最新版
sudo n 8.4.0 直接指定版本下载

查看node版本 node -v

二.升级npm

1	sudo npm install -g npm

ElasticSearch指南

Posted on 2018-12-19

Why？(使用ES目标)

解决根据progress和账号获取订单列表Mysql性能瓶颈

How?

将每个订单的查询条件都存储到ES，进行索引，所有订单支持搜索的条件都添加到索引Mapping字段中去，（如何解决延迟问题？）

一、安装

依赖
- Java
- Node
下载
- ElasticSearch官网下载
- ElasticSearch-Head GitHub下载

部署ES

主节点配置文件elasticsearch-master/config/elasticsearch.yml添加

# 允许ElasticSearch-Head访问
http.cors.enabled: true
http.cors.allow-origin: "*"
# 设置集群名称
cluster.name: order
# 设置节点名称
node.name: master
# 设置为主节点
node.master: true
# 指定主机IP
network.host: 127.0.0.1

从节点配置文件elasticsearch-slave/config/elasticsearch.yml添加

# 设置集群名称
cluster.name: order
# 设置节点名称
node.name: slave01
# 指定端口
http.port: 9201
# 指定集群主节点IP
discovery.zen.ping.unicast.hosts: ["127.0.0.1"]

启动./bin/elasticsearch -d

部署ES-HEAD

1
2
3

cd elasticsearch-head
npm install
npm run start

访问http://localhost:9100/

二、使用

1.创建索引

PUT http://127.0.0.1:9200/chengdan
{
    "settings":{
        "number_of_shards" : 1
    },
    "mappings":{
        "order":{
            "properties":{
                "order_id":{
                    "type":"integer"
                },
                "toh_account_id":{
                    "type":"integer"
                },
                "tob_account_id":{
                    "type":"integer"
                },
                "progress":{
                    "type":"integer"
                },
                "updated_at":{
                    "type":"date",
                    "format":"yyyy-MM-dd HH:mm:ss||yyyy-MM-dd"
                }
            }
        }
    }
}

2.创建文档

POST http://127.0.0.1:9200/chengdan/order/34756359
{
    "order_id":34756359,
    "toh_account_id":10000002,
    "tob_account_id":1226,
    "progress":10,
    "updated_at":"2018-03-10 12:10:10"
}

3.查询文档

POST http://127.0.0.1:9200/chengdan/order/_search
{
    "query":{
        "bool":{
            "must":[
                {"terms":{"toh_account_id":[10000001,10000001]}},
                {"terms":{"progress":[10,11,20]}}
            ]
        }
    },
    "sort":[
            {"updated_at":{"order":"desc"}}
    ]
}

4.修改文档

POST http://127.0.0.1:9200/chengdan/order/34756359/_update
{
    "doc":{
        "progress":20,
        "updated_at":"2018-03-12 20:00:00"
    }
}

Ubuntu18.04部署Shadowsocks

Posted on 2018-12-18 | Edited on 2018-12-20 | In Internet

一.Server部署

更新源 sudo apt-get update
安装python-pip sudo apt-get install python-pip
安装shadowsocks sudo pip install shadowsocks

编写配置文件sudo vim /etc/shadowsocks.json

{
"server": "0.0.0.0",
"server_port": 9999,
"local_address": "127.0.0.1",
"local_port": 5555,
"password": "******",
"method": "aes-256-cfb",
"fast_open": true,
"timeout":300
}

启动服务 sudo ssserver -c /etc/shadowsocks.json -d start

二.客户端下载

Client下载

三.备注

Ubuntu18.04需修正openssl版本问题,替换EVP_CIPHER_CTX_cleanup为EVP_CIPHER_CTX_reset

sudo sed -i 's/EVP_CIPHER_CTX_cleanup/EVP_CIPHER_CTX_reset/g' /usr/local/lib/python2.7/dist-packages/shadowsocks/crypto/openssl.py

订单入职过保逻辑

Posted on 2018-12-18 | Edited on 2018-12-20 | In Ifchange

一.增加业务逻辑

订单入职/过保时的操作(update_order_status)

将该简历的其他推荐记录删除
将简历的状态改为不考虑机会 - (忠池提供function)
将简历的推荐记录全部设为无效

二.刷过往数据脚本

一.刷过往数据

获取昨天设置过为入职/过保的所有订单号(去重)

1	select distinct order_id from hunter_order_progress where progress in (23,24);

循环根据订单号获取tob账号topid,toh账号id,职位id,简历id,order_id

1	select tob_account_top_id,toh_account_id,tob_position_id,toh_resume_id,order_id from hunter_order where order_id=当前order_id;

从推荐库中根据tob账号topid,简历id获取所有推荐记录,删除(order_id不等于订单信息中的)所有未邀约的推荐记录.

select prefix from table_alloter where uid=tob_account_top_id;
select order_id,process_status from prefix_recommend_toh_resume where resume_id=toh_resume_id;

foreach($ret as $order){ if order_id != 当前order_id}{process_status = 99};

二.刷过往订单数据

获取所有设置过为入职/过保的所有订单号(去重)

1	select distinct order_id from hunter_order where progress in (23,24);

循环根据订单号获取tob账号id,toh账号id,职位id,简历id,order_id

1	select tob_account_top_id,toh_account_id,tob_posiition_id,toh_resume_id,order_id from hunter_order where order_id=当前order_id;

从订单库中根据tob账号topid,简历id获取所有订单,将(order_id不等于订单信息中的)所有订单改成无效推荐.

1
2
3

select order_id from hunter_order where tob_account_top_id = tob_account_top_id and toh_resume_id=toh_resume_id;

foreach($ret as $order){ if order_id != 当前order_id}{ 调用update_order_status,传参progress=58,order_id,remark };

pip使用国内源

Posted on 2018-02-20 | Edited on 2018-12-20

对于Python开发用户来讲，PIP安装软件包是家常便饭。但国外的源下载速度实在太慢，浪费时间。而且经常出现下载后安装出错问题。所以把PIP安装源替换成国内镜像，可以大幅提升下载速度，还可以提高安装成功率。

国内源

清华：https://pypi.tuna.tsinghua.edu.cn/simple
阿里云：http://mirrors.aliyun.com/pypi/simple/
中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/
华中理工大学：http://pypi.hustunique.com/
山东理工大学：http://pypi.sdutlinux.org/
豆瓣：http://pypi.douban.com/simple/
临时使用
可以在使用pip的时候加参数 -i https://pypi.tuna.tsinghua.edu.cn/simple
例如：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pyspider

这样就会从清华这边的镜像去安装pyspider库

永久修改,一劳永逸

Linux下，修改 ~/.pip/pip.conf (没有就创建一个文件夹及文件。文件夹要加“.”，表示是隐藏文件夹)

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple
[install]
trusted-host=mirrors.aliyun.com

windows下，直接在user目录中创建一个pip目录，如：C:\Users\xx\pip，新建文件pip.ini。内容同上。

LVM扩展根目录空间

Posted on 2018-01-01 | Edited on 2018-12-20

LVM扩展根目录空间

df -h #查看挂载 /dev/mapper/前缀的表示支持LVM扩展
yum install lvm2* part* #必要工具
fdisk -l #查看新硬盘
fdisk /dev/sdb #硬盘分区 需手动输入指令
#输入n进行分区
#输入p为主分区
#输入1(一个主分区)
#输入回车(起始磁盘数默认)
#输入回车(磁盘大小默认全部)
#输入t修改分区格式
#输入8e(LVM必须为此格式)
#输入p查看分区
#输入w写入分区

mkfs.ext4 /dev/sdb1 #格式化分区
partprobe #重新读取分区表 无需重启
pvcreate /dev/sdb1 #创建物理卷(physical volume)
pvscan #查看物理卷
pvdisplay #查看物理卷详情
vgscan #查看卷组(Volume Group)
vgdisplay #查看卷组详情
vgextend VolGroup00 /dev/sdb1    #扩展VolGroup00
lvscan #查看逻辑卷(logical volume)
lvdisplay #查看逻辑卷详情 以lv_root为例
lvextend -L +100G /dev/VolGroup00/lv_root #扩展lv_root  精确扩展可用-l指定PE扩展
resize2fs /dev/VolGroup00/lv_root #重设lv_root大小
df -h #查看挂载情况，已经扩容

#非LVM扩展空间
fdisk -l		#查看硬盘
fdisk /dev/sdb   	#硬盘分区 需手动输入指令
#输入n进行分区
#输入p为主分区
#输入1(一个主分区)
#输入回车(起始磁盘数默认)
#输入回车(磁盘大小默认全部)
#输入p查看分区
#输入w写入分区

mkfs.ext4 /dev/sdb1 #格式化分区
mv /var/lib/redis /backup #先备份
mkdir /var/lib/redis
mount /dev/sdb1 /var/lib/redis
mv /backup/redis/* /var/lib/redis
echo "/dev/sdb1 /var/lib/redis ext4 defaults 0 0" >> /etc/fstab   
#修改/etc/fstab 加入启动挂载

iptables笔记

Posted on 2018-01-01 | Edited on 2018-12-20

iptables -P INPUT ACCEPT/DROP
iptables -P OUTPUT ACCEPT/DROP
iptables -P FORWARD ACCEPT/DROP

iptables -F #清除预设表filter中的所有规则链的规则
iptables -X #清除预设表filter中使用者自定链中的规则
iptables -Z #清除预设表filter中使用者自定链中的规则
iptables -L -n #查看
iptables-save  #预览规则内容
service iptables save #保存到默认文件
service iptables restart #重启


#接纳属於现存及相关连接的压缩
iptables -A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT
#允许icmp包通过,也就是允许ping
iptables -A INPUT -p icmp -j ACCEPT
#允许loopback(不然会导致DNS无法正常关闭等问题)
iptables -A INPUT -i lo -j ACCEPT
#添加必要端口
iptables -A INPUT -s 192.168.0.0/16 -p tcp --dport 22 -j ACCEPT
iptables -A INPUT -p tcp --dport 80 -j ACCEPT
iptables -A INPUT -j REJECT #拒绝其他
iptables -A FORWARD -j REJECT #拒绝转发


iptables -L --line-numbers #显示行号
iptables -D INPUT 8 #删除INPUT的第8条规则

CainChan

28 posts

2 categories

29 tags

一、安装

二、配置

1.安装certbot

2.生成域名证书

3.配置Nginx SSL站点

4.重启Ningx即可

5.更新证书

参考

一.升级nodejs

二.升级npm

Why？(使用ES目标)

How?

一、安装

二、使用

1.创建索引

2.创建文档

3.查询文档

4.修改文档

一.Server部署

二.客户端下载

三.备注

一.增加业务逻辑

订单入职/过保时的操作(update_order_status)

二.刷过往数据脚本

一.刷过往数据

二.刷过往订单数据

国内源

临时使用

永久修改,一劳永逸

LVM扩展根目录空间