Top

NSD ARCHITECTURE DAY03

  1. 案例1:ES集群安装
  2. 案例2:ES集群安装配置
  3. 案例3:练习插件
  4. 案例4:插入,增加,删除查询数据
  5. 案例5:导入数据

1 案例1:ES集群安装

1.1 问题

本案例要求:

1.2 方案

1)ELK是日志分析平台,不是一款软件,而是一整套解决方案,是三个软件产品的首字母缩写,ELK分别代表:

Elasticsearch:负责日志检索和储存

Logstash:负责日志的收集和分析、处理

Kibana:负责日志的可视化

2) ELK组件在海量日志系统的运维中,可用于解决分布式日志数据集中式查询和管理系统监控等,故障排查,安全信息和事件管理,报表功能

部署Elasticsearch分布式集群安装,Kibana作为可视化平台,实时总结流量和数据的图表,Logstash用来收集处理日志,如表-1所示:

表-1

1.3 步骤

实现此案例需要按照如下步骤进行。

步骤一:先准备一台虚拟机

1)更改主机名,配置IP,搭建第三方yum源(之前已经搭建过几次,这里不再赘述)

[root@se1 ~]# echo se1 > /etc/hostname 
[root@se1 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0 
# Generated by dracut initrd
DEVICE="eth0"
ONBOOT="yes"
IPV6INIT="no"
IPV4_FAILURE_FATAL="no"
NM_CONTROLLED="no"
TYPE="Ethernet"
BOOTPROTO="static"
IPADDR=192.168.1.51
PREFIX=24
GATEWAY=192.168.1.254
[root@se1 ~]# vim /etc/yum.repos.d/local.repo 
[local_repo]
name=CentOS-$releasever - Base
baseurl="ftp://192.168.1.254/system"
enabled=1
gpgcheck=1

[elk]
name=elk
baseurl="ftp://192.168.1.254/elk"
enabled=1
gpgcheck=0

2)部署elasticsearch第一个节点

[root@se1 ~]# vim /etc/hosts
192.168.1.51 es1
192.168.1.52 es2
192.168.1.53 es3
192.168.1.54 es4
192.168.1.55 es5

[root@es1 ~]# yum -y install java-1.8.0-openjdk.x86_64
[root@es1 ~]# java -version
openjdk version "1.8.0_161"
OpenJDK Runtime Environment (build 1.8.0_161-b14)
OpenJDK 64-Bit Server VM (build 25.161-b14, mixed mode)
[root@es1 ~]# sestatus  //查看selinux状态
SELinux status:                 disabled 	
[root@es1 ~]# yum -y install elasticsearch
[root@es1 ~]# vim /etc/elasticsearch/elasticsearch.yml
17 cluster.name: myelk		//配置集群名字
23 node.name: es1		//当前主机名称
54 network.host: 0.0.0.0	 // 0.0.0.0(监听所有地址)
68 discovery.zen.ping.unicast.hosts: ["es1", "es2", "es3"]  
//声明集群里的主机成员有谁,不需要全部写进去
[root@es1 ~]# systemctl restart elasticsearch
[root@es1 ~]# systemctl enable elasticsearch
[root@es1 ~]# ss -antup | grep 9200
[root@es1 ~]# ss -antup | grep 9300

3)访问9200端口查看是否安装成功,如图-1所示:

图-1

2 案例2:ES集群安装配置

2.1 问题

本案例要求:

2.2 步骤

实现此案例需要按照如下步骤进行。

步骤一:安装elasticsearch和java-1.8.0-openjdk,同步配置文件

备注:在步骤一已经安装了一台elasticsearch,这里只需再准备四台即可

1)更改对应的主机名、 ip地址以及搭建yum源(以案例1为例子)

2)安装elasticsearch四台主机同样操作(以es2为例子)

[root@es2 ~]# yum -y install java-1.8.0-openjdk.x86_64
[root@es2 ~]# yum -y install elasticsearch

3)同步配置/etc/hosts和/etc/elasticsearch/elasticsearch.yml, 修改node.name字段(以es2为例子)

[root@es1 ~]# for i in {52..55} ; do scp /etc/hosts 192.168.1.$i:/etc/hosts; done
[root@es1 ~]# for i in {52..55} ; do scp  \ 
/etc/elasticsearch/elasticsearch.yml \
192.168.1.$i:/etc/elasticsearch/elasticsearch.yml; done

[root@es2 ~]# vim /etc/elasticsearch/elasticsearch.yml
node.name: es2    //另外三台修改为对应es3,es4,es5
[root@es2 ~]# systemctl restart elasticsearch
[root@es2 ~]# systemctl enable elasticsearch

4)访问测试,如图-2所示:

可以访问61-65的任意一台主机, 集群的节点都是5台,若先启动的是es4或es5,这两个会自动成为各自的集群,解决办法,先启动集群里的es1或es2或es3其中的一台,或者把es4和es5重启,es4和es5会自动加进去

ES 集群验证:返回字段解析:

”status”: ”green“ 集群状态:绿色为正常、黄色表示有问题但不是很严重、红色表示严重故障

”number_of_nodes”: 5, 表示集群中节点的数量

[student@room9pc01 ~]$ firefox http://192.168.1.51:9200/_cluster/health?pretty
 

图-2

3 案例3:练习插件

3.1 问题

本案例要求:

3.2 步骤

实现此案例需要按照如下步骤进行。

步骤一:部署插件

插件装在哪一台机器上,只能在哪台机器上使用(这里安装在es5机器上面)

1)使用远程 uri 路径可以直接安装

[root@es5 ~]# cd /usr/share/elasticsearch/bin
[root@es5 bin]# ./plugin  install  \ 
ftp://192.168.1.254/elk/elasticsearch-head-master.zip		//安装head插件
[root@es5 bin]# ./plugin  install  \ 
ftp://192.168.1.254/elk/elasticsearch-kopf-master.zip		//安装kopf插件
[root@es5 bin]# [root@se5 bin]# ./plugin install  \
 ftp://192.168.1.254/elk/bigdesk-master.zip
//安装bigdesk插件 	
[root@es5 bin]# ./plugin  list		//查看安装的插件
Installed plugins in /usr/share/elasticsearch/plugins:
    - head
    - kopf
    - bigdesk

2)访问head插件,如图-4所示:

[student@room9pc01 ~]$ firefox http://192.168.1.55:9200/_plugin/head

图-4

3)访问kopf插件,如图-5所示:

[student@room9pc01 ~]$ firefox   http://192.168.1.55:9200/_plugin/kopf

图-5

4)访问bigdesk插件,如图-6所示:

[student@room9pc01 ~]$ firefox  http://192.168.1.55:9200/_plugin/bigdesk

图-6

步骤二:使用head创建index

[root@es5 bin]# curl -X PUT "http://192.168.1.55:9200/index" -d '
> {
>     "settings":{
>     "index":{
>     "number_of_shards":5,		//分片数
>     "number_of_replicas":1		//副本数
>    }
>   }
> }'
{"acknowledged":true}

步骤三:使用kopf查看数据,如图-7所示:

图-7

4 案例4:插入,增加,删除查询数据

4.1 问题

本案例要求:

4.2 步骤

实现此案例需要按照如下步骤进行。

步骤一:增加数据

[root@es5 ~]# curl -X PUT "http://192.168.1.55:9200/tedu/teacher/1" -d '{
"职业":"诗人",
"名字":"李白",
"称号":"诗仙",
"年代":"唐"
}'
{"_index":"tedu","_type":"teacher","_id":"1","_version":1,"_shards":{"total":2,"successful":2,"failed":0},"created":true}


步骤二:修改数据

[root@es5 ~]# curl -X PUT "http://192.168.1.55:9200/tedu/teacher/1" -d '{
 "doc":{
 "年代": "唐代"
 }
 }'
{"_index":"tedu","_type":"teacher","_id":"1","_version":3,"_shards":{"total":2,"successful":2,"failed":0},"created":false}

步骤三:查询数据

[root@es5 ~]#  curl -X GET "http://192.168.1.55:9200/tedu/teacher/3?pretty"
{
  "_index" : "tedu",
  "_type" : "teacher",
  "_id" : "3",
  "found" : false
}

步骤四:删除数据

[root@es5 ~]# curl -X DELETE "http://192.168.1.55:9200/tedu/teacher/3?pretty"
{
  "found" : false,
  "_index" : "tedu",
  "_type" : "teacher",
  "_id" : "3",
  "_version" : 1,
  "_shards" : {
    "total" : 2,
    "successful" : 2,
    "failed" : 0
  }
}

步骤五:删除索引

[root@es5 bin]# curl -X DELETE http://192.168.1.55:9200/tedu/   
//删除索引
{"acknowledged":true}
[root@es5 bin]# curl -X DELETE http://192.168.1.65:9200/*	  //删除所有索引
{"acknowledged":true}

5 案例5:导入数据

5.1 问题

本案例要求批量导入数据:

5.2 步骤

实现此案例需要按照如下步骤进行。

步骤一:导入数据

使用POST方式批量导入数据,数据格式为json,url 编码使用data-binary导入含有index配置的json文件

[student@room9pc01 ~]$ scp  /var/ftp/elk/*.gz root@192.168.1.56:/root/
[root@kibana ~]# gzip  -d logs.jsonl.gz 
[root@kibana ~]# curl -X POST "http://192.168.1.51:9200/_bulk"  \ 
--data-binary @logs.jsonl

2)使用GET查询结果

[root@kibana ~]# curl -XGET 'http://192.168.1.51:9200/_mget?pretty' -d '{
 "docs":[
     {
        "_index":"shakespeare",
        "_type:":"act",
        "_id":0
},
{
        "_index":"shakespeare",
        "_type:":"line",
        "_id":0
},
{
        "_index":"tedu",
        "_type:":"teacher",
        "_id":25
}
]
}'
{		//查询的结果
  "docs" : [ {
    "_index" : "shakespeare",
    "_type" : "act",
    "_id" : "0",
    "_version" : 1,
    "found" : true,
    "_source" : {
      "line_id" : 1,
      "play_name" : "Henry IV",
      "speech_number" : "",
      "line_number" : "",
      "speaker" : "",
      "text_entry" : "ACT I"
    }
  }, {
    "_index" : "shakespeare",
    "_type" : "act",
    "_id" : "0",
    "_version" : 1,
    "found" : true,
    "_source" : {
      "line_id" : 1,
      "play_name" : "Henry IV",
      "speech_number" : "",
      "line_number" : "",
      "speaker" : "",
      "text_entry" : "ACT I"
    }
  }, {
    "_index" : "xixi",
    "_type" : "haha",
    "_id" : "25",
    "_version" : 1,
    "found" : true,
    "_source" : {
      "account_number" : 25,
      "balance" : 40540,
      "firstname" : "Virginia",
      "lastname" : "Ayala",
      "age" : 39,
      "gender" : "F",
      "address" : "171 Putnam Avenue",
      "employer" : "Filodyne",
      "email" : "virginiaayala@filodyne.com",
      "city" : "Nicholson",
      "state" : "PA"
    }
  } ]
}