springboot服务集成plumeLog日志 (原创)

PlumeLog-Servver-3.5.3搭建

一、搭建ES服务（单节点）

# 下载安装包（若已上传至服务器可跳过）
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.10.1-linux-x86_64.tar.gz

#  解压文件
tar -zxvf elasticsearch-7.10.1-linux-x86_64.tar.gz

#  移动到 /usr/local/ 目录并重命名（可选）
mv elasticsearch-7.10.1 /usr/local/elasticsearch

# 创建数据目录、日志目录

mkdir -p /data/es/data
mkdir -p /data/es/log

#创建es用户 
groupadd elastic 
useradd -g elastic elastic 

# 将es目录所属主用户赋予给elastic用户
chown -R elastic:elastic /usr/local/elasticsearch
chown -R elastic:elastic /data/es

修改 /usr/local/elasticsearch/config/elasticsearch.yml 配置文件

cluster.name: my-application    # 集群名称
node.name: node-1                # 节点名称
path.data: /var/data/elasticsearch   # 数据存放路径
path.logs: /var/log/elasticsearch    # 日志存放路径
network.host: 0.0.0.0            # 允许所有IP访问，生产环境建议设置具体IP
http.port: 9200                  # 端口号
discovery.seed_hosts: ["127.0.0.1"]   # 集群自动发现节点
discovery.type: single-node #单节点加上这项

#cluster.initial_master_nodes: ["node-1"]  如果是多节点则加上这项，指定默认初始化的主节点

如果有内存限制，可以修改 JVM 配置文件 /usr/local/elasticsearch/config/jvm.options，一般建议设为物理内存的一半，且不超过 32GB

# 修改 JVM 堆内存大小，根据你服务器内存情况调整（单位：m 或 g）
-Xms1g
-Xmx1g

 修改文件描述符和用户进程限制

编辑 /etc/security/limits.conf 文件，在末尾添加：

* soft nofile 65536
* hard nofile 65536
* soft nproc 4096
* hard nproc 4096

 修改虚拟内存区域最大数量
编辑 /etc/sysctl.conf 文件，在末尾添加：

vm.max_map_count=262144

切换到 elastic 用户，启动服务

# 切换用户
su elastic

# 进入 bin 目录并后台启动
cd /usr/local/elasticsearch/bin
./elasticsearch -d

使用 Systemd 管理（开机自启，可选）

创建服务文件 /etc/systemd/system/elasticsearch.service，这样可以用 systemctl 来管理，并支持开机自启

[Unit]
Description=Elasticsearch

[Service]
User=elastic
ExecStart=/usr/local/elasticsearch/bin/elasticsearch
Restart=always
LimitNOFILE=65535
LimitNPROC=4096

[Install]
WantedBy=multi-user.target

保存后执行以下命令:

systemctl daemon-reload
systemctl enable elasticsearch
systemctl start elasticsearch

在服务器本地执行以下命令测试：

curl http://localhost:9200

{
  "name" : "node-1",
  "cluster_name" : "my-application",
  "cluster_uuid" : "_na_",
  "version" : {
    "number" : "7.10.1",
    "build_flavor" : "default",
    "build_type" : "tar",
    "build_hash" : "1c34507e66d7db1211f66f3513706fdf548736aa",
    "build_date" : "2020-12-05T01:00:33.671820Z",
    "build_snapshot" : false,
    "lucene_version" : "8.7.0",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}

至此ES搭建完成，启动命令 systemctl start elasticsearch 

二、搭建plume-server服务

unzip  plume-log-server-3.5.zip
mv plume-log-server-3.5 /usr/local #启动目录
修改application.properties配置文件 如下：

plumelog.model=redis
plumelog.queue.redis.redisHost=localhost:6379
plumelog.queue.redis.redisPassWord=123456
plumelog.queue.redis.redisDb=11

#管理端redis地址 ，集群用逗号隔开，不配置将和队列公用
plumelog.redis.redisHost=127.0.0.1:6379
plumelog.redis.redisPassWord=123456
plumelog.redis.redisDb=11

elasticsearch相关配置，Hosts支持携带协议，如：http、https
plumelog.es.esHosts=localhost:9200
plumelog.es.shards=3
plumelog.es.replicas=1
plumelog.es.refresh.interval=30s
#日志索引建立方式day表示按天、hour表示按照小时
plumelog.es.indexType.model=day
plumelog.es.maxShards=100000
#ES设置密码,启用下面配置
plumelog.es.userName=elastic
plumelog.es.passWord=elastic

启动服务

cd /usr/local/plume-log-server-3.5
./startup.sh

 

三、springboot服务集成plumeLog日志

1 pom.xml中引入依赖

  <!--    引入plumeLog -->
        <dependency>
            <groupId>com.plumelog</groupId>
            <artifactId>plumelog-logback</artifactId>
            <version>3.5.3</version>
        </dependency>
        <dependency>
            <groupId>com.plumelog</groupId>
            <artifactId>plumelog-trace</artifactId>
            <version>3.5.3</version>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-aop</artifactId>
        </dependency>



2、logback-spring.xml配置

  <appender name="plumeLogDev" class="com.plumelog.logback.appender.RedisAppender">
    <appName>tmccloud-merchant</appName>
    <redisHost>192.168.31.111:6379</redisHost>
    <redisAuth>123456</redisAuth>
    <redisDb>11</redisDb>
    <env>dev</env>
  </appender>


  <springProfile name="dev">
    <root level="INFO">
      <appender-ref ref="CONSOLE" />
      <appender-ref ref="ASYNC"/>
      <appender-ref ref="errorLog" />
       <!-- 新加plumeLog  -->
      <appender-ref ref="plumeLogDev"/>
    </root>
 </springProfile>