序章
|
1 |
pinpoint是开源在github上的一款APM监控工具，它是用Java编写的，用于大规模分布式系统监控。它对性能的影响最小（只增加约3％资源利用率），安装agent是无侵入式的，只需要在被测试的Tomcat中加上3句话，打下探针，就可以监控整套程序了。这篇Blog主要是想记录一下它安装的过程，方便日后查阅。 |
|
1 |
我安装它用到的2台 CentOS6.8 虚拟机，一台主要部署pinpoint的主程序，一台模拟测试环境。配置如下： |
|
1 2 |
192.168.66.67 pinpoint pinpoint的web展示端，逻辑控制机，以及Hbase存储 192.168.66.66 pinpoint-agent 主要用来采集数据，发送给pinpoint处理 |
1. jdk1.7+安装
2. pinpoint 官方地址
|
1 |
https://github.com/naver/pinpoint |
3. 我将需要的资源都整合起来了，上传至百度网盘
|
1 |
百度网盘: < 链接：https://pan.baidu.com/s/1WC3VhyhgicqMMmTgbxMziA 密码：vdp6 > |
一。环境配置
1.资源环境安装包准备
1.1获取需要的依赖包
|
1 2 |
#从网盘下载各类包后,传到服务器上 mkdir /root/ruanjian/pinpoint/pp_res |
1.2 配置jdk1.7+配置jdk必须大于1.7版本
主要组件解析
2. 安装Hbase
2.1将Hbase解压，并且放入指定目录
|
1 2 3 4 |
cd /root/ruanjian/pinpoint/pp_res tar -zxvf hbase-1.0.3-bin.tar.gz mkdir -p /opt/data/service mv hbase-1.0.3/ /opt/data/service/hbase |
|
1 2 3 4 5 6 7 8 9 10 |
cd /opt/data/service/hbase/conf/ vi hbase-env.sh # 在27行左右的位置，修改如下 export JAVA_HOME=/opt/jdk1.8.0/ # 在124行开启自带zookeeper export HBASE_MANAGES_ZK=true # 在48行52行56行开启任意一行,GC日志收集 |
2.2修改Hbase的配置信息
|
1 |
vi hbase-site.xml |
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 |
# 修改成如下，这里我们指定Hbase本地来存储数据，生产环境将数据建议存入HDFS中。 <configuration> <property> <name>hbase.rootdir</name> <value>file:///opt/data/hbase</value> </property> <property><!--单节点可不用配置--> <name>hbase.cluster.distributed</name> <value>false</value> </property> <property><!--单节点可不用配置--> <name>hbase.master</name> <value>miti-hadoop-slaver01:60000</value> </property> <property><!--单节点可不用配置--> <name>hbase.zookeeper.quorum</name> <value>miti-hadoop-slaver01,miti-hadoop-slaver01,miti-hadoop-slaver01</value> </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/opt/data/zoodata</value> </property> </configuration> |
|
1 2 3 4 5 6 |
属性1：hbase在hdfs上的目录，主机名为hdfs的namenode节点所在的主机 属性2：指定hbase的运行模式，true代表全分布模式 属性3：指定hbase的hmaster的主机名和端口 属性4：指定使用zookeeper的主机地址，必须是奇数个 属性5：zookeeper的属性数据存储目录，如果你不想重启电脑就被清空的话就要配置这个,因为默认是/tmp |
当前单节点
2.3启动hbase
|
1 2 3 4 5 6 7 8 9 10 11 |
#执行如下文件 /opt/data/service/hbase/bin/start-hbase.sh #日志目录： /opt/data/service/hbase/logs # 查看Hbase是否启动成功，如果启动成功的会看到"HMaster"的进程 [root@localhost hbase]# jps 1749 UnixLauncher 20363 Jps 20063 HMaster |
2.4 初始化Hbase的pinpoint库
|
1 2 |
# 执行pinpoint提供的Hbase初始化语句，这时会初始化一会。 /opt/data/service/hbase/bin/hbase shell /root/ruanjian/pinpoint/pp_res/hbase-create.hbase |
|
1 2 |
# 执行完了以后，进入Hbase /opt/data/service/hbase/bin/hbase shell |
|
1 2 |
# 输入"status 'detailed'"可以查看刚才初始化的表，是否存在 status 'detailed' |
2.5也可以登录web，来查看HBase的数据是否初始化成功
|
1 |
HbaseWeb : http://192.168.0.67:16010/master-status |
3. 安装pinpoint-collector
3.1 部署war包
|
1 2 3 4 |
# 解压Tomcat，将Tomcat重命名移动到指定位置 cd /root/ruanjian/pinpoint/pp_res tar -zxvf apache-tomcat-8.0.36.tar.gz mv apache-tomcat-8.0.36/ /opt/data/service/pp-col |
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
# 修改pp-col的Tomcat的配置，主要修改端口，避免与pp-web的Tomcat的端口冲突。我在原本默认的端口前都加了1，下面是替换的shell命令。 #【注意】最后一条是将tomcat的私有ip开放，需要将localhost替换成本机的ip， cd /opt/data/service/pp-col/conf/ sed -i 's/port="8005"/port="18005"/g' server.xml sed -i 's/port="8080"/port="18080"/g' server.xml sed -i 's/port="8443"/port="18443"/g' server.xml sed -i 's/port="8009"/port="18009"/g' server.xml sed -i 's/redirectPort="8443"/redirectPort="18443"/g' server.xml sed -i "s/localhost/192.168.0.67/g" server.xml #也可以从网卡获取,我本机的网卡是默认的，如果你本机的网卡不是eth0，需要进行相关的修改。或者直接用"vi"进去，修改localhost sed -i "s/localhost/`ifconfig eth0 | grep 'inet addr' | awk '{print $2}' | awk -F: '{print $2}'`/g" server.xml |
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
# 部署pinpoint-collector.war包 #【注意：如果没有unzip命令，可以 "yum install unzip" 】 cd /root/ruanjian/pinpoint/pp_res rm -rf /opt/data/service/pp-col/webapps/* mkdir -p /opt/data/service/pp-col/webapps/ROOT unzip pinpoint-collector-1.5.2.war -d /opt/data/service/pp-col/webapps/ROOT # 启动Tomcat /opt/data/service/pp-col/bin/startup.sh /opt/data/service/pp-col/bin/shutdown.sh # 查看日志，是否成功启动 tail -f /opt/data/service/pp-col/logs/catalina.out |
3.2 配置快速启动
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
# 配置快速启动需要修改pp-collector.init的路径( pp-collector在网盘里面有 )，可以"vi"进去，大概在18，24，27行处，修改相关的路径。我这边为了方便，直接就用替换的shell做了，如果路径与我的不一致，需要将路径修改成自己的路径。 cd /root/ruanjian/pinpoint/pp_res sed -i "s/JAVA_HOME=\/usr\/java\/default\//JAVA_HOME=\/opt\/jdk1.8.0\//g" pp-collector.init sed -i "s/CATALINA_HOME=\/data\/service\/pinpoint-collector\//CATALINA_HOME=\/opt\/data\/service\/pp-col\//g" pp-collector.init sed -i "s/CATALINA_BASE=\/data\/service\/pinpoint-collector\//CATALINA_BASE=\/opt\/data\/service\/pp-col\//g" pp-collector.init # 将文件赋予"执行"的权限，把它放到"init.d"中去。以后就可以restart快速重启了。 chmod 711 pp-collector.init mv pp-collector.init /etc/init.d/pp-col # 测试一下restart [root@localhost pp_res]# /etc/init.d/pp-col restart |
|
1 2 3 |
#开机启动/不启动 chkconfig pp-col on // 设置开机启动 chkconfig pp-col off // 关闭开机启动 |
4. 安装pinpoint-web
4.1 部署war包
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 |
# 解压Tomcat，将Tomcat重命名移动到指定位置 cd /root/ruanjian/pinpoint/pp_res tar -zxvf apache-tomcat-8.0.36.tar.gz mv apache-tomcat-8.0.36 /opt/data/service/pp-web # 修改pp-web的Tomcat的配置，主要修改端口，避免与pp-col的Tomcat的端口冲突。我在原本默认的端口前都加了2，下面是替换的shell命令 #【注意】最后一条是将tomcat的私有ip开放，需要将localhost替换成本机的ip，我本机的网卡是默认的，如果你本机的网卡不是eth0，需要进行相关的修改。或者直接用"vi"进去，修改localhost cd /opt/data/service/pp-web/conf/ sed -i 's/port="8005"/port="28005"/g' server.xml sed -i 's/port="8080"/port="28080"/g' server.xml sed -i 's/port="8443"/port="28443"/g' server.xml sed -i 's/port="8009"/port="28009"/g' server.xml sed -i 's/redirectPort="8443"/redirectPort="28443"/g' server.xml sed -i "s/localhost/192.168.0.67/g" server.xml #网卡获取模式修改localhost sed -i "s/localhost/`ifconfig eth0 | grep 'inet addr' | awk '{print $2}' | awk -F: '{print $2}'`/g" server.xml |
|
1 2 3 4 5 6 7 |
# 部署pinpoint-collector.war包 #【注意：如果没有unzip命令，可以 "yum install unzip" 】 cd /root/ruanjian/pinpoint/pp_res rm -rf /opt/data/service/pp-web/webapps/* unzip pinpoint-web-1.5.2.war -d /opt/data/service/pp-web/webapps/ROOT |
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 |
# 查看war包是否解压成功 [root@localhost conf]# ll /opt/data/service/pp-web/webapps/ROOT/WEB-INF/classes/ total 88 -rw-rw-r--. 1 root root 2164 Apr 7 2016 applicationContext-cache.xml # 这些 *.xml 文件在后续的调优工作中会用到。 -rw-rw-r--. 1 root root 3649 Apr 7 2016 applicationContext-dao-config.xml -rw-rw-r--. 1 root root 1490 Apr 7 2016 applicationContext-datasource.xml -rw-rw-r--. 1 root root 6680 Apr 7 2016 applicationContext-hbase.xml -rw-rw-r--. 1 root root 1610 Apr 7 2016 applicationContext-websocket.xml -rw-rw-r--. 1 root root 6576 Apr 7 2016 applicationContext-web.xml drwxrwxr-x. 2 root root 4096 Apr 7 2016 batch -rw-rw-r--. 1 root root 106 Apr 7 2016 batch.properties drwxrwxr-x. 3 root root 4096 Apr 7 2016 com -rw-rw-r--. 1 root root 682 Apr 7 2016 ehcache.xml -rw-rw-r--. 1 root root 1001 Apr 7 2016 hbase.properties # 配置我们pp-web从哪个数据源获取采集数据，这里我们只指定Hbase的zookeeper地址。 -rw-rw-r--. 1 root root 153 Apr 7 2016 jdbc.properties # 连接自身Mysql数据库的连接认证配置。 -rw-rw-r--. 1 root root 3338 Apr 7 2016 log4j.xml drwxrwxr-x. 2 root root 4096 Apr 7 2016 mapper -rw-rw-r--. 1 root root 1420 Apr 7 2016 mybatis-config.xml drwxrwxr-x. 3 root root 4096 Apr 7 2016 org -rw-rw-r--. 1 root root 630 Apr 7 2016 pinpoint-web.properties # 这里pp-web集群的配置文件，如果你需要pp-web集群的话。 -rw-rw-r--. 1 root root 141 Apr 7 2016 project.properties -rw-rw-r--. 1 root root 3872 Apr 7 2016 servlet-context.xml drwxrwxr-x. 2 root root 4096 Apr 7 2016 sql # sql目录 pp-web本身有些数据需要存放在MySQL数据库中，这里需要初始化一下表结构。 # 启动Tomcat /opt/data/service/pp-web/bin/startup.sh # 查看日志，Tocmat是否启动成功 tail -f /opt/data/service/pp-web/logs/catalina.out # 日志中出现下面这句话，说明已经启动成功了 org.apache.catalina.startup.Catalina.start Server startup in 79531 ms #这里顺便说一下mysql的配置： create database pinpoint default character set utf8; grant all privileges on mysql.* to admin@'%' identified by 'admin@123'; grant all privileges on pinpoint.* to admin@'%' identified by 'admin@123'; #mysql脚本在sql目录下面,需要对sql开头的几个语句坐一下调整。否则导入会报错。 然后配置，jdbc文件就可以了。 |
|
1 2 3 |
# 这时候我们可以访问一下这个地址，在浏览器中输入"http://192.168.0.67:28080"，就会出现主页面了 # 如果访问不了的话，请检查防火墙(iptables或者firewall) |
4.2 配置快速启动
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
# 需要修改"pp-web.init"，与上面的步骤一致 cd /root/ruanjian/pinpoint/pp_res sed -i "s/JAVA_HOME=\/usr\/java\/default\//JAVA_HOME=\/opt\/jdk1.8.0\//g" pp-web.init sed -i "s/CATALINA_HOME=\/data\/service\/pinpoint-web\//CATALINA_HOME=\/opt\/data\/service\/pp-web\//g" pp-web.init sed -i "s/CATALINA_BASE=\/data\/service\/pinpoint-web\//CATALINA_BASE=\/opt\/data\/service\/pp-web\//g" pp-web.init # 将文件赋予"执行"的权限，把让放到"init.d"中去。以后就可以restart快速重启了。 chmod 711 pp-web.init cp pp-web.init /etc/init.d/pp-web # 测试一下restart [root@localhost pp_res]# /etc/init.d/pp-web restart |
|
1 2 3 |
#开机启动/不启动 chkconfig pp-web on // 设置开机启动 chkconfig pp-web off // 关闭开机启动 |
5. 部署pp-agent采集监控数据
5.1 在测试系统中，部署pp-agent采集监控数据(192.168.0.66)
|
1 2 3 4 5 6 |
#部署采集器就很简单了，只需要加3句话就好了。我这边做一个测试的Tomcat，来模拟部署。 #首先，先建立一个文件夹，放测试需要的包 mkdir -p /root/ruanjian/pinpoint/pp_test |
将测试需要的pp-agent拉到服务器上
5.2 配置模拟的Tomcat测试环境
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 |
# 为了方便观察，配置一个假的系统，解压Tomcat到指定目录 cd /root/ruanjian/pinpoint/pp_test tar -zxvf apache-tomcat-8.0.36.tar.gz mv apache-tomcat-8.0.36 /opt/data/pp-test # 配置localhost让外部可以访问 cd /opt/data/pp-test/conf/ sed -i "s/localhost/192.168.0.66/g" server.xml #网卡修改的方式和上面基本一样没啥用 sed -i "s/localhost/`ifconfig eth0 | grep 'inet addr' | awk '{print $2}' | awk -F: '{print $2}'`/g" server.xml # 解压测试用的war包 cd /root/ruanjian/pinpoint/pp_test rm -rf /opt/data/pp-test/webapps/* cp test.war /opt/data/pp-test/webapps/ROOT.war |
5.3 配置pp-agent采集器
|
1 2 |
注意：最新版的agent配置文件并不是最外层的pinpoint-root.config 而是：profiles/release/pinpoint.config |
|
1 2 3 4 5 6 7 8 9 10 11 12 13 |
# 解压pp-agent cd /root/ruanjian/pinpoint/pp_test tar -zxvf pinpoint-agent-1.5.2.tar.gz mv pinpoint-agent-1.5.2 /opt/data/pp-agent # 编辑配置文件 cd /opt/data/pp-agent/ vim pinpoint.config # 主要修改IP，只需要指定到安装pp-col的IP就行了，安装pp-col启动后，自动就开启了9994，9995，9996的端口了。这里就不需要操心了，如果有端口需求，要去pp-col的配置文件("/opt/data/pp-col/webapps/ROOT/WEB-INF/classes/pinpoint-collector.properties")中，修改这些端口 profiler.collector.ip=192.168.0.67 |
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
# 修改测试项目下的tomcat启动文件"catalina.sh"，修改这个只要是为了监控测试环境的Tomcat，增加探针 cd /opt/data/pp-test/bin vim catalina.sh # 在20行增加如下字段 CATALINA_OPTS="$CATALINA_OPTS -javaagent:/opt/data/pp-agent/pinpoint-bootstrap-1.5.2.jar" CATALINA_OPTS="$CATALINA_OPTS -Dpinpoint.agentId=pp20210602" CATALINA_OPTS="$CATALINA_OPTS -Dpinpoint.applicationName=MyTestPP # 第一行是pp-agent的jar包位置 # 第二行是agent的ID，这个ID是唯一的，我是用pp + 今天的日期命名的，只要与其他的项目的ID不重复就好了 # 第三行是采集项目的名字，这个名字可以随便取，只要各个项目不重复就好了 |
5.4 监控Tomcat
|
1 2 3 4 5 |
# 配置好了。就可以开始监控了，我们启动测试用的Tomcat的服务器 /opt/data/pp-test/bin/startup.sh # 查看启动日志，确实Tomcat启动 tail -f /opt/data/pp-test/logs/catalina.out |
启动了，我们就可以访问测试环境了(注意关闭防火墙)
|
1 2 3 4 5 |
#firewalld的基本使用 启动： systemctl start firewalld 查看状态： systemctl status firewalld 禁用，禁止开机启动： systemctl disable firewalld 停止运行： systemctl stop firewalld |
|
1 |
http://192.168.0.66:8080 |
这时候我们在访问pp-web，可以发现它的下拉框中，多了一个app
|
1 2 3 |
因为我访问了两次，所以他显示有7条请求记录，可以在右上角的框查看详情。 【注意】鼠标点击右上角箭头位置，鼠标左键按住不动，拉框查看。我被这个坑，坑懵逼了，特此写清楚。 |
注意事项：
|
1 2 3 4 5 6 7 8 |
1.PINPOINT采集不到数据,springboot项目的数据收集不到. pinpoint1.8.3对tomcat web项目的数据收集及显示正常，对springboot项目的数据收集不到，pinpoint-web中虽然显示applicationName和agentid，但是没有任何数据显示。 #解决办法： 修改pinpoint-agent的配置文件pinpoint.config,将原来TOMCAT方式改为SPRING_BOOT profiler.applicationservertype=SPRING_BOOT profiler.tomcat.conditional.transform=false |
总结
到这里，整个部署过程就完了。值得要注意的地方：
- 如果Hbase不是与pp-web, pp-col装在一台机器上，需要安装zookeeper，只要安装就好，确认2181端口启动就好
- 如果zookeeper安装在独立机器上，这里需要修改一下pp-colletor 和 pp-web的配置文件pinpoint-collector.properties，pinpoint-web.properties，不然会导致俩个模块启动失败。
- 发现pinpoint还是有些缺陷，异步的操作监控不到，比如我写了个多线程来发送HttpClient4的请求，但是pinpoint监控不到。但是它介绍又说可以监控到Httpclient4的请求。现在都是分布式系统，异步拿数据再常见不过来，如果监控不到异步的操作，就很鸡肋了。看pp1.6会不会修复这个问题
- 在pp1.6部署，Hbase中的默认字段有增加，如果没有加上默认字段，取得的数据就会变得相当少了。
官方版本下载点：传送门
因为pinpoint-web是暴露在外面的，没有做任何登录认证。这里需要加个登录认证(最好是弄个单点登录的方式)
|
1 |
参考文章：https://www.imooc.com/article/details/id/298511 |
本人使用如下方式在tomcat web.xml里做的认证
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
<filter> <filter-name>basicAuthenticationFilter</filter-name> <filter-class>com.navercorp.pinpoint.web.interceptor.BasicAuthenticationFilter</filter-class> <init-param> <param-name>admin.username</param-name> <param-value>shooter</param-value> </init-param> <init-param> <param-name>admin.password</param-name> <param-value>123456</param-value> </init-param> </filter> <filter-mapping> <filter-name>basicAuthenticationFilter</filter-name> <url-pattern>/*</url-pattern> </filter-mapping> |
补充：
上面演示的是 tomcat部署的项目
springboot 包部署 如果是jar包部署，直接在启动命令加启动参数：
|
1 2 3 |
-javaagent:/usr/local/pinpoint-agent/pinpoint-bootstrap-1.8.5.jar -Dpinpoint.agentId=应用唯一ID \ -Dpinpoint.applicationName=应用名称 \ -jar [jar包名称] > app-boot.log 2>&1 & |
完整启动展示:
|
1 2 3 |
java -javaagent:/usr/local/pinpoint-agent/pinpoint-bootstrap-1.8.5.jar -Dpinpoint.agentId=应用唯一ID \ -Dpinpoint.applicationName=应用名称 \ -jar -Dserver.port=12581 -Drocketmq.config.namesrvAddr=localhost:9876 -Duser.timezone=Asia/Shanghai -Xms1024M -Xmx1024M -XX:PermSize=128M -XX:MaxPermSize=512M -XX:+HeapDumpOnOutOfMemoryError -XX:+PrintGCDateStamps -XX:+PrintGCDetails -XX:NewRatio=1 -XX:SurvivorRatio=30 -XX:+UseParallelGC -XX:+UseParallelOldGC |
展示信息图标如下：
刷新页面并展示信息如下:（微服务展示)
部署Weblogic监控数据采集（探针）：（需要先在服务器安装weblogic）
|
1 |
链接文档：https://github.com/pinpoint-apm/pinpoint/tree/master/plugins/weblogic |
|
1 2 3 4 5 6 |
#将pinpoint探针解压到weblogic软件所在的服务器,然后配置,然后启动weblogic即可 tar -zxvf pinpoint-agent-1.8.2.tar.gz 1.修改pinpoint.config文件，改成pinpoint服务端的IP： 2.然后修改监控类型：默认监控TOMCAT，将监控类型打开，修改为Weblogic |
|
1 2 |
#然后修改bin服务的启动文件startWebLogic.sh,添加如下设置(与上面给Tomcat设置道理一样) SAVE_JAVA_OPTIONS="${JAVA_OPTIONS} -javaagent:/usr/local/pinpoint-agent/pinpoint-bootstrap-1.8.5.jar -Dpinpoint.agentId=weblogic-112 -Dpinpoint.applicationName=test-weblogic" |
添加如下：
然后重新启动weblogic
其他版本下载(配置方式与上面类似，注意hbase版本搭配差别即可)
|
1 2 3 4 |
https://github.com/pinpoint-apm/pinpoint/releases/tag/1.8.2 #知乎好文 https://zhuanlan.zhihu.com/p/157845159 |
pinpoint告警设置：
|
1 2 3 |
https://www.cnblogs.com/h--d/p/11947633.html https://blog.csdn.net/weixin_39839726/article/details/113477119 https://blog.csdn.net/weixin_44626980/article/details/102528990 |
- 本文固定链接: https://www.yoyoask.com/?p=5600
- 转载请注明: shooter 于 SHOOTER 发表
这个作者貌似有点懒，什么都没有留下。