Spring boot Actuator + Prometheus + Grafana를 이용한 서버 모니터링 시스템 구축

🔎 개발 과정에서는 서버에 접속해 로그를 확인하여 서버를 모니터링하였지만, 실제로 서비스를 운영할 때에는 매번 서버에 접속해 로그를 직접 확인하는 방법은 문제가 발생하면 즉시 대응하기 어렵다고 판단되었다. 그래서 Actuator, Prometheus, Grafana을 도입하여 서버 모니터링 시스템을 구축해보기로 하였다.

 

 

---

 

 

Actuator로 서버의 상태를 확인하고, Actuator에서 수집한 메트릭 데이터를 Prometheus에 저장한다. 그리고 Grafana에서 Prometheus에 모아진 데이터를 보기 쉽게 시각화할 것이다. 이 세 가지 기능을 합치면, 서버의 상태를 실시간으로 체크할 수 있다 ! 

 

 

1️⃣ Actuator

spring boot에는 어플리케이션의 상태를 종합적으로 정리하여 제공해주는 기능인 actuator 가 있다.

actuator 공식문서 를 보고 차근차근 따라해보자.

 

우선 spring boot 프로젝트에 actuator 의존성을 추가해준다.

dependencies {
    implementation 'org.springframework.boot:spring-boot-starter-actuator'
}

 

나와 같은 경우는 prometheus에 metrics 를 수집할 것이기 때문에 엔드포인트로 prometheus만 사용해준다. 각자의 상황에 따라 알맞은 엔드포인트를 사용하면 된다. 

dependencies {
    implementation 'io.micrometer:micrometer-registry-prometheus'
}

해당 엔드포인트를 사용하기 위해 prometheus의 의존성도 추가해준다. 

 

 

application.yml에 다음과 같은 설정을 추가해줬다. 

management:
  endpoints:
    web:
      exposure:
        include:
        - prometheus # HTTP를 통해 엔드포인트를 노출시키겠다는 것 
  endpoint:
    prometheus:
      enabled: true # 엔드포인트 활성화

 

엔드포인트에는 민감한 정보가 포함될 수 있으므로 HTTP를 통해 노출시키는 것은 신중하게 생각해야할 것 같다. 

 

해당 엔드포인트에 spring security에서 일단 권한이 없어도 모두 접근 가능하도록 설정해주었다. ( 하지만 서버의 상태를 확인할 수 있는 엔드포인트에 아무나 접근할 수 있는 것은 부적절하기 때문에 다음 글에서 개선해보려고 한다 ! )

@Bean
public SecurityFilterChain configure(HttpSecurity http) throws Exception {
    http.authorizeRequests(requests -> requests
                                    .antMatchers("/auth/**", "/members/kakao", "/members/apple", "/members/google", "/actuator/**").permitAll()
                                    .anyRequest()
                                    .authenticated())
}

 

{server ip 주소}/actuator/prometheus에 접속하면 다음과 같이 접근이 가능하다. 

 

2️⃣ Prometheus

actuator에서 수집한 데이터를 그대로 시각화하면 안되나?

안된다. actuator는 실시간 정보만 조회 가능할 뿐, 과거의 정보는 확인할 수 없기 때문이다. 그래서 메트릭을 지속적으로 수집하고 보관하는 데이터베이스 역할을 해주는 prometheus가 필요하다.

 

prometheus는 9090포트를 사용하기 때문에 EC2에 접속해 보안 그룹 설정을 해줘야한다. 

 

그리고 EC2에 prometheus를 설치해준다. 

sudo apt-get update
sudo apt-get install -y prometheus prometheus-node-exporter prometheus-pushgateway prometheus-alertmanager

 

설치가 완료되었다면 다음 명령어로 실행하고, 상태를 확인해보자. 

sudo systemctl start prometheus
sudo systemctl enable prometheus
sudo systemctl status prometheus

active 합니다

 

actuator에서 수집한 메트릭을 가져오기 위해 prometheus.yml 파일에 따로 설정을 해야한다. 

prometheus.yml의 위치는 다음과 같다. 

sudo vi prometheus.yml # prometheus.yml 편집

위와 같은 블럭을 추가해주고 재실행한다. 

sudo systemctl restart prometheus # 재실행

 

그리고 서버에 9090 포트로 접근해보면 다음과 같이 연동이 잘 된 것을 확인해볼 수 있다 !

 

 

3️⃣ Grafana

이제 마지막으로 시각화를 해보자 ! 

 

다음 명령어로 서버에 그라파나를 설치해줄 것 이다. 

sudo apt-get update
sudo apt-get install wget curl gnupg2 apt-transport-https software-properties-common -y
wget -q -O - https://packages.grafana.com/gpg.key | sudo apt-key add -
echo "deb https://packages.grafana.com/oss/deb stable main" | sudo tee -a /etc/apt/sources.list.d/grafana.list

sudo apt-get update
sudo apt-get install grafana -y

 

그라파나를 실행하고 상태를 확인해 보자. 

sudo systemctl start grafana-server
sudo systemctl enable grafana-server
sudo systemctl status grafana-server

 

 

서버 IP에 3000포트로 접속하게 되면 그라파나에 접속이 가능하다. 초기 username, password는 모두 admin이다. 

 

 

prometheus에 있는 데이터들을 가져오기 위해 연동해보겠다. 

 

prometheus server url에 내 IP주소:9090 를 적어주면 된다. 

 

아래로 내려서 쭉 save & test 누르고 success 뜨면 대시보드를 만들러 가면 된다. 

🥲 약간의 트러블 슈팅  

EC2에서 9090포트를 내 IP에서 접근 가능하도록 설정했더니 접근이 안되었었다 ! 모두 접근 가능하도록 수정하니까 잘 됨 

 

대시보드를 생성해보겠다. 

나는 다른 대시보드 템플릿을 사용할 것이다. 본인이 직접 커스텀 할 것 이라면 new dashboard를 누르면 된다. 

대시보드 템플릿은 여기서 확인할 수 있다. 

 

가져올 대시보드의 번호를 적어주고 load

 

대시보드의 이름과 prometheus를 잘 불러오고 import 하면 끝이다. 

 

 

그럼 이렇게 다양한 것들을 모니터링 할 수 있습니다. 끝! 

 

 

긴 글 읽어주셔서 감사합니다 :)
다음 글로는 alert 설정하는 방법과 actuator를 안전하게 사용할 수 있는 방법에 대해 작성해보겠습니다. 

 

 

---

💖 참고

https://velog.io/@juhyeon1114/%EC%8B%A4%EC%A0%84-Spring-%EC%95%B1-%EB%AA%A8%EB%8B%88%ED%84%B0%EB%A7%81-w.-%ED%94%84%EB%A1%9C%EB%A9%94%ED%85%8C%EC%9A%B0%EC%8A%A4-%EA%B7%B8%EB%9D%BC%ED%8C%8C%EB%82%98-EC2

https://0soo.tistory.com/251