라벨이 APM인 게시물 표시

Telegraf와 연동하여 Scouter에서 NGINX를 모니터링 해보자

이미지
운영중인 서비스를 모니터링 할때, 어떤 문제의 원인을 발견하고 이를 해결하기 위해서는 인프라의 성능 메트릭 정보 뿐 아니라 어플리케이션의 메트릭도 함께 모니터링하는 것이 중요하다.
Scouter나 Scouter Paper를 통하면 어플리케이션의 요청 처리 상태와 인프라 소프트웨어의 성능 메트릭을 하나의 대시보드로 구성하여 모니터링하는 것이 가능한데, 이 글을 통해 Scouter의 Telegraf 확장 기능으로 nginx의 성능 정보를 모니터링하는 것을 구성 해보도록 한다.




0. scouter collector (v2.6) 실행아래 Step들을 진행하기 전에 먼저 Scouter server v2.6+를 다운로드 받고 기동시킨다.Scouter를 처음 사용한다면 Scouter 설치하기를 참고한다.Collector 옵션에서 net_http_server 옵션을 true로 하고 기동하여야 한다. 이 설정이 없거나 true가 아닌 경우는 true로 설정하고 collector server를 재시작한다. 1. scouter client (v2.6) 실행Scouter Client v2.6을 실행하여 collector에 접속한다.Collector 메뉴 중 Collector > Configures > Telegraf Config > Telegraf Configure설정 화면이 열리면 scouter v2.6에서 샘플로 제공되는 Telegraf measurement 설정을 확인할 수 있다. (cpu, redis, nginx 등)트리메뉴의 General에서 Enabled에 체크한다. 여기서 nginx 설정을 지우고 재구성 해본다.설정을 지우기 전에 Telegraf Config > Edit Telegraf config directly 메뉴를 선택하고, 여기에 보이는 xml의 내용을 복사하여 백업해 놓도록 한다.아래 그림에서 Measurement의 nginx를 선택한 후 Remove Measurement 버튼으로 삭제할 수 있다.변경된 내용의 저장은 우상단의 &quo…

Zipkin과 Scouter v2.5를 연동해보자.

이미지
Scouter v2.5 에 Zipkin 지원 기능이 추가되었다.

지난 9월말에 Scouter의 버전을 1.x에서 2.x로 올리며 v2의 방향을 다양한 오픈소스와의 통합으로 정하였는데 v2.5는 inbound로의 통합이 어느 정도 진행된 버전이다.
(v2.0 telegraf 호환 서버 기능, v2.5 zipkin-scouter storage 기능)



Zipkin과의 통합을 위해서는 Zipkin server의 storage를 scouter로 설정한 후 Zipkin server를 구동하면된다.
이때 필요에 따라 scouter의 collector의 IP등을 설정할 수 있다.
그러면 Zipkin server로 수집되는 span들은 scouter server로 저장되고 scouter의 client를 통해 이를 확인할 수 있다.

그럼 이제 Zipkin을 통하여 서비스의 Trace 데이터 수집하고 이를 Scouter의 XLog로 모니터링 해보도록 하자.

0. scouter server (v2.5) 실행본 예제에서는 Scouter server v2.5가 실행된 vm과 동일한 vm에 zipkin server를 실행하는 것으로 가정하고 진행한다.아래 Step들을 진행하기 전에 먼저 Scouter server v2.5+를 다운로드 받고 기동시킨다.Scouter를 처음 사용한다면 Scouter 설치하기를 참고한다.
1. zipkin-scouter-storage를 포함하여 Zipkin server 실행하기최신버전의 zipkin을 다운로드 받는다.wget -O zipkin.jar 'https://search.maven.org/remote_content?g=io.zipkin.java&a=zipkin-server&v=LATEST&c=exec'


최신버전의 zipkin-storage-scouter를 다운로드 받는다.
wget -O zipkin-storage-scouter.jar 'https://search.maven.org/remote_content?g…

SCOUTER 써드파티 UI인 "PAPER" 릴리즈 기념 빠르게 설치해보기

이미지
이미 Scouter의 코어나 Web API를 통해서 UI를 만드신다는 소식은 몇 번 접하였고, 몇몇 회사에서는 특정 제품의 APM 엔진으로 사용되거나 또는 기업 내부에서 사용하는 자체 APM으로 개발된 것도 보았습니다만 오픈 소스로 공개된 적은 없었습니다.

드디어 오픈소스로 개발된 스카우터의 첫번째 3rd party UI인 PAPER가 나왔네요.
케빈님 감사합니다!!
호주 케빈님이 아닌 카카오 케빈님 이십니다.
mindplates(마음판??) 또는 beperson(인간이되거라??)이라는 닉으로 주로 활동하십니다. 아 그리고 Paper를 같이 개발하실 분들 대모집 이라고 합니다. 관심 있으신 분들 컨택해 보시길.. 제가 연결해 드릴수도 있습니다.
React로 개발되어 있으니 이쪽 관심있으신 분들이 많이 참여하셨으면 좋겠습니다.(전 UI알못이라...)

출시 기념으로 제가 설치를 한번 해보도록 하겠습니다.
Paper를 사용하기 위해서는 scouter v1.8.4.1 이상을 사용하여야 합니다.
1. scouter demo 설치 여기서는 데모 환경을 설치하며 운영 환경에 설치할 경우는 정식 버전 설치 방법에 따라 설치하여야 합니다. SCOUTER DEMO를 다운로드하고 압축을 풉니다.
wget https://github.com/scouter-project/scouter-demo/releases/download/v1.8.4.1/demo-env1.tar.gz ... tar -xvzf demo-env1.tar.gz ... Scouter Server, Host Agent, 데모 환경(jpetstore)를 차례로 실행시킵니다.
cd ./demo-env1 ./start-scouter-server.sh ... ./start-scouter-host.sh ... ./start-tomcat.sh ... 데모 환경에서는 가상의 부하를 줄수 있는 기능이 있습니다. 필요하다면 이를 실행합니다.
5분간 실행되며 종료시 이 script를 다시 실행하면 됩니다.
./start-jmeter.…

Scouter APM 소소한 시리즈 #3 - 기본 항목 모니터링(2/2)

이미지
Scouter is an APM optimized for developers. Scouter의 차트의 기본적인 조작방법과 Perspective 관리에 대해 알아보도록 하겠습니다.
1. 차트의 종류 Scouter의 performance counter는 8가지 종류의 차트를 제공하며, 처음에 열리는 차트는 실시간 성능 정보를 제공해주는 "Realtime-Current" 차트입니다.
Real Time 차트 : 현재 시점까지의 데이터를 보여주며 실시간 갱신되는 차트Current : 최근 5분간의 데이터를 2초 간격으로 갱신(Default)All : (각 인스턴스별 값을 보여줍니다.)Total : (모든 인스턴스 값의 합계를 보여줍니다.)Today : 오늘의 0시 부터 현재까지의 데이터를 보여줍니다.All : (각 인스턴스별 값을 보여줍니다.)Total : (모든 인스턴스 값의 합계를 보여줍니다.)History 차트 : 과거 특정 시점의 데이터를 조회합니다.Daily : 과거 특정 시점의 1일~수개월 데이터를 5분 통계로 보여줍니다.All : (각 인스턴스별 값을 보여줍니다.)Total : (모든 인스턴스 값의 합계를 보여줍니다.)Past : 과거 특정 시점의 5분~4시간의 데이터를 2초 정밀도로 보여줍니다.All : (각 인스턴스별 값을 보여줍니다.)Total : (모든 인스턴스 값의 합계를 보여줍니다.)

"Today Total" 차트에서 어제 데이터는 회색으로 표시됩니다.



2. 차트 다루기 2.1 Performance Counter 차트 다루기하나의 차트에서 콘텍스트 메뉴를 통해 다른 유형의 차트를 열 수 있습니다.
차트의 라인을 클릭하면 상세 정보가 볼 수 있습니다.어떤 차트는 차트의 Y축을 더블클릭하면 Y축의 높이를 조정할 수 있습니다.

2.2 차트의 재배열 및 Perspective 저장 차트를 재 배열하여 대시보드를 구성해 보도록 하겠습니다.
(수 많은 APM중 사용자 정의 대시보드 구성은 아마도 Scouter가 제일 쉽지 않을…

Scouter APM 소소한 시리즈 #2 - 기본 항목 모니터링(1/2)

이미지
Scouter is an APM optimized for developers. Scouter APM 소소한 시리즈 2번째 글입니다.
이번 글에서는 Scouter를 이용한 기본적인 모니터링 방법에 대해 알아보도록 하겠습니다.

뭔가 Tip 위주의 연재를 진행하려고 했는데, "설치쪽은 좀 자세히 써야겠다..." 라고 생각하며 쓰다가 거의 매뉴얼 스타일로 글이 진행되는 것 같습니다.
이렇게 된 이상 그냥 이대로 쭉~ 진행하고, 향후에 "진정 소소한 시리즈"를 다시 연재하던지 아니면 유용한 Tip들을 여기에 어떻게든 잘 녹여보던지 해야 할 것 같습니다.
1. "Performance Counter"와 "Object Request" Scouter에는 모니터링 항목을 크게 두가지로 구분합니다. "Performance Counter", 그리고 "Object Request" 입니다.
"Performance Counter"는 시간에 따라 변하는 값을 실시간 차트 형태로 보여주며, "Object Request"는 사용자가 특정 성능 정보를 요청하여 조회하는 기능입니다. 그리고 보통 "Performance Counte"r에 포함하기도 하지만, 그 성격이 전혀 다른 특수한 몇가지 기능이 있습니다. (XLog, Active Service EQ 등) 이러한 기능은 조금 복잡한 부분이 있으므로 다른 포스트에서 다루도록 하겠으며 여기서는 기본적인 모니터링 항목에 대해서 설명하도록 하겠습니다.
이러한 기능들은 상단메뉴에서도 접근이 가능하지만 "Object View"에서 콘텍스트 메뉴에서 접근하는 것이 더 직관적입니다.
1.1 Performance Counter Performance Counter는 시계열 성능메트릭을 의미합니다. Counter View를 Collector의 콘텍스트 메뉴에서 여는 경우, 해당 Objec…

Scouter APM 소소한 시리즈 #1 - 설치하기

이미지
Scouter is an APM optimized for developers. Scouter가 "개발자를 위한 APM"이라는 목적에 맞게 자유도가 높은 반면, 자잘하게 숨겨진 기능이 많은 APM인지라 이 시리즈를 통해 Scouter의 기능을 하나 하나 알아보도록 하겠습니다.

첫번째 내용은 설치하기 입니다.
* Scouter 설치 전 반드시 기억해야할 사항 Scouter는 Agent와 Collector Server 그리고 User용 Client 프로그램으로 구성되며, 이들간의 관계를 잘 아는 것이 중요합니다.
각 서버에 설치된 Scouter의 Agent들이 성능 데이터를 Collector로 전송한다.사용자는 Client 프로그램을 통해 성능 데이터를 본다.Agent  ⇨⇨⇨  [성능 데이터]  ⇨⇨⇨  Collector(Server)Client  ⇦⇦⇦  [성능 데이터]  ⇦⇦⇦  Collector(Server) * Scouter를 처음 사용하신다면 먼저 아래 동영상을 통해 개략적인 모습을 보시기 바랍니다.  - Scouter APM Overview
Scouter 설치 1. Scouter 다운로드 Scouter 릴리즈 페이지에서 최신버전을 다운로드합니다. Scouter Release Pagescouter-all-[version].tar.gzScouter Collector와 Agent를 포함하는 압축파일입니다.scouter.client.product-[os].tar.gz각 OS별 Client(Viewer) 프로그램입니다.
2. Scouter Server 설치 및 기동적절한 위치에 scouter-all-[version].tar.gz 의 압축을 풀어줍니다.Scouter Server를 실행합니다.
startup.sh또는startup.bat실행
netstat -an | grep 6100 을 해보면 Scouter Server가 LISTEN 하고 있는것을 알 수 있습니다.
여기서 알 수 있듯이, Scouter는 기본 포트로 TCP 6100과 UDP 6100 을 …

이 블로그의 인기 게시물

Scouter APM 소소한 시리즈 #1 - 설치하기

Scouter APM 소소한 시리즈 #4 - XLog 활용 - 상세기능

Scouter APM 소소한 시리즈 #2 - 기본 항목 모니터링(1/2)