HAProxy content pack (контент багц)

← Контент багцууд

HAProxy content pack (контент багц)

HAProxy нь өндөр гүйцэтгэлтэй, өндөр бэлэн байдалтай TCP болон HTTP ачаалал тэнцвэржүүлэгч (load balancer) ба proxy сервер болдог нээлттэй эхийн программ хангамжийн шийдэл юм.

HAProxy лог цуглуулалтын тухай

Хэрэглээний хувилбар нь Linux систем дээрх HAProxy HTTP сервер юм.

Энэ багц HAProxy TCP, HTTP, HTTPS болон TCP логуудыг задлан шинжилж, тохируулна.

Шаардлага

Контент багц нь syslog-оор логжуулахыг дэмжинэ.

HAProxy-д syslog тохируулах зааврыг албан ёсны баримт бичгээс үзнэ үү.

Syslog-ийг rfc5424 форматаар тохируулах ёстой.

Дэмжигдэх хувилбарууд

HAProxy 2.9 хувилбар дээр туршсан.

Stream-ийн тохиргоо

Энэ технологийн багц нэг stream агуулна:

"Illuminate:HAProxy LoadBalancer Messages"

Index set-ийн тохиргоо

Энэ технологийн багц нэг index set тодорхойлолт агуулна:

"HAProxy LoadBalancer Messages"

Дэмжигдэх лог форматууд

• Default/Connection Logs
• Error Logs
• TCP Logs (option tcplog)
• HTTP Logs (option httplog)
• HTTPS Logs (option httpslog)

Filebeat болон Bitdefender Sidecar-ээр input хийх

Security Data Lake сервер болон клиент(үүд)-ээ тохируулахын тулд Sidecar баримт бичгийг үзнэ үү. Дараах алхмуудыг хийх шаардлагатай:

1. 1
   Beats input үүсгэнэ.
2. 2
   Security Data Lake REST API token үүсгэж, хадгална.
3. 3
   Bitdefender Sidecar-ыг суулгана.
4. 4
   Клиент(үүд)ээ нэмнэ, жишээ нь вэб сервер.

Эдгээр алхмыг доорх хэсгүүдэд тайлбарласан.

Security Data Lake-ийн тохиргоо

1. 1
   Security Data Lake дотор Beats input үүсгэнэ. Энэ Bitdefender Forwarder input-ийг хэрхэн үүсгэж тохируулах талаар Beats input хэсгээс үзнэ үү.
2. 2
   Security Data Lake REST API access token үүсгэж, хадгална. Дэлгэрэнгүйг Installing Sidecar (1.2 хэсэг, Create an API token) хэсгээс үзнэ үү.
3. 3
   System > Sidecars > Configuration дор Linux collector дээрх filebeat-тэй (Linux) filebeat тохиргоо үүсгэнэ.
4. 4
   Файлыг тохируулж, дараахыг нэмнэ:

   • hosts дор зөв IP.

   Анхаар

   Та Bitdefender Forwarder-ийн IP болон Beats input profile дээр тодорхойлсон портыг оруулах ёстой.

   • Хүссэн утгад тохируулсан лог эх сурвалж болон haproxy утгатай event_source_product талбар.

fields_under_root: true
fields.collector_node_id: ${sidecar.nodeName}
fields.gl2_source_collector: ${sidecar.nodeId}
filebeat.inputs:
    input_type: log
    paths:
        /var/log/haproxy.log
        type: filestream
        fields_under_root: true
        fields:
        event_source_product: haproxy
        output.logstash:
        hosts: ["<forwarder_ip>:5044"]
        path:
        data: ${sidecar.spoolDir!"/var/lib/bitdefender/sidecar/collectors/filebeat"}/data
        logs: ${sidecar.spoolDir!"/var/lib/bitdefender/sidecar/collectors/filebeat"}/log

5. 5
   Тохиргоог хадгалж суулгацыг дуусгана.

Filebeat болон Bitdefender Sidecar-тай клиентийг тохируулах

1. 1
   Алсын машин дээр Bitdefender Sidecar-ыг суулгаж, идэвхжүүлж, шалгана. Дэлгэрэнгүйг Installing Sidecar хэсгээс үзнэ үү.
2. 2
   Албан ёсны баримт бичгийн зааврын дагуу Filebeat-ийг суулгана. Эсвэл Filebeat-ийн зөвхөн OSS хувилбарыг татаж аваад суулгаж болно.

   • Filebeat-ийг гараар суулгаж байгаа бол суулгах директороор /etc/filebeat-ийг ашиглана.
   • Filebeat-ийг apt-get-ээр суулгаж байгаа бол зөв директорыг автоматаар сонгоно.

   Ubuntu-д зориулсан командын жишээ:

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
sudo apt-get install apt-transport-https
echo "deb https://artifacts.elastic.co/packages/oss-8.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-8.x.list
sudo apt-get update && sudo apt-get install filebeat
sudo systemctl enable filebeat
sudo systemctl start filebeat
sudo systemctl status filebeat

3. 3
   (Заавал биш) Шаардлагатай бол filebeat.yml файлыг засварлана. Үүнийг Security Data Lake интерфэйс дэх Sidecar-ийн тохиргоогоор хийж болно.
4. 4
   Daemon-ыг ажиллуулна. Зөвшөөрлийн асуудал гарвал дараах командыг ажиллуулж шийдэж болно:

sudo chown root filebeat.yml

5. 5
   (Зөвлөмж) Дахин ачаалсны дараа Filebeat автоматаар эхлэхээр тохируулна.
6. 6
   Security Data Lake дотор Sidecar суулгасан машинд тохиргоог оноож өгнө. Үүнийг System > Sidecars > Administration хэсгээс хийж болно.

Лог форматын жишээ

Connection log

haproxy[1234]: Connect from 10.0.1.2:33312 to 10.0.3.31:8012 (www/HTTP)

Error log

haproxy[6103]: 127.0.0.1:56059 [03/Dec/2023:17:35:10.380] frt/f1: Connection error during SSL handshake

TCP log

haproxy[14387]: 10.0.1.2:33313 [06/Feb/2023:12:12:51.443] sdl-in static/srv1 8/9/5007 212 PH -1/2/3/4/5 6/7

HTTP/HTTPS log

haproxy[1234]: 10.0.1.2:33317 [06/Feb/2023:12:14:14.655] https-in static/srv1 11/0/31/68/108 200 2353 - - ---- 1/2/3/4/5 6/7 {sdl.de} {} "GET /index.html HTTP/1.1" 0/0/0/0/0 sdl.de/TLSv1.3/TLS_AES_256_GCM_SHA384

Юу багтсан бэ

Энэ багц нь HAProxy логуудыг Security Data Lake-ийн схемтэй нийцэх талбарууд болгон гаргаж авах задлан шинжлэх дүрмүүдийг агуулна.

• HAProxy-ийн анхдагч (default) логууд "129999" (network.default) GIM код авна.
• http_request бүхий логууд "180000" (http.message) GIM код авна.

Холбоо (Mappings)

Анхдагч логийн бүтэц

Анхдагч формат нь хуучирсан (deprecated) боловч контент багц үүнийг дэмжинэ.

Feb 16 12:12:29 localhost haproxy[14115]: Connect from 10.0.12.20:59312 to 10.0.23.131:2022 (www/HTTP)

TCP/HTTP болон HTTPS логуудын анхдагч талбарууд

TCP логийн формат

haproxy[14387]: 10.0.1.22:33213 [02/Feb/2023:12:12:51.222] sdl backend1/srv1 1/2/5007 212 -- 3/4/5/6/+7 8/9

HTTP/HTTPS формат

haproxy[14389]: 10.0.1.2:33317 [06/Feb/2023:12:14:14.655] https-in sdl/srv1 10/0/30/69/109 200 27250 cookie - C--- 10/1/1/1/0 20/20 {1sdl.de} {fun.de} "GET /index.html HTTP/1.1" 20/21/22/23/24 grt.de/TLSv1.3/TLS_AES_256_GCM_SHA384

HTTP/HTTPS логуудын нэмэлт талбарууд:

HAProxy Spotlight content pack

HAProxy нь таван dashboard санал болгоно: ерөнхий тойм dashboard, анхдагч логийн dashboard, TCP логийн dashboard, HTTP болон HTTPS логийн dashboard, алдааны dashboard.