Anomaly Detection контент хэрхэн ажилладаг вэ?

Anomaly Detection Add-on технологийн багц болон түүнтэй холбоотой Anomaly Detection spotlight нь Security Data Lake Security дахь anomaly detection (гажуудал илрүүлэх) функцийг ашиглахад шаардлагатай хэрэгцээт бүрэлдэхүүн хэсгүүдийг өгдөг. Anomaly Detection spotlight нь Illuminate-ийн янз бүрийн багцтай хамт ашиглаж болох урьдчилан тодорхойлсон гажуудал илрүүлэх дүрмүүдийг (rules) агуулна.

Anomaly Detection Add-on

Anomaly detection add-on нь гажуудал илрүүлэх дүрмүүдэд зориулсан stream болон index set-ийг өгдөг бөгөөд Anomaly Detection spotlight-д орсон гажуудал илрүүлэх дүрмүүдийг ашиглахад заавал шаардлагатай. Та Illuminate-ийн Anomaly Detection spotlight-ийн дүрмүүдийг ашиглахгүй байсан ч гажуудал илрүүлэх функцийг ашиглаж байгаа бол энэ add-on-г идэвхжүүлсэн байх ёстой.

Anomaly Feature Fields (Гажуудлын шинжийн талбарууд)

Anomaly Detection Add-on нь Anomaly Detection spotlight-д орсон гажуудал илрүүлэх дүрмүүдийн ашигладаг шинжийн талбаруудыг (feature fields) нэмдэг pipeline-уудыг агуулна. Эдгээр нь ихэвчлэн бүтээгдэхүүнд хамаарах талбар бөгөөд нэвтрэлт амжилтгүй болох зэрэг тодорхой төрлийн үйл явдал болсныг заадаг. Талбарын нэр anomdet_ угтвараар эхэлнэ.

Stream Configuration (Stream-ийн тохиргоо)

Энэ технологийн багц нэг stream агуулна:

• "Security Data Lake Anomaly Detection Messages"

Index Set Configuration (Index set-ийн тохиргоо)

Энэ технологийн багц нэг index set тодорхойлолт агуулна:

• "Security Data Lake Anomaly Detection Messages"

Anomaly Detection Spotlight Content Pack

Anomaly Detection Rules (Гажуудал илрүүлэх дүрмүүд)

Anomaly Detection spotlight нь одоо байгаа Illuminate-ийн боловсруулалтын багцуудтай хамтран ажиллахаар зохиогдсон, урьдчилан тодорхойлсон гажуудал илрүүлэх дүрмүүдийг өгдөг. Орсон дүрмүүдийн дэлгэрэнгүй жагсаалтыг холбогдох баримтаас үзнэ үү.

Anomaly Detection Rule Updates (Гажуудал илрүүлэх дүрмийн шинэчлэлт)

Illuminate 5.2.0 болон түүнээс хойших хувилбарт шинэ Anomaly Detection spotlight багц орсон бөгөөд энэ нь Illuminate 5.2.0-оос өмнөх хувилбаруудад байсан дүрмүүдийн шинэчилсэн хувилбаруудыг агуулна.

Өмнөх Anomaly Detection Spotlight багцыг "Core:Anomaly Detection Spotlight (Legacy)" гэж нэрийг нь өөрчилсөн бөгөөд шинэчилсэн дүрмүүд "Core:Anomaly Detection Spotlight" нэртэй Illuminate багцад байна.

Өмнө хэрэгжүүлсэн дүрмүүд болон тэдгээрийн шинэчилсэн хувилбаруудын бүрэн жагсаалтыг шинэчилсэн дүрмүүдийн харгалзуулалтын хүснэгтээс (updated rules matrix) үзнэ үү.

Updating the Anomaly Detection Rules (Гажуудал илрүүлэх дүрмүүдийг шинэчлэх)

Хэрэв та Illuminate 5.2.0-оос өмнөх хувилбаруудын гажуудал илрүүлэх дүрмүүдийн аль нэгийг идэвхжүүлж, ажиллуулж байгаа бол энэ контент багцад орсон шинэ дүрмүүдийг идэвхжүүлэхийн тулд дараах дарааллаар хийнэ:

1. 1Security Data Lake-ийн вэб интерфэйсийн Enterprise цэсийн доорх Illuminate installer хуудсанд очно.
2. 2Хэрэв Illuminate-ийн хамгийн сүүлийн хувилбарыг татаж суулгаагүй бол татаж суулгана.
3. 3"Core:Anomaly Detection Spotlight" Illuminate багцыг идэвхжүүлнэ, гэхдээ "Core:Anomaly Detection Spotlight (Legacy)" багцыг идэвхгүй болгохгүй.
4. 4Security Data Lake-ийн вэб интерфэйсийн Security цэсийн доорх Anomalies хуудсанд очно. Энд гажуудал илрүүлэх шинэ дүрмүүдийн багц жагсаалтад нэмэгдсэнийг анзаарна.
5. 5Одоо ажиллаж байгаа гажуудал илрүүлэх дүрмүүдийг тэмдэглэж авна.
6. 6Дараа нь шинэчилсэн дүрмүүдийн жагсаалтаас хуучин (legacy) дүрэм бүрт аль шинэчилсэн дүрэм харгалзахыг тодорхойлно.
7. 7Одоо ажиллаж байгаа хуучин дүрэм бүрийг нэг нэгээр нь дараах дарааллаар шинэчилнэ:

1. Харгалзах шинэчилсэн дүрмийг идэвхжүүлнэ.
2. Шинээр идэвхжүүлсэн дүрмийг сургалтаа (training) дуустал хүлээнэ. Энэ нь дор хаяж 24 цаг болж болно.
3. Хуучин дүрмийг (эсвэл дүрмүүдийг) идэвхгүй болгоно. (Шинэчилсэн зарим дүрэм хэд хэдэн хуучин дүрмийг орлодог.)

8. 8Хуучин гажуудал илрүүлэх дүрмүүд бүгд шинэчлэгдэж, идэвхгүй болтол энэ үйлдлийг давтана.
9. 9Шинэчлэгдсэн хуучин дүрмүүд бүгд идэвхгүй болж, харгалзах шинэчилсэн дүрмүүд идэвхжсэний дараа Illuminate installer хуудсанд эргэн очиж "Core:Anomaly Detection Spotlight (Legacy)" багцыг идэвхгүй болгоно.

Anomaly Detectors (Гажуудал илрүүлэгчид)

Энэ хэсэгт anomaly detection функцэд орсон бүх боломжит илрүүлэгчдийн (detectors) бүрэн жагсаалт байна.

Гажуудлын илрүүлэлтээс үүсэх үйл явдлын лог мессеж бүрт бөглөгддөг нийтлэг мессежийн талбаруудын бүрэн жагсаалтыг холбогдох хэсгээс үзнэ үү.

Detector Index (Илрүүлэгчдийн жагсаалт)

Илрүүлэгч бүрийн хувьд: нэр, тайлбар, index pattern, шаардлага, гажуудалд хамаарах талбарууд.

• Linux Auditbeat - File Deletion V2 — Энэ илрүүлэлт таны орчны Linux хостууд дээрх ер бусын файл устгах үйлдлийг хянана. Index pattern: gl_linux_auditbeat_deflector. Шаардлага: 1. Linux Auditbeat нь system module-тэй (Beats OSS-д ороогүй) болон Sockets Dataset идэвхжсэн байх бөгөөд лог Security Data Lake серверийн Beats input(s) рүү илгээгдэж байх; 2. Linux Auditbeat технологийн багц болон Anomaly Detection add-on багц идэвхжсэн Illuminate 2.2.2 буюу түүнээс дээш хувилбар. Гажуудалд хамаарах талбарууд: Хянах талбар: anomdet_file_deleted; Нэмэгдэх талбар: files_deleted_count
• Windows Security Event Log - Failed Authentication v2 — Энэ илрүүлэх дүрэм хэрэглэгчээр нь амжилтгүй нэвтрэх оролдлогын тооноос гажуудал хайна. Index pattern: gl_windows_security_deflector. Шаардлага: 1. Дэмжигдсэн агент тохируулагдаж, Security Data Lake руу лог илгээж байх: (a.) Winlogbeat нь Security Data Lake серверийн Beats input(s) рүү лог илгээх, (b.) NXlog нь Security Data Lake серверийн GELF input(s) рүү лог илгээх; 2. Windows технологийн багц болон Anomaly Detection add-on багц идэвхжсэн Illuminate 2.2.2 буюу түүнээс дээш хувилбар; 3. Windows системүүд хэрэглэгчийн нэвтрэлтийн алдааг аудит хийхээр тохируулагдсан байх. Гажуудалд хамаарах талбарууд: Хянах талбар: anomdet_windows_auth_failure; Нэмэгдэх талбар: anomaly_user_authentication_failed
• Windows Security Event Log - User File Activity — Энэ илрүүлэлт Windows Event ID 4663-ыг хянаж, таны орчны Windows хостууд дээрх файлын үйлдлийн (унших, бичих, устгах) ер бусын тоог хянана. Index pattern: gl_windows_security_deflector. Шаардлага: 1. Дэмжигдсэн агент тохируулагдаж, Security Data Lake руу лог илгээж байх: (a.) Winlogbeat нь Security Data Lake серверийн Beats input(s) рүү лог илгээх, (b.) NXlog нь Security Data Lake серверийн GELF input(s) рүү лог илгээх; 2. Windows технологийн багц болон Anomaly Detection add-on багц идэвхжсэн Illuminate 2.2.2 буюу түүнээс дээш хувилбар; 3. Windows системүүд объектын хандалтыг (object access) аудит хийхээр тохируулагдсан байх. Гажуудалд хамаарах талбарууд: Хянах талбар: anomdet_windows_file_write, нэмэгдэх талбар: file_write_count; хянах талбар: anomdet_windows_file_delete, нэмэгдэх талбар: file_delete_count; хянах талбар: anomdet_windows_file_read, нэмэгдэх талбар: file_read_count
• Windows Security Event Log - Object Permissions Change V2 — Энэ илрүүлэлт Windows Event ID 4670-ыг хянаж, таны орчны Windows хостууд дээрх объектын зөвшөөрөл өөрчлөгдөх үйлдлийг хянана. Index pattern: gl_windows_security_deflector. Шаардлага: 1. Дэмжигдсэн агент тохируулагдаж, Security Data Lake руу лог илгээж байх: (a.) Winlogbeat нь Security Data Lake серверийн Beats input(s) рүү лог илгээх, (b.) NXlog нь Security Data Lake серверийн GELF input(s) рүү лог илгээх; 2. Windows технологийн багц болон Anomaly Detection add-on багц идэвхжсэн Illuminate 2.2.2 буюу түүнээс дээш хувилбар; 3. Windows системүүд объектын зөвшөөрлийн өөрчлөлтийг аудит хийхээр тохируулагдсан байх. Гажуудалд хамаарах талбарууд: Feature: permissions_change_count; Field Name: anomdet_windows_permissions_change; Aggregation Type: sum(); хянах талбар: anomdet_windows_permissions_change; нэмэгдэх талбар: permissions_change_count
• Linux Auditbeat - Failed Authentication V2 — Энэ илрүүлэлт амжилтгүй нэвтрэлтийг хянаж, таны орчны Linux хостууд дээрх ер бусын нэвтрэлтийн үйлдлийг хянана. Index pattern: gl_linux_auditbeat_deflector. Шаардлага: 1. Linux Auditbeat нь system module-тэй (Beats OSS-д ороогүй) болон Sockets Dataset идэвхжсэн байх бөгөөд лог Security Data Lake серверийн Beats input(s) рүү илгээгдэж байх; 2. Linux Auditbeat технологийн багц болон Anomaly Detection add-on багц идэвхжсэн Illuminate 2.2.2 буюу түүнээс дээш хувилбар. Гажуудалд хамаарах талбарууд: Feature: authentication_failure_count; Field Name: anomdet_linux_auditbeat_logon_failed; Aggregation Type: sum(); хянах талбар: anomdet_linux_auditbeat_logon_failed; нэмэгдэх талбар: authentication_failure_count
• Linux Auditbeat - Unusual Data Transfer V2 — Энэ илрүүлэлт сүлжээний траффикийн нийт хэмжээг хянаж, таны орчны Linux хостууд дээрх ер бусын сүлжээний үйлдлийг хянана. Index pattern: gl_linux_auditbeat_deflector. Шаардлага: 1. Linux Auditbeat нь system module-тэй (Beats OSS-д ороогүй) болон Sockets Dataset идэвхжсэн байх бөгөөд лог Security Data Lake серверийн Beats input(s) рүү илгээгдэж байх; 2. Linux Auditbeat технологийн багц болон Anomaly Detection add-on багц идэвхжсэн Illuminate 2.2.2 буюу түүнээс дээш хувилбар. Гажуудалд хамаарах талбарууд: Хянах талбар: network_bytes; Нэмэгдэх талбар: total_network_bytes
• Office 365 - Authentication Activity V2 — Энэ илрүүлэлт Microsoft 365 хэрэглэгч тус бүрийн ер бусын нэвтрэлт эсвэл нэвтрэлтийн алдааны хэв маягийг хянана. Index pattern: gl_o365_deflector. Шаардлага: 1. Security Data Lake нь Microsoft 365 үйлчилгээнээс лог цуглуулахаар тохируулагдсан байх; 2. O365 боловсруулалтын багц болон Anomaly Detection add-on багц идэвхжсэн Illuminate 2.2.2. Гажуудалд хамаарах талбарууд: Хянах талбар: anomdet_o365_authentication, нэмэгдэх талбар: anomaly_user_authentication; хянах талбар: anomdet_o365_logon_failed, нэмэгдэх талбар: anomaly_user_authentication_failed
• Okta - Failed Authentication V2 — Энэ илрүүлэлт Okta үйл явдлууд дахь хэрэглэгчийн нэвтрэлтийн алдааны ер бусын хэв маягийг хянана. Index pattern: gl_okta_deflector. Шаардлага: 1. Дэмжигдсэн агент тохируулагдаж, Security Data Lake руу лог илгээж байх: (a.) Winlogbeat нь Security Data Lake серверийн Beats input(s) рүү лог илгээх, (b.) NXlog нь Security Data Lake серверийн GELF input(s) рүү лог илгээх; 2. Windows технологийн багц болон Anomaly Detection add-on багц идэвхжсэн Illuminate 2.2.2 буюу түүнээс дээш хувилбар; 3. Windows системүүд файл бичих үйлдлийг аудит хийхээр тохируулагдсан байх. Гажуудалд хамаарах талбарууд: Хянах талбар: anomdet_okta_logon_failed; Нэмэгдэх талбар: anomaly_user_authentication_failed
• Symantec ProxySG - Data Exfiltration V2 — Энэ илрүүлэлт Bluecoat ProxySG-ийн логоос хостуудын хоорондох ер бусын өгөгдөл дамжуулалтыг хянана. Гажуудлын шинжилгээг хэрэглэгч бүрээр хийх ба үйл явдлуудыг user_name болон destination_ip ангиллын талбаруудаар нэгтгэнэ. Index pattern: gl_symantec_deflector. Шаардлага: 1. Bluecoat ProxySG нь Security Data Lake сервер рүү лог илгээж байх; 2. Symantec ProxySG технологийн багц болон Anomaly Detection add-on багц идэвхжсэн Illuminate 2.2.2 буюу түүнээс дээш хувилбар. Гажуудалд хамаарах талбарууд: Хянах талбар: source_bytes_sent; Нэмэгдэх талбар: total_source_types_sent
• Fortigate - Unusual Data Transfer V2 — Энэ илрүүлэлт Fortinet Fortigate галт хананы траффикийн хэмжээг хянана. Гажуудлын шинжилгээг хост бүрээр хийх ба үйл явдлуудыг source_ip ангиллын талбараар нэгтгэнэ. Index pattern: gl_fortinet_deflector. Шаардлага: 1. Fortinet Fortigate тохируулагдаж, Security Data Lake сервер рүү лог илгээж байх; 2. Fortinet Fortigate технологийн багц болон Anomaly Detection add-on багц идэвхжсэн Illuminate 2.2.2 буюу түүнээс дээш хувилбар суулгасан байх. Гажуудалд хамаарах талбарууд: Хянах талбар: network_bytes; Нэмэгдэх талбар: total_network_bytes
• Cisco ASA - Unusual Data Transfer V2 — Энэ илрүүлэлт Cisco ASA төхөөрөмжүүдээс мэдээлсэн траффикийн хэмжээг хянана. Гажуудлын шинжилгээг сүлжээний холболт бүрээр хийх ба үйл явдлуудыг source_ip талбараар нэгтгэнэ. Index pattern: gl_cisco_deflector. Шаардлага: 1. Cisco ASA төхөөрөмжүүд тохируулагдаж, идэвхжсэн бөгөөд Security Data Lake сервер рүү лог илгээж байх; 2. Cisco ASA технологийн багц болон Anomaly Detection add-on багц идэвхжсэн Illuminate 2.2.2 буюу түүнээс дээш хувилбар. Гажуудалд хамаарах талбарууд: Хянах талбар: network_bytes; Нэмэгдэх талбар: network_bytes
• Palo Alto - Data Exfiltration V2 — Энэ илрүүлэлт Palo Alto-ийн логоос хостуудын хоорондох ер бусын өгөгдөл дамжуулалтыг хянана. Гажуудлын шинжилгээг хост бүрээр хийх ба үйл явдлуудыг source_ip болон destination_ip талбаруудаар нэгтгэнэ. Index pattern: gl_paloalto_deflector. Шаардлага: 1. 9.1.x буюу түүнээс дээш хувилбартай ажиллаж буй Palo Alto төхөөрөмжүүд Security Data Lake сервер рүү лог илгээж байх; 2. Palo Alto боловсруулалтын багц болон Anomaly Detection add-on багц идэвхжсэн Illuminate 2.2.2. Гажуудалд хамаарах талбарууд: Хянах талбар: source_bytes_sent; Нэмэгдэх талбар: total_source_bytes_sent
• Palo Alto - Failed Authentication V2 — Энэ илрүүлэлт Palo Alto GlobalProtect клиентүүдэд хамаарах амжилтгүй нэвтрэх оролдлогын нэвтрэлтийн үйлдлийн хэмжээг хянана. Гажуудлын шинжилгээг хэрэглэгч бүрээр хийх ба үйл явдлуудыг user_name талбараар нэгтгэнэ. Index pattern: gl_paloalto_deflector. Шаардлага: 1. Дэмжигдсэн агент тохируулагдаж, Security Data Lake руу лог илгээж байх: (a.) Winlogbeat нь Security Data Lake серверийн Beats input(s) рүү лог илгээх, (b.) NXlog нь Security Data Lake серверийн GELF input(s) рүү лог илгээх; 2. Windows технологийн багц болон Anomaly Detection add-on багц идэвхжсэн Illuminate 2.2.2 буюу түүнээс дээш хувилбар; 3. Windows системүүд файл бичих үйлдлийг аудит хийхээр тохируулагдсан байх. Гажуудалд хамаарах талбарууд: Хянах талбар: anomdet_paloalto_logon_failed; Нэмэгдэх талбар: anomaly_user_authentication_failed

Anomaly Event Message Fields (Гажуудлын үйл явдлын мессежийн талбарууд)

Anomaly detection функцээс үүсэх бүх гажуудлын үйл явдлын мессеж нь нийтлэг талбарууд болон мессеж аль илрүүлэгчээс гарсанаас хамаарах нэмэлт, илрүүлэгчид хамаарах талбаруудтай байдаг. Эдгээр гажуудлын талбарыг идэвхжүүлсэн илрүүлэгчээс хамааран гажуудал илрүүлэгчдийн жагсаалтад тайлбарласан. Бүх гажуудлын үйл явдлын мессежид бөглөгддөг нийтлэг мессежийн талбаруудыг доорх жагсаалтад тайлбарлав.

Common Fields (Нийтлэг талбарууд)

Талбар бүрийн хувьд: утга, тэмдэглэл, жишээ.

• `anomaly_approximate_start_time` — Утга: Timestamp; Тэмдэглэл: Гажуудал болсон ойролцоо цаг. Хэрэв хэрэглэгч OpenSearch 1.2 буюу түүнээс дээш хувилбар ашиглаж байгаа бол энэ утга шууд OpenSearch-ээс ирнэ. OpenSearch 1.1 дээр энэ нь anomaly_data_start_time болон anomaly_data_end_time-ын дундах цэг байна; Жишээ: 2025-10-09 15:23:28
• `anomaly_confidence` — Утга: Тоо 0.00 - 1.00; Тэмдэглэл: anomaly_score-ын үнэн зөв байх магадлал. Энэ тоо 1-д ойр байх тусам үнэн зөв байдал өндөр; Жишээ: 0.5
• `anomaly_data_end_time` — Утга: Timestamp; Тэмдэглэл: Нэгтгэсэн өгөгдлийн илрүүлэлтийн мужийн төгсгөл; Жишээ: 2025-10-09 15:25:28
• `anomaly_data_start_time` — Утга: Timestamp; Тэмдэглэл: Нэгтгэсэн өгөгдлийн илрүүлэлтийн мужийн эхлэл; Жишээ: 2025-10-09 15:21:20
• `anomaly_detector_id` — Утга: String; Тэмдэглэл: Гажуудал илрүүлэгчийн өвөрмөц ID. Хүн уншихад зориулагдаагүй бөгөөд зөвхөн OpenSearch API-г шууд ашиглах үед хэрэгтэй; Жишээ: xBcAin8BhVrcFRn8vhUX
• `anomaly_detector_name` — Утга: String; Тэмдэглэл: Гажуудал илрүүлэгчийн нэр. Эдгээр нэрийг Security Data Lake удирддаг бөгөөд хязгаарлагдмал, нарийн тодорхойлсон багц юм; Жишээ: windows_brute_force_logon
• `anomaly_execution_end_time` — Утга: Timestamp; Тэмдэглэл: Гажуудлын үр дүнг гаргасан тухайн илрүүлэгчийн тодорхой ажиллалтын бодит дуусах цаг; Жишээ: 2025-10-09 15:26:28
• `anomaly_execution_start_time` — Утга: Timestamp; Тэмдэглэл: Гажуудлын үр дүнг гаргасан тухайн илрүүлэгчийн тодорхой ажиллалтын бодит эхлэх цаг; Жишээ: 2025-10-09 15:23:28
• `anomaly_feature_name` — Утга: String; Тэмдэглэл: Гажуудал илрүүлэх хөдөлгүүр гажуудалтай утгыг хайж шинжилж байсан талбар (эсвэл талбаруудын) нэр (хэрэглэгчдэд хэрэггүй байж болно); Жишээ: anomdet_windows_logon_failed
• `anomaly_grade` — Утга: Тоо 0.00 - 1.00; Тэмдэглэл: Өгөгдлийн цэг хэр гажуудалтай болохыг заасан 0-ээс 1 хоорондох тоо. 0 гэсэн гажуудлын зэрэг нь «гажуудал биш» гэсэн үг бөгөөд тэгээс өөр утга нь гажуудлын харьцангуй ноцтой байдлыг илтгэнэ. Энэ нь anomaly_score-ын нормчилсон хэлбэр юм; Жишээ: 0.5
• `anomaly_score` — Утга: Тоо; Тэмдэглэл: Гажуудлын харьцангуй ноцтой байдлыг заана. Оноо өндөр байх тусам өгөгдлийн цэг илүү гажуудалтай; Жишээ: 3.875
• `event_source_product` — Утга: String; Тэмдэглэл: Гажуудлын мессежийг таних болон pipeline чиглүүлэх зорилгоор тэмдэглэнэ. (source талбартай ижил утгатай); Жишээ: cell
• `message` — Утга: String; Тэмдэглэл: Security Data Lake-ийн бүх мессеж дэх стандарт мессежийн талбар. Үндсэн формат нь [<detector_name>] Anomaly - <anomaly_score>; Жишээ: graylog_anomaly
• `source` — Утга: String; Тэмдэглэл: Security Data Lake-ийн бүх мессеж дэх стандарт source талбар. Үргэлж graylog_anomaly гэж тохируулагдана. (event_source_product-тай ижил утгатай.); Жишээ: graylog_anomaly
• `timestamp` — Утга: Timestamp; Тэмдэглэл: Security Data Lake-ийн бүх мессеж дэх стандарт timestamp талбар. Security Data Lake гажуудлын өгөгдлийг OpenSearch-ээс татсан цагаар тохируулагдах бөгөөд гажуудал болсон цагтай шууд холбоогүй; Жишээ: 2025-10-09 15:31:52