Illuminate гэж юу вэ, Security Data Lake-д лог өгөгдлийг хэрхэн боловсруулдаг вэ?

Illuminate нь pipeline, задлах (parsing) дүрэм, lookup хүснэгт болон бусад агуулгаас бүрдсэн цуглуулга юм. Энэ агуулга нь Security Data Lake Information Model (GIM) схем-ийг ашиглан төрөл бүрийн үйл явдлын логийг нэг стандарт аргаар боловсруулдаг тул түгээмэл лог эх сурвалжуудыг хайх, шинжлэх ажил илүү үр дүнтэй болно.

Illuminate нь лог өгөгдлийг баяжуулж, хэвийн хэлбэрт оруулдаг (normalize) тул хэрэглэгчийн нэр эсвэл IP хаяг үргэлж нэг талбарт байна. Ингэснээр логийг хайх нь илүү хялбар, хурдан болно. Түүнчлэн схемд зураглагдсан тул ямар ч төрлийн өгөгдөл дээр, танд ямар галт ханын холболт байгаагаас үл хамааран ажиллах илүү универсал хяналтын самбар (dashboard) үүсгэх боломжтой.

Үүнийг хэрэгжүүлэхийн тулд Illuminate нь логийг хүлээн авч, ангилж, боловсруулдаг. Ангилах үйлдэл нь анхны лог мессеж Security Data Lake-д орж ирэх үед явагддаг тул логийг хэрхэн илгээж байгаа нь Illuminate мессежийг зөв таньж боловсруулах эсэхэд нөлөөлнө. Жишээлбэл, зарим төхөөрөмж логийг syslog стандартад нийцсэн мессеж, BSD стандартад нийцсэн мессеж, чөлөөт хэлбэрийн мессеж гэх мэт олон форматаар илгээж чаддаг боловч задлах дүрэм ажиллахын тулд тодорхой нэг хэлбэр шаардлагатай хэвээр байдаг. Системийн хувилбар, тусгай формат, тохиргооны дэлгэрэнгүйг content pack-ийн баримт-аас үзнэ үү.

Illuminate-ийн архитектур

Illuminate нь боловсруулалтыг гурван гол хэсэгт хуваадаг шаталсан бүтэцтэй.

Processing Packs

Логийг задлах, боловсруулах тусдаа pack-ууд:

• Security Data Lake instance-д хүлээн авсан бүх логоос тухайн логийг таньж ялгана.
• Задлах (parsing) болон/эсвэл хэвийн хэлбэрт оруулах (normalization) үйлдэл хийж, Security Data Lake схемийг хэрэглэнэ.
• Үйл явдлын мессежийн тодорхой төрлийг таньж, төрлийн код оноодог.
• Үйл явдлын мессежүүдийг баяжуулна.

Illuminate Core

Illuminate-ийн цөм процессор:

• Үйл явдлын лог мессежүүдэд нийтлэг боловсруулалтын логикийг хангана.
• Нийтлэг хувийн (private) болон нөөцлөгдсөн IP хаягуудыг таньна.
• Үйл явдлын төрлийн код оноогдсон мессежүүдийг category, subcategory болон event type өгөгдлөөр баяжуулна.
• Хүсвэл тохирох мессежүүдэд MaxMind эсвэл IPinfo өгөгдлийн сан ашиглан Geolocation болон ASN баяжуулалтыг нэмж өгнө.
• Хүсвэл GIM enforcement-ийг хангана: үйл явдлуудад category, subcategory-д шаардлагатай талбарууд байгаа эсэхийг баталгаажуулж, ангиллын боломжит асуудлыг илрүүлнэ.

Spotlight Packs

Задлагдаж, боловсруулагдсан логууд дээр ажиллах тусдаа content pack-ууд бөгөөд дараахыг хангана:

• Боловсруулсан логийг дүрслэн харуулах хяналтын самбарууд (dashboards)
• Логийн доторх ер бусын үйл ажиллагааг илрүүлэх Sigma Rules болон Event Definitions

Content Hub

Illuminate Content Hub нь Illuminate content pack-уудыг үзэх, идэвхжүүлэх, удирдах төвлөрсөн газар юм. Шинээр гарсан болон одоо байгаа content pack-ууд бүгд эндээс харагдах бөгөөд шинэ эсвэл шинэчлэгдсэн pack-ууд жагсаалтын дээд хэсэгт автоматаар онцлогдоно. Төлөв, төрөл, tag, түлхүүр үгээр хайх, шүүх боломжтой тул хэрэгтэй агуулгаа хурдан олно. Администраторууд ойлгомжтой интерфэйсээр pack-уудыг суулгах, устгах боломжтой бөгөөд pack хоорондын хамаарлыг (dependencies) интерфэйс өөрөө зохицуулдаг тул Security Data Lake орчинд Illuminate агуулгыг байршуулах, арчлах ажил хөнгөрнө.

Illuminate-ийн гүйцэтгэлд үзүүлэх нөлөө

Illuminate-ийн лог боловсруулалт нь alert rules (сэрэмжлүүлгийн дүрэм), anomaly detectors (гажуудал илрүүлэгч), хяналтын самбар зэргийг олон лог эх сурвалж дээр ажиллуулах боломж олгодог. Illuminate лог өгөгдлийг боловсруулж байгаа үед «Windows Logon Brute Force», «Linux Logon Brute Force» гэх мэт тусдаа дүрэм үүсгэх шаардлагагүй, хоёуланг нь хамарсан нэг дүрэм хангалттай.

Security Data Lake дахь бүх боловсруулалтын нэгэн адил лог мессеж бүр дээр дурдсан үйл явцыг дамжих тул гүйцэтгэлд нөлөө үзүүлнэ. Gates буюу ангилах дүрмүүд нь хамгийн түрүүнд шалгагдаж, цаашид боловсруулагдах логийг хязгаарлан, мессеж бүрт хүрэх дүрмийн тоог багасгадаг.

Боловсруулах дүрэм нь маш хурдан ажилладаг энгийн key-value задлагч-аас эхлээд нарийн regex илэрхийлэл, GROK загвар хүртэл янз бүр байж болно. Дүрэм бүрийн гүйцэтгэлд үзүүлэх нөлөө өөр өөр бөгөөд логийн төрлөөс шалтгаалж ялгаатай ажиллах тул нэг дүрмийн бодит зардлыг тогтоох нь орчноос хамаарна.

Индекс ба shard

Illuminate нь индекс ба shard-ийн тохиргоо-д тусгай утга ашигладаггүй, одоогоор системийн үндсэн (default) утгыг авдаг. Индекс болон stream үүссэний дараа replica хэрэгтэй бол эсвэл shard-ийн тоог нэмэх, багасгах бол үндсэн тохиргоог өөрчилж болно.

Illuminate нь индексүүдийг түгээмэл практик, стандартад тулгуурлан хадгалах хугацаатай (retention) тохируулдаг. Эдгээр тохиргоо нь хяналтын самбар, anomaly дүрэм, alert дүрмүүдэд ажиллахад хангалттай онлайн өгөгдөл байлгадаг. Тохиргоог өөрчилж болох боловч өмнө хадгалсан тохиргоонууд нөлөөлөлд орж болохыг анхаараарай.