Security Data Lake дахь логийн өгөгдлийг хэрхэн удирдах вэ?

Логийн өгөгдлийг зөв удирдах нь таны орчны ажиглалт (observability), аюулгүй байдал, гүйцэтгэлийг хадгалахад чухал. Энэ хэсэг нь Security Data Lake-ээр өгөгдөл хэрхэн урсахыг, өөрөөр хэлбэл хүлээн авалт, баяжуулалтаас эхлээд хадгалалт, хайлт хүртэл удирддаг үндсэн бүрэлдэхүүн ба аргуудыг танилцуулна.

Эдгээр бүрэлдэхүүн нь Security Data Lake-ийн өгөгдөл удирдах архитектурын үндсэн блокууд бөгөөд логийн өгөгдлөө зохион байгуулах, боловсруулах, чиглүүлэх, хайх уян хатан, үр дүнтэй боломжийг олгоно.

Data Routing

Лог Security Data Lake-д орсны дараа шүүгдэж, баяжуулагдаж, Data Routing (өгөгдөл чиглүүлэлт) гэж нэрлэгддэг үйл явцаар чиглэнэ.

Чиглүүлэлт голдуу stream-ийн түвшинд явагддаг бөгөөд дүрэм, шүүлтүүрүүд өгөгдөл системд хэрхэн хөдөлж, хаана хадгалагдахыг тодорхойлно.

Streams

Streams бол Security Data Lake-ийн логийн өгөгдлийг зохион байгуулж, чиглүүлдэг механизм юм. Мессеж бүр тодорхойлсон дүрмийн дагуу нэг буюу хэд хэдэн stream-д хуваарилагдана.

Pipeline дүрэм үүсгэснээр ямар мессеж аль stream-д очихыг тодорхойлж, өөр өөр өгөгдлийн багцад ялгаатай шүүлтүүр, хувиргалт эсвэл хадгалалтын бодлого хэрэглэх боломжтой.

Нэг мессеж олон stream-д харьяалагдаж болох тул ижил өгөгдлийг өөр өөр өнцгөөс харж, боловсруулах боломжтой.

Pipelines

Pipelines нь мессеж stream-д чиглэгдсэний дараа тэдгээрийг хувиргаж, баяжуулах уян хатан арга юм.

Pipeline бүр хэд хэдэн шатнаас (stage) бүрдэх ба шат бүр нэг буюу хэд хэдэн pipeline дүрэм-тэй байж болно. Эдгээр дүрэм мессежийг шүүх, хувиргах, шошгох, дахин чиглүүлэх зэрэг тодорхой функц хэрэглэж, логийг хэрхэн боловсруулахад гүнзгий баяжуулалт, хяналт олгоно.

Pipeline дүрмийг Security Data Lake-ийн интерфэйс дэх rule builder-ээр үүсгэж, удирдана.

Destinations

Лог stream, pipeline-аар дамжсаны дараа өгөгдлийг хэрхэн хадгалж, удирдахыг хүсэхээс хамааран нэг буюу хэд хэдэн очих газар (destination) руу чиглүүлж болно.

Үндсэн очих газрууд:

• Data Lakes
• Index Sets

Чиглүүлэлтийн дүрмээр шүүлтүүр, тодорхойлсон нөхцөлд тулгуурлан логийн өгөгдлийг нэг буюу хэд хэдэн очих газар руу зэрэг илгээж болно.

Data Lakes

Data Lake-д хадгалагдсан өгөгдөл шахагдаж, урт хугацаанд хадгалахад зориулан оновчлогддог бөгөөд шаардлагатай үед хайлт, шинжилгээнд зориулан дараа нь сэргээж болно.

Энэ арга нь хадгалалтын зардал ба урт хугацааны өгөгдлийн хүртээмжийн хоорондох тэнцвэрийг хангах шаардлагатай байгууллагад тохиромжтой.

Index Model

Stream-ийн логийн өгөгдлийг нэг буюу хэд хэдэн index set руу шууд бичиж болно. Index set нь хайлтын backend дотор өгөгдөл хэрхэн хадгалагдаж, удирдагдахыг тодорхойлдог: ээлжлэх (rotation) хуваарь, хадгалалтын хязгаар, хадгалалтын тохиргоо зэрэг.

Энэ үйл явцаар index set-ийн амьдралын мөчлөгийг, тухайлбал ээлжлэх, хадгалах, хадгалалтын backend сонгох, сонголтоор архивлах-ыг удирдана.

Мөн гүйцэтгэл, хадгалалт, зардлын шаардлагад тань нийцсэн урьдчилан тохируулсан index set-ийн загваруудыг хэрэглэж болно.

Security Data Lake нь олон өгөгдлийн түвшин-г (data tiers) дэмждэг тул өгөгдөлд хандах давтамжаас хамааран өөр өөр хадгалалтын түвшинд хуваарилж, хурд ба үр ашгийн тэнцвэрийг хангана.