Data Lake гэж юу вэ, түүнд логийг хэрхэн хадгалж сэргээх вэ?

Data Lake бол шууд хайх, шинжлэх шаардлагагүй ч ирээдүйд хадгалах ёстой их хэмжээний лог өгөгдлийг төвлөрүүлэн хадгалдаг агуулах юм. Data Lake нь урт хугацааны хадгалалт, хууль журмын дагаж мөрдөлт эсвэл архивлах зорилгод тохиромжтой бөгөөд логийг Security Data Lake дахь идэвхтэй хайлтын гүйцэтгэлд нөлөөлөхгүйгээр хадгалах боломжийг олгоно.

Data Lake руу чиглүүлэлтийг урсгал (stream) бүрээр тохируулна. Өөрөөр хэлбэл тухайн урсгалд шүүгдсэн бүх мессежийг боловсруулсны дараа шууд Data Lake руу бичиж болно. Хадгалсан лог өгөгдлийг дараа нь үзэж (preview), сэргээж (retrieve), дахин шинжилж болох бөгөөд үйл явдлын мөрдлөгөө, анхааруулгын хяналт, хяналтын самбарын дүрслэл, тайлан зэрэгт ашиглана.

Давуу талууд

• Data Lake нь логийг хямд өртгөөр, урт хугацаанд хадгална. Шаардлагатай үед өгөгдлийг урьдчилан үзэж, сэргээж шинжилгээнд ашиглаж болно.
• Data Lake Preview нь сэргээлт эхлүүлэх эсэхээ шийдэхэд туслах түргэн, ерөнхий дүр зургийг өгнө.
• Data Lake дахь логийг хайлт, шинжилгээ, дүрслэл, тайлан зэрэгт зориулан сэргээж болно.
• Data Lake руу (хайлтын backend руу биш) чиглүүлсэн лог нь хэрэглэгч сэргээх хүртэл лицензтэй өдөр тутмын өгөгдөл хүлээн авах хэмжээнд тооцогдохгүй.

Data Lake ба архивын ялгаа

Урт хугацааны хадгалалтад Data Lake болон архив-ыг хоёуланг нь ашиглаж болно. Хоёр нь адил зорилготой ч шууд ач холбогдол багатай өгөгдөлд Data Lake-ийг ихэвчлэн илүүд үздэг. Учир нь:

• Нарийвчилсан сэргээлт хийдэг тул сэргээлт ихэвчлэн илүү хурдан.
• Өгөгдөл шахагддаг тул хадгалалтын зардлыг бууруулж болно.

Логоо Data Lake руу чиглүүлэх

Логийг Data Lake руу чиглүүлэхийн тулд зорилтот урсгал дээр Data Routing-ийг идэвхжүүлж, лог хүлээн авагчаар Data Lake-ийг сонгоно. Аль лог Data Lake руу, аль нь бусад хүлээн авагч (жишээ нь index set) руу очихыг урсгал дээрх шүүлтүүрийн дүрмээр удирдаж болно.

Data Lake дахь өгөгдлийг урьдчилан үзэх

Data Lake Preview нь хадгалсан өгөгдлийн ерөнхий дүр зургийг харуулна. Preview хуудасны шүүлтүүрээр тодорхой өгөгдлийг сонгон шалгаж, хайлт, шинжилгээнд зориулан Security Data Lake руу сэргээх эсэхээ шийднэ.

Data Lake-ээс лог сэргээх

Data Lake-д хадгалсан логийг хайж, шинжлэхийн тулд эхлээд өгөгдлийг сэргээж, хайлтын backend руу буцаан бичүүлэх ёстой. Сэргээлт нь өгөгдлийг Data Lake руу анх чиглүүлэхэд ашигласан урсгалуудад суурилна. Сэргээсэн лог нь урсгалыг анх үүсгэхэд тодорхойлсон index set руу буцна.

Шүүлтүүр хэрэглэж, тодорхой хугацааны завсар тогтоон аль өгөгдлийг татахаа нарийвчилж сонгож болно. Сэргээхээсээ өмнө тохирох лог байгаа эсэхийг Data Lake Preview-ээр шалгаарай.

Data Lake-ээ удирдах

Data Lake-ээ тохируулсны дараа Data Lake > Setup доторх Overview таб дээрээс хянаж, удирдана. Data Lake Jobs хэсэгт Data Lake дээр одоо болон саяхан ажилласан ажлуудыг төлөвийн хамт жагсаасан байдаг. Энэ мэдээллээр гарсан асуудлыг оношилж, өгөгдөл сэргээх ажлаа төлөвлөнө.

Мөн энэ хуудсанд Data Lake руу лог чиглүүлж буй бүх урсгалыг дэлгэрэнгүй мэдээллийн хамт жагсаасан байдаг. Урсгалын жагсаалтаас тухайн урсгалд лог урьдчилан үзэх эсвэл лог сэргээх үйлдлийг эхлүүлж болно. Тухайн урсгалын чиглүүлэлтийн тодорхойлолтыг шалгах, шинэчлэхийн тулд Data Routing-ийг дарна.

Data Lake-ээс лог урьдчилан үзэх

Data Lake Preview нь Data Lake-д хадгалсан лог өгөгдлийг харах боломжийг олгоно. Хайлт, шинжилгээнд зориулан сэргээхээсээ өмнө логийг урьдчилан үзэж шалгаж болно. Урьдчилан үзэх нь лицензийн ашиглалтад нөлөөлөхгүй. Лог өгөгдөл хайлтын backend руу өмнө нь илгээгдээгүй бол зөвхөн сэргээсний дараа лицензийн ашиглалтад тооцогдоно.

Data Lake Preview ба хайлтын ялгаа

Data Lake Preview нь Security Data Lake дахь хайлттай адил зүйл биш.

• Search (Хайлт) нь хайлтын backend-д хадгалсан индекслэгдсэн өгөгдөл дээр ажиллах бөгөөд өөрийн query синтаксийг дэмждэг.
• Preview (Урьдчилан үзэх) нь хадгалсан лог өгөгдлийг харах хялбаршуулсан интерфэйс бөгөөд шүүлтүүр болон талбарын сонголт хязгаарлагдмал.

Өгөгдлийг урьдчилан үзэхийн тулд Data Lake руу чиглүүлсэн урсгалыг сонгоод, хадгалсан мессежүүдийн цагийн тэмдэгт тулгуурлан шүүлтүүр болон хугацааны хяналтаар харагдах өгөгдлөө нарийсгана.

Лог өгөгдлийг урьдчилан үзэх

Data Lake дахь өгөгдлийг урьдчилан үзэх алхам:

1. 1Data Lake > Preview руу очно.

2. 2Лог өгөгдлийг урьдчилан үзэх урсгалаа сонгоно.

3. 3(Заавал биш) Лог өгөгдлийг урьдчилан үзэх хугацааны завсрыг сонгоно. Анхдагчаар сүүлийн 30 минутын логийг харуулна.

4. 4(Заавал биш) Үр дүнг нарийсгах шүүлтүүр хэрэглэнэ:

- Filter by fields-ийг сонгоод, унждаг жагсаалтаас талбар сонгож, утга оруулна.
- Нэмэлт шүүлтүүр оруулахын тулд Add field-ийг дарна.
- Олон шүүлтүүрийг AND эсвэл OR логикоор хослуулж болно.
- Урьдчилан үзэхэд олон шүүлтүүр ашиглаж болох ч сэргээлтэд хамгийн ихдээ гурван шүүлтүүр дэмжигдэнэ.

> Тэмдэглэл: stream эсвэл associated_assets талбараар шүүх нь санах ойд хийх их тооцоолол, өгөгдөл дамжуулалтаас болж боловсруулах хугацааг мэдэгдэхүйц нэмэгдүүлж болно.
>
> Хамгийн сайн гүйцэтгэл авахын тулд эдгээр шүүлтүүрийг нарийн хугацааны завсартай хамт ашиглаж, нэмэлт шүүлтүүрийн тоог хязгаарлаарай.

5. 5Perform Search-ийг дарна.

Data Lake-д их хэмжээний өгөгдөл байвал урьдчилан үзэх нь хэсэг хугацаа авч болно. Нэг хэрэглэгч нэг дор зөвхөн нэг preview ажил ажиллуулах боломжтой бөгөөд preview ажлын гүйцэтгэл дөрвөн цагаар хязгаарлагдана. Энэ хугацаанаас хэтэрсэн ажил амжилтгүй болно.

Тохирсон логууд Preview хуудасны жагсаалт харагдацын widget-д гарна. Хамгийн сүүлийн preview үр дүн 24 цагийн турш байна. Шүүлтүүр эсвэл хугацааны завсраа тохируулаад дахин Perform Search-ийг сонгон үр дүнг нарийсгаж болно.

Жагсаалтын харагдацыг өөрчлөхийн тулд хүснэгтийн баруун дээд буланд байгаа Edit icon-ыг дарж дараахыг хийнэ:

• Багана нэмэх эсвэл хасах.
• Хамаарал сайтай талбаруудыг түрүүлэхээр баганын дарааллыг өөрчлөх.
• Хадгалсан өгөгдөлд байгаа бол мэдэгдэж буй custom талбаруудыг хүснэгтэд нэмэх.

Мөр бүрийн хажууд байгаа expand icon-ыг сонговол тухайн мессежийн бүх талбар, утгыг харуулсан цонх гарна. Мөн хуудасны дээд хэсэгт байгаа Highlighting сонголтоор талбар эсвэл утгыг өнгөөр ялгаж, хялбар таних боломжтой.

Preview-ээс лог өгөгдөл сэргээх

Лог өгөгдлийг шалгасны дараа preview-ээс шууд сэргээж болно. Сэргээх хоёр арга бий:

• Бүтэн preview-ээс сэргээх

1. Preview жагсаалтын баруун дээд буланд байгаа Retrieve logs-ийг сонгоно.

Одоогийн шүүлтүүр, сонголтоор урьдчилан бөглөгдсөн Retrieve Logs цонх нээгдэнэ.

2. Шаардлагатай бол тохиргоог өөрчлөөд Retrieve-ийг дарна.

> Тэмдэглэл: Нэг сэргээлтийн ажил хамгийн ихдээ гурван шүүлтүүртэй байж болно.

• Сонгосон лог мессежүүдийг сэргээх

1. Preview үр дүнгээс сэргээх лог мессежүүдийнхээ нүдийг тэмдэглэнэ.
2. Bulk actions > Retrieve Logs-ийг сонгоно.
3. Сонгосон логийн тоог харуулсан цонхноос Retrieve-ийг сонгон сэргээлтийг баталгаажуулна.

Сэргээлтийн явцыг Data Lake > Setup доторх Overview табаас хянаж болно.

Сэргээлт дууссаны дараа сэргээсэн логийг Streams → [Таны урсгал] > Data Routing > Destinations > Data Lake > Retrieval Operations хэсгээс харна.

Data Lake-ээс лог сэргээх

Data Lake-д хадгалсан логийг хайж, шинжлэхийг хүсвэл эхлээд тэдгээрийг сэргээж, хайлтын backend руу бичүүлэх ёстой. Тодорхой урсгалын логийг хугацааны завсараар сэргээж болох бөгөөд шүүлтүүр хэрэглэж сэргээх өгөгдлийн хүрээг нарийсгаж болно.

Логийг урсгалыг анх үүсгэхэд тодорхойлсон index set руу буцаан сэргээнэ.

Сэргээсэн өгөгдлийн индекс

Логийг Data Lake-ээс сэргээхэд сэргээсэн өгөгдөл хайлтын backend руу илгээгдэж, хайлт болон бусад үйлдэлд зориулан индекслэгдэнэ.

Сэргээлт бүр restored-archive-data-lake угтвартай, дараа нь давтагдашгүй тоон дугаартай шинэ индекс үүсгэнэ. Индекслэгдсэний дараа сэргээсэн өгөгдөл хайлтын backend руу анх чиглүүлсэн өгөгдөлтэй адил ажиллана.

Лог сэргээх

Data Lake-ээс лог өгөгдөл сэргээх алхам:

1. 1Data Lake > Setup > Overview руу очно.

2. 2Лог сэргээх урсгалаа олно.

3. 3Retrieve logs-ийг сонгоно.

4. 4Харилцах цонхонд огноо, цагийн сонголтоор Time Range-ийг тохируулна.

5. 5Filter Retrieval by Original Destination хэсгээс дараахын нэгийг сонгоно:

- Must exclude: Search Cluster – зөвхөн Data Lake-ээс (өмнө нь индекслээгүй өгөгдөл) сэргээнэ.
- Must include: Search Cluster – зөвхөн хайлтын backend-ээс (өмнө нь индекслэгдсэн өгөгдөл) сэргээнэ.
- Include All – хоёр эх сурвалжаас сэргээнэ.

6. 6(Заавал биш) Сэргээх лог өгөгдлийг цаашид хязгаарлах шүүлтүүр нэмнэ:

1. Add filter-ийг сонгоод талбарын нэр, шүүлтүүрийн утгыг оруулна.
2. Хамгийн ихдээ гурван шүүлтүүр нэмж, AND эсвэл OR логикоор хослуулна.

> Тэмдэглэл: Боломжит сонголтоос гадуур өөрийн шүүлтүүр, query хэрэглэх боломжгүй. Нэмэлт мэдээллийг Data Lake Preview хэсгээс үзнэ үү.

7. 7Үйл явцыг эхлүүлэхийн тулд Retrieve-ийг сонгоно.

Сэргээлтээ тохируулах явцад харилцах цонхны доод хэсэгт хайж буй өгөгдлийн ойролцоо хэмжээний тооцоо гарна. Сэргээлтийн үйл явц өгөгдлийн хэмжээнээс хамаарч хугацаа авч болно.

Эхэлсний дараа сэргээлтийн ажил Data Lake > Setup > Overview > Data Lake Jobs хэсэгт харагдана. Сэргээлт дуусмагц логууд хайлт, шинжилгээнд бэлэн болно.

Мөн өгөгдлөө шалгасны дараа Data Lake Preview хуудаснаас шууд сэргээлт эхлүүлж болно.

Сэргээлт дууссаны дараа сэргээсэн логийг Streams > [таны урсгал] > Data Routing > Destinations > Data Lake > Retrieval Operations хэсгээс харна.