Field Types (талбарын төрөл) ба field mappings-ыг хэрхэн удирдах вэ?

Security Data Lake-ийн хүлээн авдаг лог мессеж ихэвчлэн олон талбараас бүрддэг. Мессежийн агуулсан талбарын төрлийг хайлтын үр дүн эсвэл зарим dashboard widget-ээс харж болно.

Field type (талбарын төрөл) гэдэг нь лог мессежийн талбар бүрийн өгөгдлийн төрлийг хэлнэ. Талбарын төрөл нь жишээлбэл string, boolean эсвэл number байж болно. Талбарын төрөл нь өгөгдөл dashboard зэрэгт хэрхэн харагдахыг тодорхойлдог. Жишээлбэл, URL-ийг string хэлбэрээр харуулахаар сонгож болно.

Field Mappings-ыг удирдах

Талбарын төрлийг Security Data Lake мессежийг хүлээн авах үед оноодог. Гэхдээ тухайн талбарт хүлээн авсан төрөл нь таны өгөгдөлтэй ажиллах хүссэн хэлбэрт тохирохгүй байж болно.

Field mapping нь орж ирэх лог мессежийн тодорхой талбарын төрлийг өөрчлөх боломж олгоно. Талбарыг тодорхой төрөлтэй хослуулна. Жишээлбэл, host_ip талбарыг IP төрөлтэй холбож болно.

Хайлтын үр дүн дэх аль ч талбарын нэр дээр дарахад гарах цэснээс Change field type сонгож талбарын төрлийг өөрчилнө. Цэсийн дээд хэсэгт одоогийн талбарын төрөл харагдана. Шинэ field mapping үүсгэхийн тулд:

1. 1Change field type-г дараад гарч ирэх цонхонд шинэ талбарын төрлийг сонгоно.

2. 2Хамруулах index sets-ыг сонгоно. Анхдагчаар талбарын төрлийн өөрчлөлт одоогийн мессеж эсвэл хайлтын бүх index sets-д хэрэгжинэ.

3. 3Талбарын төрлийг өөрчлөх үед сонгосон indices-ыг rotate хийж (шинэчилж) байхын тулд Rotate affected indices after change сонголтыг тэмдэглэнэ. Энэ тохиолдолд rotation нь rotation мөчлөгийн төгсгөлийг хүлээлгүй шууд хийгдэнэ.

4. 4Change field type дарна.

> Анхааруулга: Талбарын төрлийг өөрчлөх нь лог оруулалтад ихээхэн нөлөөлж болно. Таны оруулж буй логуудтай үл нийцэх талбарын төрлийг сонговол оруулалтын алдаа гарч болзошгүй. Үүний дараа [Failure Processing](/business/support/gz-1424099-index-model)-ийг идэвхжүүлж, Processing and Indexing Failures stream-ийг анхааралтай хянаж байгаарай.

Хэрэглээний жишээ

Хэрэглэгч client_ip талбарт IP хаяг агуулсан лог мессежүүдийг оруулсан гэе. Энэ талбар анхдагчаар keyword гэж индексжигддэг. Хэрэглэгч энэ талбарыг сонгоод хэрэглэгчийн интерфэйс дээр төрлийг нь ip болгон өөрчилж болно. Өөрчлөлтийг хийж, index rotation мөчлөг дууссаны дараа Security Data Lake нь index mapping template-ийг өөрчилдөг бөгөөд ингэснээр client_ip талбар ip гэж индексжинэ.

Field Mappings-ыг дарж тохируулах

Indices болон profiles-ийн гарал үүсэл Configurations хуудсанд жагсаалтаар харагдана. Гарал үүслийн утгуудыг өөрийн mapping-аар дараах байдлаар дарж тохируулж болно:

1. 1Дарж тохируулах талбарын хувьд Edit-ийг сонгоно. Энэ үйлдэл profiles болон index утгуудын аль алинд нь боломжтой.
2. 2Change Field Type цонхны сонголтын жагсаалтаас шинэ талбарын төрлийг сонгоно.
3. 3Талбарын төрлийг өөрчлөх үед сонгосон indices-ыг rotate хийхийн тулд Rotate affected indices after change сонголтыг тэмдэглэнэ. Энэ нүдийг сонгоогүй бол өөрчлөлт хүчин төгөлдөр болохын тулд indices-ыг гараар rotate хийх ёстой.
4. 4Change field type дарна.

Энэ процедур нь талбаруудыг устгадаггүй. Та index эсвэл profile-ийг түр дарж тохируулах боломжтой бөгөөд дараа нь талбарын утга анхны байдалдаа орж болно. Дарж тохируулсан index эсвэл profile нь Configurations хуудсанд overridden index эсвэл overridden profile гэж харагдана. Мөн index эсвэл profile нь анхны (origin) эсвэл дарж тохируулсан (overridden) эсэхээр шүүж болно.

Дарж тохируулсан index эсвэл profile-аас олон field mappings-ыг нэг дор хасахын тулд Bulk actions товчийг ашиглаж болно.

Index Field Types-ыг тохируулах

Indices-ийн талбарын төрлийг Indices хуудасны Indices & Index Sets табаас удирдана. Index set-ийн тохиргооны хуудсыг үзэхийн тулд:

1. 1Удирдах index set-ээ сонгож Overview хуудсыг нээнэ. Index set хуудас бүр багтсан бүх indices-ын тоймыг тохиргооны бусад дэлгэрэнгүйн хамт харуулна.
2. 2Дэлгэрэнгүй хуудасны баруун дээд буланд байгаа Configuration цэсийг дараад Configure index field types-г сонгоно.

• Тохиргооны хуудас нь холбогдох бүх field type mappings-ыг origin зэрэг дэлгэрэнгүйгээр жагсаана. Талбарын төрлийн эх үүсвэрийн мэдээллийг харахын тулд Origin баганад байгаа бичлэг дээр дарна.

• Mapping-ийг өөрчлөхийн тулд:

1. Мөрийн төгсгөлд байгаа Edit товчийг дарна. Reserved fields-ийг засах боломжгүй.
2. Гарч ирэх цонхонд шинэ талбарын төрлийг сонгоно.

Энэ үйлдэл цаашид орж ирэх лог мессежийн оруулалтад ихээхэн нөлөөлж болох тул шинэ талбарын төрлийг болгоомжтой сонгохыг зөвлөж байна.

Index Set Profiles

Index set profiles нь өөрийн custom field mappings-ыг хадгалж, дараа нь аль ч index set-д оноох боломж олгоно. Profiles нь index set бүрт field type mappings-ыг дахин үүсгэхийн оронд орж ирэх лог мессежийн төвлөрсөн, нэг мөр өгөгдлийн загварыг бий болгоход тусална.

Талбарын төрлийг Configure Field Type хуудсанд удирдах бөгөөд тэнд index set-тэй холбоотой талбаруудын мэдээллийг харж болно.

Field Type Profile үүсгэх

Шинэ field type profiles-ыг System > Indices доорх Indices & Index Sets хуудсанд үүсгэнэ.

1. 1Field Type Profiles табыг сонгоно.
2. 2Create profile дарна.
3. 3Profile-ийн нэр болон (заавал биш) тайлбарыг оруулна.
4. 4Унадаг цэсүүдийг ашиглан зүүн талд талбарын нэрийг (эсвэл шинээр үүсгэж), баруун талд талбарын төрлийг сонгож field type mappings-ыг тохируулна.
5. 5(Заавал биш) Энэ profile-д нэмэлт mappings оруулахын тулд Add mapping дарна.
6. 6Create profile дарна.

Мөн profile-ийг Field Type Configuration хуудсанд үүсгэж болно:

1. 1System > Indices хэсэгт очно.

2. 2Дурын index set-ийг сонгож дэлгэрэнгүй хуудсыг нээнэ.

3. 3Баруун дээд буланд байгаа Configuration цэснээс Configure index field types-г сонгоно.

4. 4Mapping-д оруулах талбаруудыг сонгоно. Шаардлагатай бол олон хуудсан дахь талбаруудыг сонгож болно.

5. 5Bulk actions цэснээс Create new profile-г сонгоно.

6. 6Profile-ийн нэр болон (заавал биш) тайлбарыг оруулна.

7. 7Set up mappings доор талбарын нэр, талбарын төрлийг шаардлагатай бол тохируулна. Add mappings дарж талбар нэмэх боломжтой.

8. 8Create profile дарна.

> Анхааруулга: Талбарын төрлийг өөрчлөх нь лог оруулалтад ихээхэн нөлөөлж болно. Таны оруулж буй логуудтай үл нийцэх талбарын төрлийг сонговол оруулалтын алдаа гарч болзошгүй. Failure Processing-ийг идэвхжүүлж, дараа нь Processing and Indexing Failures stream-ийг анхааралтай хянахыг зөвлөж байна.

Аль ч аргаар profile үүсгэгдэх боловч index set-д оноогдохгүй. Profiles-ыг Field Type Profiles таб дээр харж, засах боломжтой.

Profile-ийг Index Set-д оноох

Field type profile-ийг System > Indices доорх Indices & Index Sets хуудаснаас оноож болно:

1. 1Шинэчлэх index set дээр Edit дарна.
2. 2Index Set Profile доор унадаг цэснээс хүссэн profile-ээ сонгоно.
3. 3Update index set дарна.

Index set-д profile оноосны дараа өөрчлөлт хүчин төгөлдөр болохын тулд indices-ыг rotate хийх ёстой. Үүний тулд:

1. 1Index set-ийн дэлгэрэнгүй хуудсанд очно.
2. 2Maintenance цэснээс Rotate active write index-г сонгоно.

Мөн profile-ийг Field Type Configuration хуудсаар дамжуулан оноох эсвэл хасаж болно:

1. 1System > Indices доорх Indices & Index Sets хуудаснаас дурын index set-ийг сонгож дэлгэрэнгүй хуудсыг нээнэ.

2. 2Баруун дээд буланд байгаа Configuration цэснээс Configure index field types-г сонгоно.

3. 3Field type mapping profile талбарын Edit дүрс дээр дарна.

4. 4Гарч ирэх цонхонд унадаг цэснээс хүссэн profile-ээ сонгоно.

5. 5Set profile дарна.

> Тэмдэглэл: Profile оноох эсвэл хасах үед өөрчлөлт хүчин төгөлдөр болохын тулд indices-ыг rotate хийх шаардлагатай. Rotate affected indices after change нүд анхдагчаар сонгогдсон байдаг тул энэ өөрчлөлт автоматаар хийгдэнэ. Нүдийг арилгасан бол дээр тайлбарласны дагуу indices-ыг гараар rotate хийх ёстой.

Index set-д profile оноосон үед Configurations хуудсанд дээр тайлбарласны дагуу profile-ийн тохиргоог түр дарж тохируулж болно. Энэ нь profile-ийн тохиргоог өөрчлөхгүйгээр өөр тохиргоотойгоор тодорхой хайлт хийх шаардлагатай үед хэрэгтэй.

Field Type Profiles-ыг удирдах

Field Type Profiles таб нь index set field type profiles-ыг үүсгэх, харах, удирдах газар юм. Жагсаалтын харагдац таны бүх profiles-ыг харуулна. Жагсаалтыг хязгаарлах эсвэл түлхүүр үгээр тодорхой profile хайхад шүүлтүүрийг ашиглана.

Custom Field Mappings багана нь байгаа custom field mappings-ын тоог харуулна. Тоон дээр дарж mappings-ыг үзэж болно. Жагсаалтын харагдац нь profile оноогдсон index sets-ыг бас харуулна.

Security Data Lake-ийн бусад entity жагсаалтын адил баганыг харуулах эсвэл нуух, эрэмбэлэх аргыг өөрчилж болно. Дээр тайлбарласны дагуу Create profile дарж шинэ profile үүсгэж болно.

Profile засах

Profiles-ыг Field Type Profiles таб дээр засна. Profile дээр Edit дараад мэдээллийг шинэчилнэ. Одоо байгаа field type mappings-ыг өөрчлөх, мөн mappings нэмэх эсвэл устгах боломжтой.

Мөн энэ хуудсанд дурын profile-ийг устгаж болно. Жагсаалтын харагдацаас More > Delete-ийг сонгож profile-ийг бүрмөсөн устгана.

Stream-Aware Field Types

Stream-aware field types нь таны streams-ыг холбогдох талбарын төрлүүдтэй харгалзуулах боломж олгоно. Ингэснээр таны сонгосон stream дээр үндэслэн талбарын төрлийн нарийвчилсан санал харагдана.

Security Data Lake серверийн тохиргооны файлд stream_aware_field_types параметр true байх үед Security Data Lake нь таны хайлтын backend-ээс stream болон талбарын хамаарлын мэдээллийг үе үе цуглуулж, query-д ашигласан streams-д байгаа талбаруудыг л санал болгоно.

Хэрэв таны бүх streams тусдаа, зориулалтын index sets руу очдог бол stream_aware_field_types параметрийн анхдагч утга болох false-ыг хэвээр үлдээхийг зөвлөж байна. Энэ нь хайлтын backend-ийн ачааллыг бууруулах бөгөөд streams-ыг index sets-ээр тусгаарлах нь query-д зохих талбаруудыг харуулахад тусална. Харин олон streams нэг index sets руу очдог бөгөөд талбарын төрөл, санал нарийн байхыг хүсвэл true болгож болно.

Жишээлбэл, доорх зурагт бид Illuminate:O365 Messages stream-ийг сонгосон бөгөөд дэлгэцийн зүүн талын Fields жагсаалт энэ stream-ийн дагуу санал болгосон талбарын төрлүүдийг харуулж байна.