Streams: лог өгөгдлийг stream-ээр хэрхэн зохион байгуулах вэ?

Streams нь мессежийн эх сурвалж, ноцтой байдал (severity), агуулга зэрэг шинж чанараар мессежийг шүүхийн тулд stream дүрэм (stream rules) болон pipeline дүрэм-ийг ашигладаг.

Ингэснээр лог өгөгдлийг бүтэцтэй байдлаар зохион байгуулж, боловсруулж, хадгалан, чиглэсэн шинжилгээ болон дохиололд ашиглах боломжтой болно.

Үндсэн ойлголтууд

Default stream

Security Data Lake нь All messages нэртэй суурилагдсан stream-тэй бөгөөд өөр stream-ийн дүрэмд таарахгүй бүх лог өгөгдлийг автоматаар хүлээн авна.

Энэ default stream-ийг устгах, түр зогсоох боломжгүй бөгөөд ирж буй бүх мессежийг хүлээн авах нийтлэг сувгийн үүрэгтэй.

Тодорхой дүрэмтэй өөрийн stream үүсгэсэн тохиолдолд зөвхөн тэр дүрэмд таарсан мессеж тэдгээр stream рүү чиглэгдэх бөгөөд бусад нь default stream-д үлдэнэ.

Stream Rules

Stream дүрэм нь ямар мессеж тухайн stream рүү орохыг тодорхойлох нөхцөлийг заана. Stream бүр нь талбар, утга, түлхүүр үгийг бодит цагт шалгадаг олон дүрэмтэй байж болно.

Дүрмүүдийг AND эсвэл OR гэх мэт логик оператороор хослуулж болно. Жишээ нь stream дүрмээр тодорхой IP хаягаас ирсэн мессежийг шүүх, эсвэл error” эсхүл warning зэрэг ноцтой байдлын түвшнээр логийг чиглүүлж болно.

Pipelines ба streams

Pipelines-ийг stream-д холбож нэмэлт боловсруулалт хийлгэж болно.

Pipeline нь тодорхой нөхцөлд таарсан мессеж дээр ажилладаг pipeline дүрэм-үүд бүхий дараалсан шатуудаас (stages) бүрдэнэ. Pipeline дүрэм нь мессежийг баяжуулж, хувиргаж эсвэл өөр рүү чиглүүлж чадна. Жишээ нь талбар ялгаж авах, түлхүүрийн нэрийг өөрчлөх, утгыг нормчлох зэрэг.

Pipeline-ийг stream-д хэрхэн холбохыг Data Routing-аас үзнэ үү.

Streams ба Saved Searches-ийн ялгаа

Streams болон saved searches-ийн гол ялгаа нь боловсруулах хугацаанд оршино.

• Streams нь мессежийг бодит цагт боловсруулдаг тул шууд дохиолол, дамжуулалт хийх боломжтой.
• Saved searches нь хадгалагдсан өгөгдөл дээр ажилладаг тогтмол (static) хайлтын асуулга юм.

Stream нь боловсруулагдаж байх үед мессеж бүрийг тэмдэглэдэг тул дараа нь stream ID-аар шүүх нь хайлт хийх болгонд төвөгтэй асуулгыг дахин бүтээхээс хамаагүй хурдан.

Streams-ийг удирдах

Одоо байгаа streams-ээ дээд түвшний цэсний Streams хуудаснаас удирдана.

Жагсаалтад орсон stream бүр дараах үндсэн мэдээлэлтэй:

• Archiving — Stream-тэй холбоотой index sets-д archiving идэвхтэй эсэх.
• Data Lake — Энэ stream-д Data Lake чиглэл (destination) тохируулсан эсэх.
• Rules — Холбосон stream дүрмийн тоо.
• Pipelines — Хэрэглэгдэж буй pipeline-ийн тоо.
• Throughput — Мессеж боловсруулах хурд.
• Status — Stream Running (идэвхтэй) эсвэл Paused (идэвхгүй) байгаа эсэх.
• Data Routing — Stream дүрэм, pipeline, чиглэлийн тохиргооны wizard-ыг нээнэ. Дэлгэрэнгүйг энэ KB нийтлэлийн «Stream-ээс логийг чиглүүлэх» хэсгээс үзнэ үү.
• Share — Энэ stream-ийн тохиргоог бусад хэрэглэгч эсвэл багтай хуваалцана (Permission Management).
• More Actions — Stream дүрмийг удирдах, stream-ийг хувилах (clone), alerts тохируулах зэрэг нэмэлт сонголтууд.

Шинэ stream үүсгэх

Лог өгөгдлөө чиглүүлэх шинэ stream үүсгэхийн тулд дараах алхмыг гүйцэтгэнэ:

1. 1Хуудасны дээд хэсгийн Streams табыг нээнэ.

2. 2Create stream-ийг сонгоно.

3. 3Давтагдахгүй гарчиг, тайлбар оруулна. Жишээ нь All error messages эсвэл Network logs by source.

4. 4Энэ stream-ийн мессеж бичигдэх index set-ийг сонгоно.

> Тэмдэглэл: Энэ чиглэлийг дараа нь Data Routing-аар өөрчилж болно. Жишээ нь мессежийг Data Lake рүү чиглүүлж болно.

5. 5(Заавал биш) Эдгээр мессежийг default stream-ээс хасахын тулд Remove matches from 'Default Stream'-ийг идэвхжүүлнэ.

6. 6Create stream-ийг сонгоно.

7. 7Stream хадгалагдсан боловч идэвхгүй байна. Өгөгдөл боловсруулж эхлүүлэхийн тулд Paused-ийг сонгож идэвхжүүлнэ. Идэвхжсэний дараа төлөв нь Running болж өөрчлөгдөнө.

Stream дүрэм үүсгэх, өөрчлөх

Stream дүрэм нь ямар мессеж таны streams рүү орохыг тодорхойлно. Дүрмийг Manage Rules цэс эсвэл Quick add rule-аар удирдаж болно.

Manage Rules-аар дүрэм үүсгэх

Manage Rules хуудаснаас дүрэм үүсгэхийн тулд дараах алхмыг гүйцэтгэнэ:

1. 1Streams хуудсан дээр өөрчлөх stream-ээ олоод More, дараа нь Manage Rules-ийг сонгоно.

2. 21. Load a message to test rules хэсэгт саяхны лог мессежийг сонгох эсвэл Message ID-аар ачаална.

3. 32. Manage stream rules хэсэгт Add stream rule-ийг сонгоод талбаруудыг бөглөнө:

- Field: Шүүх талбарын нэр (жишээ нь source_ip).
- Type: Утгыг хэрхэн тулгах (жишээ нь яг таарах, их, агуулсан).
- Value: Тулгах утга (жишээ нь тодорхой IP хаяг).
- Inverted: Дүрмийг хасах нөхцөл болгоно (жишээ нь тодорхой IP-г хасах).
- Description (заавал биш): Дүрмийг тайлбарласан товч тэмдэглэл.

4. 4Create Rule-ийг сонгоно.

5. 5Нэмэлт нөхцөл шаардлагатай бол давтан нэмнэ.

6. 6Мессеж stream-д орохын тулд бүх дүрэмд таарах уу, эсвэл дор хаяж нэг дүрэмд таарахад хангалттай юу гэдгийг заана.

7. 7Тохиргоог дуусгахын тулд I'm done!-ийг сонгоно.

Дүрмийг дараа нь засах эсвэл устгахын тулд Manage Rules руу буцаж Edit эсвэл Delete сонголтыг ашиглана.

Quick Add Rule-аар дүрэм үүсгэх

Дүрмийг хурдан нэмэхийн тулд дараах алхмыг гүйцэтгэнэ:

1. 1Streams хуудсаас хүссэн stream-ийнхээ More > Quick Add Rule-ийг дарна.

2. 22. Manage stream rules хэсэгт Add stream rule-ийг сонгоод талбаруудыг бөглөнө:

- Field: Шүүх талбарын нэр (жишээ нь source_ip).
- Type: Утгыг хэрхэн тулгах (жишээ нь яг таарах, их, агуулсан).
- Value: Тулгах утга (жишээ нь тодорхой IP хаяг).
- Inverted: Дүрмийг хасах нөхцөл болгоно (жишээ нь тодорхой IP-г хасах).
- Description (заавал биш): Дүрмийг тайлбарласан товч тэмдэглэл.

3. 3Эндээс лог өгөгдлийг энэ stream рүү шүүх шинэ stream дүрэм нэмж болно. Шинэ дүрмээ үүсгэхдээ өмнөх хэсгийн 5-р алхмын зааврыг дагана.

4. 4Хадгалахын тулд Create Rule-ийг дарна.

Quick Add-аар үүсгэсэн дүрмийг өөрчлөх эсвэл устгахын тулд тэр stream дээр More > Manage Rules-ийг ашиглана.

Stream-ээс логийг чиглүүлэх

Streams нь Security Data Lake-д лог өгөгдөл хэрхэн урсахын төв хэсэг юм.

Data Routing нь stream түвшингээс эхэлдэг бөгөөд энд дүрэм хэрэглэж, pipeline холбож, чиглэлээ тодорхойлно. Data routing тохируулах дэлгэрэнгүй зааврыг Data Routing-аас үзнэ үү.

Stream боловсруулалт

Security Data Lake-д ирсэн мессеж бүрийг тохируулсан бүх streams-ийн дүрэмтэй тулгана. Мессеж нь stream-ийн бүх дүрэмд эсвэл (тохиргооноос хамаарч) дор хаяж нэг дүрэмд таарвал тухайн stream-ийн дотоод ID мессежийн streams массивт нэмэгдэнэ.

Энэ ангилалын ачаар тодорхой stream-д хамаарах бүх хайлт, дохиолол, боловсруулалтын үйлдэл автоматаар тэр stream-ийн мессежээр хязгаарлагдана. Энэ шүүлт ил тод явагддаг тул та хайлтдаа streams:[STREAM_ID] параметрийг гараар зааж өгөх шаардлагагүй.

Stream боловсруулалтын ажиллах хугацааны хязгаар

Мессеж боловсруулах явцад stream ангилал нь системийн ерөнхий гүйцэтгэлд чухал үүрэгтэй. Мессеж бүрийг хэрэглэгчийн тодорхойлсон stream дүрэмтэй тулгаж, агуулга нь нөхцөлд таарвал stream-д нэмдэг.

Энэ ангилал нь мессеж индекслэх үед явагддаг тул дүрэм тулгах хугацаа нь дамжуулах чадвар (throughput) болон системийн хариу өгөх хурдад шууд нөлөөлнө.

Зарим stream дүрмийг үнэлэхэд хэт удаан хугацаа орвол, жишээ нь төвөгтэй regular expression-ээс болж, боловсруулалт удаашрах эсвэл бүр зогсож болно. Хүнд тохиолдолд мессежүүд санах ойд хуримтлагдаж, тогтворгүй болох эсвэл өгөгдөл алдагдахад хүрч болзошгүй.

Үүнээс сэргийлж Security Data Lake нь stream дүрэм тулгах ажиллах хугацаанд хязгаар тогтоодог:

• Мессежийг stream-ийн дүрэмтэй тулгахад тохируулсан timeout-аас илүү хугацаа орвол тэр мессеж дээрх тухайн stream-ийн дүрмийн үнэлгээг зогсооно.
• Мессеж боловсруулалт хэвийн үргэлжилнэ, гэхдээ энэ үзэгдлийг алдаа (fault) гэж бүртгэнэ.
• Stream зөвшөөрөгдсөн алдааны тооноос хэтэрвэл Security Data Lake системийн тогтвортой байдлыг хадгалахын тулд тэр stream-ийг автоматаар идэвхгүй болгоно.

Энэ нь цөөн тооны мессежийн хувьд stream ангиллын нарийвчлалаас илүү мессежийн ерөнхий урсгал болон системийн гүйцэтгэлийг чухалчилдаг гэсэн үг.

Гэхдээ ачаалал өндөр орчинд боловсруулах хугацаа тогтоосон хязгаараас давбал stream хэт олон идэвхгүй болох тохиолдол гарч болно. Энэ нь ихэвчлэн систем хэт ачаалалтай, одоогийн мессежийн хэмжээг даахгүй байгааг илтгэнэ.

Timeout утгыг тохируулах

Анхдагч timeout тохиргоо таны орчинд тохирохгүй бол Graylog серверийн тохиргооны файл дахь дараах параметрүүдийг өөрчилж болно:

• stream_processing_timeout — Stream-ийн дүрмийг үнэлэх зөвшөөрөгдөх дээд хугацаа (миллисекундээр). Энэ хязгаараас хэтэрвэл дүрэм тулгах үйл явц зогсч, алдаа (fault) бүртгэгдэнэ; анхдагч утга: 2000 (2 секунд).
• stream_processing_max_faults — Нэг stream-д зөвшөөрөгдөх timeout-ийн дээд тоо. Энэ босгоос хэтэрвэл stream гараар дахин идэвхжүүлэх хүртэл автоматаар идэвхгүй болно; анхдагч утга: 3.

Хэт удаан ажиллах шалтгаанууд

Зөвхөн нэг stream идэвхгүй болж, бусад нь хэвийн ажиллаж байвал тэр stream доторх нэг буюу хэд хэдэн дүрэм үр ашиггүй байх магадлалтай.

Ихэнх тохиолдолд шалтгаан нь regular expression байдаг. Тэдгээр нь төвөгтэй байдал болон тулгах өгөгдлөөс хамаарч тооцоолол ихээр шаарддаг.

Ялангуяа төвөгтэй эсвэл муу оновчтой regex хэв маяг нь зарим өгөгдөл дээр үнэлэх хугацаа экспоненциалаар өсдөг catastrophic backtracking-ийг үүсгэж болно.

Stream боловсруулалтын timeout үргэлжилсээр байвал дараах алхмуудаар асуудлыг шийднэ:

1. 1Хамаарах stream-ийн дүрмүүдийг, ялангуяа regular expression ашигласныг нь хянана.
2. 2Үнэлэх хугацааг багасгахын тулд үр ашиггүй дүрмийг хялбарчилж эсвэл устгана.
3. 3Өөрчлөлт хийсний дараа stream-ийг дахин идэвхжүүлж, боловсруулалтын гүйцэтгэл сайжирсан эсэхийг шалгана.

Stream холболтууд

Pipeline нь мессежийг өөрөө боловсруулдаггүй. Pipeline ирж буй өгөгдөл дээр ажиллахын тулд нэг буюу хэд хэдэн stream-тэй холбогдсон байх ёстой. Энэ холболт нь тухайн pipeline ямар мессежийг үнэлэхийг тодорхойлдог бөгөөд лог өгөгдлийн төрөл бүрийг хэрхэн боловсруулж, баяжуулахыг нарийн удирдах боломж олгоно.

Суурилагдсан route_to_stream функцийг pipeline дүрэмд ашиглан мессежийг өөр stream рүү чиглүүлж болно.

Мессеж чиглүүлэгдсэний дараа Pipeline Processor нь тэр зорилтот stream-д холбогдсон бүх pipeline-ийг автоматаар олж гүйцэтгэнэ. Pipeline нь мессежийн чиглүүлэлтээр бусад pipeline-ийг ажиллуулж болох ч ирж буй бүх мессеж эхлээд pipeline холбогдсон ядаж нэг stream-ээр заавал дамжих ёстой.

Default Stream

Security Data Lake-д хүлээн авсан бүх мессеж эхлээд Default Stream рүү чиглэгдэнэ. Энэ stream-ийг pipeline боловсруулалтын орох цэг болгон ашиглаж, ирж буй мессежийг цааш олон stream рүү чиглүүлж, дараа нь боловсруулах боломжтой.

Хэрэв та stream-ийн анхны тулгалтын боломж (stream rules)-ийг ашиглахыг хүсвэл Pipeline Processor-ийг Message Filter Chain-ийн дараа ажиллахаар тохируулж, одоо байгаа streams-тэй pipeline холбож болно. System > Configurations хуудасны Message Processors Configuration хэсэгт тохируулна. Ингэснээр мэдээлэл ялгаж авах, хөрвүүлэх, баяжуулах процессыг нарийн удирдана.

Security Data Lake-д хүлээн авсан бүх мессеж анхдагчаар Default Stream (All messages) рүү чиглэгдэнэ. Энэ stream-ийг pipeline боловсруулалтын эхлэх цэг болгон ашиглаж, жишээ нь мессежийг нэмэлт streams рүү чиглүүлэх эсвэл тодорхой хувиргах дүрэм хэрэглэж болно.

Хуучин stream rule-д суурилсан тулгалт-ыг ашиглахыг хүсвэл Pipeline Processor-ийг System → Configurations → Message Processors Configuration дор Message Filter Chain-ийн дараа ажиллахаар тохируулна. Ингэснээр pipeline-ийг одоо байгаа streams-тэй холбож, мэдээлэл ялгаж авах, хувиргах, баяжуулах үйлдлийг нарийн удирдах боломжтой.

Мессеж боловсруулагчийн дараалал

Мессеж боловсруулагчдын дараалал нь мессеж хэрхэн боловсруулагдахад ихээхэн нөлөөлнө. Streams болон pipelines-ээ зохиохдоо, ялангуяа сүүлийн боловсруулагчид өмнөх шатанд өөрчилсөн эсвэл баяжуулсан өгөгдлөөс хамаардаг бол боловсруулагчийн дараалал таны логикийг дэмжиж байгаа эсэхийг шалгаарай.