Inputs (Оролтууд) — 13-р хэсэг: Raw or plaintext input

← Үндсэн хуудас

Raw or plaintext input (Түүхий эсвэл энгийн текст input)

Raw or plaintext input нь netcat маягийн энгийн сонсогч бөгөөд Bitdefender Forwarder рүү илгээсэн дурын өгөгдлийг урьдчилсан бүтэц таамаглалгүйгээр хүлээн авна. Тиймээс олон төрлийн лог эх үүсвэрт тохиромжтой. Энэ input нь цаг болон талбаруудыг автоматаар ялгахгүй тул мессеж анхны хэлбэрээрээ үлдэх бөгөөд дараа нь Security Data Lake-ийн боловсруулалтын шугамаар (processing pipeline) задлан шинжилж болно.

Энэ input нь төхөөрөмж, аппликейшн эсвэл скрипт яг юу илгээж байгааг харах боломж олгодог тул алдаа тодорхойлоход (debugging) ихээхэн тустай. Мөн стандарт форматгүй эх үүсвэрийн логийг оруулахад тохиромжтой бөгөөд Security Data Lake дотор мессежийг хэрхэн задлах, баяжуулахыг бүрэн өөрөө тодорхойлох боломж олгоно.

Raw or plaintext input нь TCP, UDP, Kafka, AMQP зэрэг олон дамжуулалтаар (transport) боломжтой.

Raw/Plaintext TCP

Input үүсгэх, тохируулах талаар Setting up a new Input хуудасны Creating a new Listener input хэсгээс үзнэ үү. Input үүсгэх хуудасны Select input type (Input-ын төрлийг сонгох) жагсаалтад Raw/Plaintext TCP гэсэн тусдаа сонголт байгааг анхаарна уу.

Input-ыг дараах сонголтоор тохируулна:

• Title (Гарчиг) — Input-д нэр өгнө, жишээ нь: Raw TCP Input for XYZ Source.
• Bind address (Холбох хаяг) — Энэ input сонсох IP хаягийг оруулна. Эх систем/өгөгдөл логоо энэ IP хаяг/input руу илгээнэ.
• Port (Порт) — IP хаягийн хамт ашиглах портыг оруулна.
• Timezone (Цагийн бүс) — Эх систем дээр тохируулсан цагийн бүсийг сонгоно. Илгээгч цагийн бүсийн мэдээлэл оруулаагүй бол мессеж ирэх үед ашиглах цагийн бүсийг энд тохируулж болно. Энэ тохиргоо цагийн тэмдэглэгээнд (timestamp) орсон цагийн бүсийг дарж бичихгүй; харин цагийн бүсийн мэдээлэлгүй мессежид таамаглан ашиглах цагийн бүс болно.
• Receive Buffer Size (Хүлээн авах буферийн хэмжээ, заавал биш) — Input-ээр орж ирэх урсгалын хэмжээнээс шалтгаалан өгөгдөл хэвийн урсахад хангалттай том, гэхдээ буферт хуримтлагдсан өгөгдлийг боловсруулахад систем нөөцөө дэндүү зарцуулахааргүй жижиг утга сонгоно.
• Enable TLS (TLS идэвхжүүлэх) — Энэ input TLS ашиглах бол сонгоно.
• TCP keepalive (Нүд) — Идэвхгүй холболт таслагдахаас сэргийлэхийн тулд input TCP keep-alive багцыг дэмжихийг хүсвэл идэвхжүүлнэ.
• Null frame delimiter (Нүд) — Энийг ихэвчлэн сонгохгүй орхино. Мессеж бүрийн тусгаарлагч нь шинэ мөр байдаг.
• Maximum message size (Мессежийн дээд хэмжээ, заавал биш) — Мессежийн дээд хэмжээ. Анхдагч утга ихэвчлэн хангалттай боловч мессежийн уртаас шалтгаалан өөрчилж болно. Input төрөл бүрийн мессежийн дээд уртыг тухайн төрлийн техникийн тодорхойлолтод заасан байдаг.
• Override source (Эх үүсвэрийг дарж бичих, заавал биш) — Ирж буй бүх мессежийн source талбарыг дарж бичих боломж олгоно.
• Encoding (Кодчилол, заавал биш) — Бүх мессеж input-д тохируулсан кодчилолыг дэмжсэн байх ёстой. Жишээ нь UTF-8 кодчилолтой мессежийг UTF-16 дэмжихээр тохируулсан input руу илгээж болохгүй.

Raw/Plaintext UDP

Input үүсгэх, тохируулах талаар Setting up a new Input хуудасны Creating a new Listener input хэсгээс үзнэ үү. Input үүсгэх хуудасны Select input type жагсаалтад Raw/Plaintext UDP гэсэн тусдаа сонголт байгааг анхаарна уу.

Input-ыг дараах сонголтоор тохируулна:

• Title (Гарчиг) — Input-д нэр өгнө, жишээ нь: Raw UDP Input for XYZ Source.
• Bind address (Холбох хаяг) — Энэ input сонсох IP хаягийг оруулна. Эх систем/өгөгдөл логоо энэ IP хаяг/input руу илгээнэ.
• Port (Порт) — IP хаягийн хамт ашиглах портыг оруулна.
• Receive Buffer Size (Хүлээн авах буферийн хэмжээ, заавал биш) — Input-ээр орж ирэх урсгалын хэмжээнээс шалтгаалан өгөгдөл хэвийн урсахад хангалттай том, гэхдээ буферт хуримтлагдсан өгөгдлийг боловсруулахад систем нөөцөө дэндүү зарцуулахааргүй жижиг утга сонгоно.
• Override source (Эх үүсвэрийг дарж бичих, заавал биш) — Ирж буй бүх мессежийн source талбарыг дарж бичих боломж олгоно.
• Encoding (Кодчилол, заавал биш) — Бүх мессеж input-д тохируулсан кодчилолыг дэмжсэн байх ёстой. Жишээ нь UTF-8 кодчилолтой мессежийг UTF-16 дэмжихээр тохируулсан input руу илгээж болохгүй.

Raw/Plaintext AMQP

Raw/Plaintext AMQP Input нь RabbitMQ зэрэг AMQP-тэй нийцтэй мессеж брокероос мессежийг урьдчилсан бүтэц таамаглалгүйгээр хүлээн авах боломж олгоно.

Input үүсгэх, тохируулах талаар Setting up a new Input хуудасны Creating a new Listener input хэсгээс үзнэ үү. Input үүсгэх хуудасны Select input type жагсаалтад Raw/Plaintext AMQP гэсэн тусдаа сонголт байгааг анхаарна уу.

Input-ыг дараах сонголтоор тохируулна:

• Title (Гарчиг) — Input-д нэр өгнө. Жишээ нь: Raw AMQP Input for XYZ Source.
• Broker hostname (Брокерын хостын нэр) — Мессеж брокерын (жишээ нь RabbitMQ сервер) хостын нэр эсвэл IP хаяг.
• Broker virtual host (Брокерын виртуал хост) — Брокер доторх аппликейшн эсвэл түрээслэгчдийг (tenant) бие биенээс нь тусгаарлахад ашигладаг логик нэрийн орон зай.
• Prefetch count (Урьдчилан татах тоо) — Хэрэглэгч (consumer) баталгаажуулахаас өмнө хүлээн авч болох мессежийн дээд тоо.
• Queue (Дараалал) — Мессежийг унших дарааллын нэр.
• Exchange — Мессеж хүлээн авахын тулд input холбогдох exchange.
• Routing key — Exchange-ийн мессежийг заасан дараалал руу чиглүүлэхэд ашигладаг түлхүүр.
• Number of consumers/queues (Хэрэглэгч/дарааллын тоо) — Мессеж боловсруулахад хэдэн хэрэглэгч эсвэл дараалал үүсгэхийг тодорхойлно.
• Allow throttling this input (Нүд) (Энэ input-ыг хязгаарлахыг зөвшөөрөх) — Өгөгдөл оруулах хурдыг хянаж, системийг хэт ачаалахаас сэргийлэх мессежийн хурдны хязгаарыг идэвхжүүлнэ.
• Broker port (Брокерын порт, заавал биш) — Мессеж брокерын ашигладаг портын дугаар.
• Username (Хэрэглэгчийн нэр, заавал биш) — Шаардлагатай бол брокерт нэвтрэх хэрэглэгчийн нэр.
• Password (Нууц үг, заавал биш) — Брокерт нэвтрэх хэрэглэгчийн нэрийн нууц үг.
• Passive queue declaration (Нүд) (Дарааллыг идэвхгүй горимоор зарлах) — Дарааллыг өөрчлөх, үүсгэхгүйгээр зөвхөн байгаа эсэхийг нь баталгаажуулах идэвхгүй (passive) горимоор зарлана.
• Bind to exchange (Нүд) (Exchange-д холбох) — Input-ыг брокер дээрх тодорхой exchange-д холбож, түүнээс мессеж хүлээн авна.
• Heartbeat timeout (Heartbeat-ийн хугацаа, заавал биш) — Холболт тасарсныг илрүүлэх клиент-брокерын heartbeat шалгалтын интервал (секундээр).
• Enable TLS (Нүд) (TLS идэвхжүүлэх) — Энэ input TLS ашиглах бол сонгоно.
• Re-queue invalid messages (Нүд) (Буруу мессежийг дахин дараалалд оруулах) — Буруу эсвэл боловсруулах боломжгүй мессежийг дараалалд буцааж оруулах эсэхийг тодорхойлно.
• Connection recovery interval (Холболт сэргээх интервал, заавал биш) — Холболт амжилтгүй болсны дараа брокертой дахин холбогдохыг оролдохын өмнө хүлээх хугацаа (секундээр).
• Override source (Эх үүсвэрийг дарж бичих, заавал биш) — Ирж буй бүх мессежийн source талбарыг дарж бичих боломж олгоно.
• Encoding (Кодчилол, заавал биш) — Бүх мессеж input-д тохируулсан кодчилолыг дэмжсэн байх ёстой. Жишээ нь UTF-8 кодчилолтой мессежийг UTF-16 дэмжихээр тохируулсан input руу илгээж болохгүй.

Raw/Plaintext Kafka

Raw/Plaintext Kafka input нь Apache Kafka-ийн topic-оос мессежийг урьдчилсан схем, задлах дүрэмгүйгээр шууд хүлээн авах боломж олгоно. Бусад raw/plaintext input-ын нэгэн адил мессежийн агуулга яг хүлээн авсан хэвээрээ хадгалагддаг тул алдаа тодорхойлох, бүтэцгүй эсвэл өөрийн форматтай логийг оруулах, Kafka-аар үйл явдал түгээдэг аппликейшний өгөгдлийг боловсруулахад тохиромжтой.

Input үүсгэх, тохируулах талаар Setting up a new Input хуудасны Creating a new Listener input хэсгээс үзнэ үү. Input үүсгэх хуудасны Select input type жагсаалтад Raw/Plaintext Kafka гэсэн тусдаа сонголт байгааг анхаарна уу.

Input-ыг дараах сонголтоор тохируулна:

• Title (Гарчиг) — Input-д нэр өгнө. Жишээ нь: Raw Kafka Input for XYZ Source.
• Legacy mode (Хуучин горим) — ZooKeeper дээр суурилсан хуучин consumer API-г ашиглах бол сонгоно.
• Bootstrap Servers (Bootstrap серверүүд, заавал биш) — Kafka сервер ажиллаж буй IP хаяг ба портыг оруулна.
• ZooKeeper address (ZooKeeper хаяг, зөвхөн legacy горимд, заавал биш) — Zookeeper сервер ажиллаж буй IP хаяг ба порт.
• Topic filter regex (Topic-ийн шүүлтүүр) — filebeats.yml файлд тохируулсан topic-ийн нэрийн шүүлтүүрийг оруулна.
• Fetch minimum bytes (Татахын доод хэмжээ, байтаар) — Татахаас өмнө мессежийн багц хүрэх ёстой хамгийн бага хэмжээ.
• Fetch maximum wait time (ms) (Татахын дээд хүлээлт, мс) — Татахаас өмнө хүлээх дээд хугацааг миллисекундээр оруулна.
• Timezone (Цагийн бүс) — Эх систем дээр тохируулсан цагийн бүсийг сонгоно. Илгээгч цагийн бүсийн мэдээлэл оруулаагүй бол мессеж ирэх үед ашиглах цагийн бүсийг энд тохируулж болно. Энэ тохиргоо цагийн тэмдэглэгээнд орсон цагийн бүсийг дарж бичихгүй; харин цагийн бүсийн мэдээлэлгүй мессежид таамаглан ашиглах цагийн бүс болно.
• Allow throttling this input (Нүд) (Энэ input-ыг хязгаарлахыг зөвшөөрөх) — Өгөгдөл оруулах хурдыг хянаж, системийг хэт ачаалахаас сэргийлэх мессежийн хурдны хязгаарыг идэвхжүүлнэ.
• Auto offset reset (Offset-ийг автоматаар шинэчлэх, заавал биш) — Kafka-д анхны offset байхгүй эсвэл offset хүрээнээс гарсан үед жагсаалтаас тохирох сонголтыг сонгоно.
• Consumer group id (Заавал биш) — Kafka input харьяалагдах consumer group-ийн нэр.
• Locale (Заавал биш) — Мессежийн хэлийг тодорхойлоход ашиглана.
• Use full field names (Талбарын бүтэн нэр ашиглах) — Талбарын бүтэн нэрийг ашиглах бол сонгоно.
• Custom Kafka properties (Kafka-гийн нэмэлт тохиргоо, заавал биш) — Kafka-д нэмэлт параметр өгнө.

Salesforce Input

Salesforce нь үүлэнд суурилсан бизнесийн удирдлага, харилцагчийн харилцааны удирдлага (CRM), борлуулалтын хэрэгслүүдийг санал болгодог. Энэ платформ олон төрлийн лог үүсгэдэг бөгөөд Security Data Lake тэдгээрийг EventLogFile API-аар цуглуулж чадна. Дэмжигдсэн бүх үйл явдлын төрлийн талаар Salesforce-ийн албан ёсны баримт бичгээс үзнэ үү.

Security Data Lake нь Salesforce EventLogFile API-ын 58-р хувилбар хүртэлх бүх EventLogFile эх үүсвэрийн төрлийг одоогоор дэмждэг.

1. Урьдчилсан нөхцөлөө хангасан эсэхээ шалгана

Дараах нөхцөл хангагдсан эсэхийг шалгана:

• Salesforce Event Monitoring add-on-ыг агуулсан Salesforce захиалга. Аппликейшний хяналтын самбар (dashboard) дээр харуулсан бүх өгөгдлийг авахад энэ нэмэлт шаардлагатай.

2. EventLogFile API-д хандах Salesforce-ийн тохиргоог хийнэ

Security Data Lake дээр input тохируулахын өмнө EventLogFile API-д хандах эрхийг идэвхжүүлэхийн тулд Salesforce дээр дараах алхмуудыг хийнэ:

1. 1Salesforce-ийн App Manager дээр Connected App үүсгэнэ. Дэлгэрэнгүй зааврыг Salesforce-ийн баримт бичгээс үзнэ үү.
2. 2Connected App-ыг тохируулах үед Security Data Lake аппликейшнд EventLogFile API-г унших эрх олгоно.
3. 3Connected App-д зориулж OAuth-ыг тохируулна. Энэ алхам Security Data Lake-ийг Salesforce API-тай холбоход шаардлагатай Client ID болон Client Secret-ийг үүсгэнэ. Дэлгэрэнгүйг Salesforce-ийн баримт бичгээс үзнэ үү.

3. Security Data Lake дээр input-ыг тохируулна

Input үүсгэх, тохируулах талаар Setting up a new Input хуудасны Creating a new Pull input хэсгээс үзнэ үү.

Input-ыг дараах сонголтоор тохируулна:

• Input Name (Input-ын нэр) — Salesforce input-д давхцахгүй нэр оруулна.
• Base Salesforce URL (Salesforce-ийн үндсэн URL) — Salesforce instance-ийн бүтэн үндсэн URL-ыг оруулна, жишээ нь: https://instance.my.salesforce.com.
• Consumer Key — Шаардлагатай API эрхтэйгээр үүсгэсэн Salesforce Connected App-ийн Consumer Key-г оруулна.
• Consumer Secret — Salesforce Connected App-ийн Consumer Secret-ийг оруулна.
• Log Types to Collect (Цуглуулах логийн төрөл) — Цуглуулах үйл ажиллагааны логийн төрлийг сонгоно. Input сонгосон агуулгын төрлийн логийг татна.
• Polling Interval (Шалгах интервал) — Security Data Lake Salesforce дээр шинэ өгөгдөл байгаа эсэхийг хэдэн минут тутамд шалгахыг заана. Хамгийн бага интервал нь 5 минут.
• Enable Throttling (Хязгаарлалтыг идэвхжүүлэх) — Мессеж боловсруулалт хоцрогдсон үед Security Data Lake энэ input-ын шинэ өгөгдөл унших үйлдлээ түр зогсоож, системд гүйцэх боломж олгоно. Энэ тохиргоо файл эсвэл AMQP, Kafka зэрэг мессежийн дараалалаас уншдаг input-д ашигтай. Гадаад системийг тогтмол шалгадаг (жишээ нь HTTP-ээр) input-д энийг идэвхгүй орхихыг зөвлөнө.