Inputs (Оролтууд) — 12-р хэсэг: Raw HTTP Input

← Үндсэн хуудас

Raw HTTP input нь энгийн текст HTTP хүсэлтийг хүлээн авах боломж олгоно. Энэ input-аар дурын форматтай лог мессежийг HTTP протоколоор Security Data Lake руу хүлээн авч болно.

Security Data Lake дээрх тохиргоо

Input үүсгэх, тохируулах талаар Setting up a new Input хуудасны Creating a new Listener input хэсгээс үзнэ үү.

Input-ыг дараах сонголтоор тохируулна:

• Title (Гарчиг) — Input-д давхцахгүй нэр өгнө.
• Bind Address (Холбох хаяг) — Энэ input сонсох IP хаягийг оруулна. Эх систем/өгөгдөл логоо энэ IP хаягаар дамжуулан input руу илгээнэ.
• Port (Порт) — IP хаягийн хамт ашиглах портыг оруулна.
• Receive Buffer Size (optional) (Хүлээн авах буферийн хэмжээ, заавал биш) — Боловсруулахаас өмнө ирж буй өгөгдлийг хадгалах буферийн хэмжээг тодорхойлно. Буфер том байх тусам ачаалал ихтэй үед өгөгдөл алдагдах эрсдэл буурна. Input-ээр орж буй урсгалын хэмжээнээс шалтгаалж, өгөгдлийн урсгал хэвийн явахуйц хангалттай том, харин буферт хуримтлагдсан өгөгдлийг боловсруулахад систем нөөц дэмий үрэхээргүй жижиг утга сонгоно. Оновчтой хэмжээ нь сүлжээний урсгалын хэмжээнээс хамаарна. Security Data Lake-ийн анхдагч утга нь туршилт болон жижиг байршуулалтад зориулсан, харьцангуй хэмнэлттэй 256 KB байдаг тул их хэмжээний өгөгдөлтэй бол энэ утгыг нэмэгдүүлэхийг зөвлөж байна. Практикт дор хаяж 1 MB (1024 KB)-аас эхэлж, ажиллагааг ажиглан тохируулахыг зөвлөдөг.
• Enable TLS (TLS идэвхжүүлэх) — Энэ input TLS ашиглах эсэхийг сонгоно (санал болгож байна).
• TCP Keepalive — Идэвхгүй холболт таслагдахаас сэргийлэхийн тулд input-д TCP keep-alive пакет дэмжүүлэх бол идэвхжүүлнэ.
• Enable Bulk Receiving (Багцаар хүлээн авах) — Шинэ мөрөөр (\n эсвэл \r\n) тусгаарласан олон мессежийг багцаар хүлээн авах бол идэвхжүүлнэ.
• Enable CORS — Cross-Origin Resource Sharing (CORS)-ийг идэвхжүүлснээр сервер HTTP хариунд тусгай толгой (header) илгээж, хөтөчид өөр эх сурвалжаас ирэх хүсэлтийг зөвшөөрүүлнэ.
• Max. HTTP chunk size (optional) (HTTP chunk-ийн дээд хэмжээ, заавал биш) — Их хэмжээний өгөгдлийг буфер дүүрэхээс сэргийлж жижиг блок (жишээ нь 8 KB эсвэл 64 KB)-оор хуваан илгээх нь түгээмэл туршлага. HTTP chunk-ийн дээд хэмжээ 65536 байт.
• Idle writer timeout (optional) (Идэвхгүй бичигчийн хугацаа, заавал биш) — Гаралтын урсгалд бичих үед сервер клиентээс өгөгдөл ирэхийг хүлээх хамгийн урт хугацаа. Энэ хугацаанд идэвх байхгүй бол холболтыг таслана.
• Authorization Header Name (optional) (Эрхийн толгойн нэр, заавал биш) — Хүлээн авсан бүх мессежид нэвтрэлт шаардахын тулд өөрийн authorization header-ийн нэрийг заана. Энэ нь input-д нууц үгтэй төстэй хамгаалалт нэмэх арга юм.
• Authorization Header Value (optional) (Эрхийн толгойн утга, заавал биш) — Хүлээн авсан бүх мессежид нэвтрэлт шаардахын тулд authorization header-ийн утгыг заана.
• Override source (optional) (Эх сурвалжийг дарж бичих, заавал биш) — Анхдагчаар эх сурвалжийн утгыг лог мессеж дэх хостын нэрээс авдаг. Хэрэв төхөөрөмж нь стандарт бус эсвэл тохируулах боломжгүй хостын нэр илгээдэг бол эндээс өөр эх сурвалжийн нэр зааж болно.
• Encoding (optional) (Кодчилол, заавал биш) — Бүх мессеж input-д тохируулсан кодчилолыг дэмжсэн байх ёстой. Жишээ нь UTF-16 кодчилолтой input руу UTF-8 мессеж илгээж болохгүй. Анхдагч кодчилол нь UTF-8.

Bitdefender Forwarder-ээр дамжуулан Raw HTTP input руу мессеж илгээхдээ дараах endpoint-ийг ашиглаж болно:

http://<forwarder-host>:[port]/raw (POST)

curl ашиглан жишиг мессеж илгээж үзэж болно:

curl -XPOST http://<forwarder-host>:12202/raw -d 'Sample message'

Cloudflare Logpush-ийг Raw HTTP Input-тай ашиглах

Cloudflare Logpush үйлчилгээний (HTTP destination-аар дамжуулан) логийг Raw HTTP input ашиглан Security Data Lake руу оруулж болно. Тохируулсны дараа Logpush нь шинэ мөрөөр тусгаарласан лог мессежийн багцыг HTTP протоколоор input руу илгээнэ.

Энэ input-ын тохиргооны сонголтууд зэрэг ерөнхий мэдээллийг Raw HTTP input хэсгээс үзнэ үү.

Урьдчилсан нөхцөл

Үргэлжлүүлэхийн өмнө дараах нөхцөл биелсэн эсэхийг шалгана уу:

• Cloudflare-ийн захиалга шаардлагатай.
• Cloudflare Logpush HTTP destination үйлчилгээ таны орчин дахь TLS-ээр хамгаалагдсан endpoint (боломжтой бол DMZ дахь reverse proxy эсвэл gateway) руу өгөгдөл дамжуулах боломжтой байх ёстой. Input-дээ TLS-ийг хэрхэн идэвхжүүлэх талаар Raw HTTP Input хэсгээс үзнэ үү. Сертификатыг Bitdefender зохицуулдаг тул input дээр тохируулах шаардлагагүй.
• Мессежийн хүсэлтийг баталгаажуулахын тулд Raw HTTP input тохируулахдаа Authorization Header сонголтыг заавал ашиглахыг бид хүчтэй зөвлөж байна.

Input-ыг тохируулах

1. 1Enterprise > Forwarders > Input profiles руу очоод New input profile дарна.

2. 2Title (Гарчиг) болон Description (Тайлбар) оруулаад Create дарна.

3. 3Create input дарж, жагсаалтаас Raw HTTP-г сонгоно.

Cloudflare Logpush-д зориулж энэ input-ыг тохируулахдаа дараах тохиргоог анхааралтай сонгоно:

- Bind Address and Port: Cloudflare таны сүлжээгээр дамжин заасан IP хаяг, порт руу хүрэх боломжтой эсэхийг шалгана. Raw HTTP input нь /raw үндсэн HTTP замд ирэх хүсэлтийг сонсдгийг анхаарна уу.

- TLS Settings: Input-ын тохиргоонд Enable TLS нүдийг сонгож энэ endpoint-д TLS идэвхжүүлэх, эсвэл TLS-ийн шаардлагыг хангахын тулд галт хана эсвэл gateway-ээр дамжуулна.

- Enable Bulk Receiving: Энэ сонголтыг заавал сонгоно. Ингэснээр input нь Cloudflare-ээс ирсэн шинэ мөрөөр тусгаарласан лог мессежийн багцыг зөв хуваана.

- Authorization Header: Ашиглах authorization header-ийн нэр, утгыг зааж өгнө. Ингэснээр input нь зөвхөн нэвтрэлт зөв баталгаажсан холболтыг хүлээн авна.

- Authorization Header Name: authorization
- Authorization Header Value: Шаардлагад нийцсэн урт, нарийн төвөгтэй аюулгүй нууц үг сонгоно. Cloudflare дахь authorization тохиргоонд ижил утгыг ашиглана.

Бусад нэмэлт тохиргооны талаар Raw HTTP input хэсгээс дэлгэрэнгүй үзнэ үү. Таны орчинд тусгайлан шаардлагагүй бол эдгээр нэмэлт тохиргоонд анхдагч утгыг ашиглахыг зөвлөж байна.

4. 4Тохиргоогоо дуусгаад Create input дарна.

Cloudflare дээр HTTP Destination-ийг идэвхжүүлэх

Шинэ input-ыг тохируулсны дараа Logpush үйлчилгээг лог илгээдэг болгохын тулд forwarder эсвэл reverse proxy/gateway-ээ Logpush-ийн destination болгон зааж өгнө. Үүний тухай Cloudflare-ийн баримт-аас үзнэ үү.

Raw HTTP input хүсэлт хүлээж буй URI-г оруулахыг шаардах үед URL нь /raw үндсэн замыг заавал агуулсан байх ёстой. Жишээ нь:

https://<forwarder-ip>:port/raw?header_Authorization=<Forwarder input Authorization Header Value value>

эсвэл

https://<forwarder-ip>:port/raw?header_Authorization=<Forwarder input Authorization Header Value value>

GitLab Audit Event Streaming-ийг Raw HTTP Input-тай ашиглах

GitLab Audit Event Streaming-ийн (HTTP destination-аар дамжуулан) логийг Raw HTTP input ашиглан Security Data Lake руу оруулж болно. Амжилттай тохируулсны дараа GitLab нь шинэ мөрөөр тусгаарласан лог мессежийн багцыг HTTP протоколоор input руу илгээнэ.

Энэ input-ын тохиргооны сонголтууд зэрэг ерөнхий мэдээллийг Raw HTTP input хэсгээс үзнэ үү.

Урьдчилсан нөхцөл

Үргэлжлүүлэхийн өмнө дараах нөхцөл биелсэн эсэхийг шалгана уу:

• GitLab данс шаардлагатай.
• Security Data Lake дээрх Raw HTTP input-ийг интернэтээр ажилладаг GitLab-ын үйлчилгээнээс ирэх урсгалыг хүлээн авах портод сонсохоор тохируулсан байх ёстой.

GitLab Audit Event Streaming-ийг тохируулах

GitLab-ийн аудитын логийг Security Data Lake руу дамжуулахын тулд хэд хэдэн үндсэн тохиргоо хийнэ. Энэ хэсэгт GitLab-ийн Audit Event Streaming-ийг Security Data Lake-тэй холбоход шаардлагатай тохиргоог тайлбарлана. Эхлээд GitLab-ийг аудитын үйл явдлыг дамжуулдаг болгож тохируулна, дараа нь Security Data Lake дахь destination-ий дэлгэрэнгүйг (destination-ий нэр, серверийн URL, тусгай HTTP header) зааж өгнө. Түүнчлэн ямар аудитын лог цуглуулахыг тохируулахын тулд үйл явдлын шүүлтүүрийг нэмэлтээр ашиглаж болно. Дэлгэрэнгүйг GitLab-ийн албан ёсны баримт-аас үзнэ үү.

Destination-ийг тохируулах

• Destination Name: Тохирох destination-ий нэр өгнө.

• Destination URL: Raw HTTP input ажиллаж буй Security Data Lake серверийн олон нийтэд нээлттэй хостын нэр болон портыг зааж өгнө. Жишээ нь https://<datainsights-server-hostname>/raw.

• Custom HTTP Headers: Дээрх input-ын тохиргоонд заасан утгатай ижил custom header нэмнэ. Сүлжээний тохиргооноос шалтгаалан шаардлагатай бусад header-ийг нэмж болно.

• (Заавал биш) Event Filtering: Security Data Lake input руу дамжуулах логийг шүүх шүүлтүүрийг тодорхойлно.

Input-ыг тохируулах

System > Inputs руу очоод Raw HTTP-г сонгож шинэ input-ыг эхлүүлнэ. GitLab Audit Event Streaming-д зориулж энэ input-ыг тохируулахдаа дараах тохиргоог анхааралтай сонгоно:

• Bind Address and Port: GitLab таны сүлжээгээр дамжин заасан IP хаяг, порт руу хүрэх боломжтой эсэхийг шалгана. Raw HTTP input нь /raw үндсэн HTTP замд ирэх хүсэлтийг сонсдгийг анхаарна уу.
• Authorization Header: Ашиглах authorization header-ийн нэр, утгыг зааж өгнө. Ингэснээр input нь зөвхөн нэвтрэлт зөв баталгаажсан холболтыг хүлээн авна. Өмнөх хэсэгт GitLab Audit Streaming үйлчилгээг тохируулахдаа ашигласан утгыг энд оруулна.
• TLS Settings: Энэ endpoint-д TLS-ийг заавал идэвхжүүлнэ, эсвэл TLS-ийн шаардлагыг хангахын тулд галт хана эсвэл gateway-ээр дамжуулж болно.
• Enable Bulk Receiving: Энэ сонголтыг заавал сонгоно. Ингэснээр input нь GitLab-ээс ирсэн шинэ мөрөөр тусгаарласан лог мессежийн багцыг зөв хуваана.

Бусад нэмэлт тохиргооны талаар Raw HTTP input хэсгээс дэлгэрэнгүй үзнэ үү. Таны орчинд тусгайлан шаардлагагүй бол эдгээр нэмэлт тохиргоонд анхдагч утгыг ашиглахыг зөвлөж байна.