Оролтууд (Inputs) — 3-р хэсэг: AWS S3 Input

← Үндсэн хуудас

AWS S3 Input

AWS S3 input нь Amazon S3 bucket-д нийтлэгдсэн лог файлуудыг цуглуулна. Шинэ файл нийтлэгдэх бүрт тэдгээр автоматаар хүлээн авагдана. Дэмжигдэх формат: таслалаар тусгаарласан утга (CSV), Graylog Extended Log Format (GELF), мөр тутамд нэг лог бүхий текст, JSON root array (нэг JSON массив дотор олон лог мессеж). Input нь Security Data Lake уншихад шинэ өгөгдөл бэлэн болсныг мэдэхийн тулд Amazon Simple Queue Service (SQS) bucket мэдэгдлийг ашиглана.

AWS S3 Input-ийг тохируулахын тулд дараах алхмуудыг дагана уу.

1. Урьдчилсан нөхцөлийг хангасан эсэхээ шалгана

• Amazon Web Services (AWS) захиалга.
• Лог бичигдэх S3 bucket тодорхойлсон байх.

2. IAM role үүсгэж эрх олгоно

Security Data Lake нь AWS S3-тэй холбогдохын тулд зорилтот SQS queue болон S3 bucket-ийг унших эрхтэй Identity and Access Management (IAM) role үүсгэх шаардлагатай. Input ажиллахад Amazon-ын дараах эрхүүд хэрэгтэй:

• s3: GetObject
• sqs: ReceiveMessage

3. SQS queue үүсгэж тохируулна

Security Data Lake шинэ файлын мэдэгдлийг хүлээн авахаар бүртгүүлэх SQS queue үүсгэнэ. Ихэнх анхдагч сонголтыг хэвээр хүлээн авч болно.

S3 bucket үүсгэхийг энд тодорхойлсон:

{
  "Version": "2012-10-17",
  "Id": "example-ID",
  "Statement": [
    {
      "Sid": "s3-publish-policy",
      "Effect": "Allow",
      "Principal": {
        "Service": "s3.amazonaws.com"
      },
      "Action": "SQS:SendMessage",
      "Resource": "arn:aws:sqs:<region>:<account-number>:<queue-name>",
      "Condition": {
        "StringEquals": {
          "aws:SourceAccount": "<account-number>"
        },
        "ArnLike": {
          "aws:SourceArn": "arn:aws:s3:::<s3-bucket-name>"
        }
      }
    }
  ]
}

4. S3 bucket бэлдэнэ

Лог мессежийн файлуудыг хадгалах S3 bucket хэрэгтэй. Байхгүй бол Amazon-ын заавар ёсоор үүсгэнэ. Bucket үүссэний дараа Event Notifications (Үйл явдлын мэдэгдэл)-ийг дараах алхмаар идэвхжүүлнэ:

1. 1Мэдэгдлийг тохируулахдаа Event Types (Үйл явдлын төрөл) хэсэгт All object create events-ийг сонгоно. Ингснээр файл ямар аргаар үүссэн ч input-д мэдэгдэл очно.

2. 2Destination (Очих газар) хэсэгт дээр үүсгэсэн SQS queue-г сонгоно.

3. 3SQS queue болон S3 bucket хоёулаа тохируулагдсаны дараа тэдгээрийн хоорондох мэдэгдлийн холболтыг туршиж шалгана.

5. Input-ийг Security Data Lake дээр тохируулна

AWS S3 input нь Security Data Lake-д System (Систем) > Inputs болон Enterprise > Forwarders > Input Profiles хэсгүүдээс хоёроос нь боломжтой. Дэлгэрэнгүйг Шинэ Input тохируулах хэсгээс үзнэ үү.

Input-ийг дараах сонголтоор тохируулна:

• Input Name — Input-ийн давтагдахгүй нэр.
• AWS Authentication Type — Input нь AWS Software Development Kit (SDK)-ийн урьдчилан тодорхойлсон authentication chain-ийг ашиглан автоматаар нэвтрэхийг дэмжинэ. Энэ сонголтыг ихэвчлэн Security Data Lake ажиллаж буй instance-д IAM policy холбосон үед ашиглана. Input нь AWS баримтад заасан дарааллаар нэвтрэх аргуудыг дагана. Key & Secret сонголтыг сонговол AWS Access Key болон AWS Secret Key-г гараар оруулах боломжтой. AWS Access Key нь S3 bucket болон түүнтэй холбоотой SQS queue-д шаардлагатай эрхтэй хэрэглэгчид үүсгэсэн access key юм. Эдгээр AWS нэвтрэх мэдээллийг Security Data Lake дээр тохируулж болно.
• AWS SQS Queue name — S3 үйл явдлын мэдэгдлийг хүлээн авах queue-ийн нэр.
• S3 Bucket — Лог файлууд бичигдэх S3 bucket.
• S3 Region — S3 bucket байрлах region.
• AWS Assume Role (ARN) — Бүртгэл хоорондын хандалтыг идэвхжүүлэхэд ашиглана.
• Content Type — S3 bucket доторх логийн формат. CSV талбар доторх мөр шилжилтийг мөн дэмжинэ.

- CSV: таслалаар тусгаарласан утга. "field 1", "field 2" "same line field", "field with line breaks"
- Security Data Lake Extended Log Format (GELF)
- Text (Newline Delimited): мөр тутамд нэг лог мессеж. Input нь мөр бүрт Security Data Lake дээр нэг мессеж үүсгэнэ.
- JSON Array: баримтын root түвшинд JSON массив байхыг шаардана; массив нь мөр эсвэл тусдаа JSON баримтуудаас бүрдэнэ. Жишээ: ["log message 1", "log message 2", ...] [{"key", "value"}, {"key2", "value2"}, ...]

• Compression Type — Лог файлуудын шахалтын төрөл. Лог файлыг шахсан архивт бичдэг бол ашиглана. Дэмжигдэх сонголтууд: GZIP, None.
• Polling Interval — Security Data Lake S3 bucket-ийг шинэ өгөгдөл байгаа эсэхийг хэдэн минут тутамд шалгахыг заана. Хамгийн бага интервал нь 5 минут.
• Enable Throttling — Идэвхжүүлсэн бол Security Data Lake мессежийн ачаалалд гүйцэх хүртэл энэ input-ээс шинэ мессеж уншихгүй.

AWS Security Lake Input

Amazon Security Lake нь аюулгүй байдлын лог болон үйл явдлын өгөгдлийг нэгтгэж удирддаг үйлчилгээ юм. Энэ интеграци нь Amazon Security Lake-ийн аюулгүй байдлын логуудыг Security Data Lake руу оруулна. Amazon Security Lake-тэй ажиллах талаар Amazon Security Lake баримт-аас дэлгэрэнгүй үзнэ үү.

AWS Security Lake Input-ийг тохируулахын тулд дараах алхмуудыг дагана уу.

1. Урьдчилсан нөхцөлийг хангасан эсэхээ шалгана

AWS Security Lake input ашиглахад Amazon Security Lake идэвхжүүлсэн AWS данс, мөн тохирох Identity and Access Management (IAM) role бүхий subscriber тохируулсан байх шаардлагатай. Дараа нь Security Data Lake тохируулсан интервалаар Security Lake-ээс шинэ логийг татаж авна.

Дэлгэрэнгүйг Amazon Security Lake баримтаас үзнэ үү.

2. Security Lake үйлчилгээг тохируулна

1. 1AWS данс болон администратор хэрэглэгч үүсгэнэ.

2. 2AmazonSecurityLakeMetaStoreManager role нь AWS Identity and Access Management (IAM) дотор байгаа эсэхийг шалгаж, байхгүй бол үүсгэнэ.

3. 3IAM дахь AmazonSecurityLakeMetaStoreManager role-ийг input-д тохируулсан хэрэглэгчид оноож өгнө.

4. 4Amazon Security Lake console дээр Subscriber үүсгэнэ.

5. 5Logs and events sources хуудсан дээр subscriber-д идэвхжүүлэх өгөгдлийн эх үүсвэрээ сонгоно. Дараах сонголтоос нэгийг сонгоно:

- All logs and event sources — Бүх үйл явдал, логийн эх үүсвэрт хандах эрх олгоно.
- Specific log and event sources — Зөвхөн таны сонгосон эх үүсвэрт хандах эрх олгоно.

3. Security Data Lake Input-ийг тохируулна

Amazon Security Lake input нь Security Data Lake-д System > Inputs болон Enterprise > Forwarders > Input Profiles хэсгүүдээс хоёроос нь боломжтой. Дэлгэрэнгүйг Шинэ Input тохируулах хэсгээс үзнэ үү.

Input-ийг дараах сонголтоор тохируулна:

• Input Name — Input-ийн давтагдахгүй нэр.
• AWS Access Key — Subscriber болон SQS queue-д эрхтэй IAM хэрэглэгчийн AWS Access Key.
• AWS Secret Key — IAM хэрэглэгчид үүсгэсэн давтагдахгүй тодорхойлогч.
• Security Lake Region — Subscriber үүсгэсэн Security Lake-ийн region.
• SQS Queue Name — Security Lake subscriber-ийн үүсгэсэн SQS queue-ийн нэр.
• AWS Assume Role (ARN) — Бүртгэл хоорондын хандалтыг идэвхжүүлэхэд ашиглана.
• Enable Throttling — Систем мессеж боловсруулахдаа хоцорч, гүйцэх шаардлагатай үед Security Data Lake энэ input-ээс шинэ өгөгдөл унших явцыг зогсооно.
• Store Full Message — Security Data Lake лог мессеж бүрийн түүхий лог өгөгдлийг full_message талбарт хадгалахыг зөвшөөрнө.

> Анхааруулга: Энэ сонголтыг идэвхжүүлбэл хадгалагдах өгөгдлийн хэмжээ мэдэгдэхүйц өсөж болно.

Дэмжигдэх лог ба үйл явдлын эх үүсвэрүүд

Энэ input одоогоор доорх дөрвөн үйл явдлын эх үүсвэрийн дээд түвшний зарим талбарыг задлан боловсруулна. Бусад бүх өгөгдлийг full_message талбараас гараар задлан боловсруулж болно:

• CloudTrail — AWS үйлчилгээн дэх хэрэглэгчийн үйлдэл болон API ашиглалт.
• VPC flow logs — Таны VPC-ийн сүлжээний интерфэйс рүү орж гарах IP урсгалын дэлгэрэнгүй мэдээлэл.
• Route 53 — Amazon Virtual Private Cloud (Amazon VPC) доторх нөөцүүдээс хийгдсэн DNS хүсэлтүүд.
• Security Hub findings — Security Hub-аас ирсэн Amazon-ын аюулгүй байдлын илрүүлэлтүүд.

Azure Event Hubs Input

Azure Event Hub нь Azure үйлчилгээнүүдээс янз бүрийн төрлийн үйл явдлын лог хүлээн авах боломжтой, бүрэн удирдлагатай бодит цагийн өгөгдөл хүлээн авах үйлчилгээ юм. Azure Event Hubs input нь event hub-ийн үйл явдлуудыг татаж аваад Security Data Lake дотор боловсруулах боломж олгоно.

Azure Event Hubs input-ийг тохируулахын тулд дараах алхмуудыг дагана уу.

1. Урьдчилсан нөхцөлийг хангасан эсэхээ шалгана

Azure Event Hubs input ашиглахад идэвхтэй Azure захиалга болон тохируулсан Event Hub хэрэгтэй.

Тохируулах зааврыг Azure баримт болон боломж, нэр томьёо-оос үзнэ үү.

2. Azure Event Hub дээр input-д хандах эрхийг тохируулна

Azure Event Hub тохируулагдаж, лог үйл явдал хүлээн авч эхэлсний дараа input холбогдож үйл явдлыг унших боломжтой болгохын тулд дараах алхмуудыг хийнэ.

1. 1Input-ийг Event Hub-тай холбогдож харилцах боломжтой болгохын тулд Shared Access Signature (SAS) policy нэмнэ.

> Тэмдэглэл: Policy үүсгэхээс өмнө аюулгүй байдал, удирдлагын шилдэг туршлагыг Azure баримтаас шалгана уу.

2. 2Policy үүсгэхийн тулд дараах алхмуудыг хийнэ:

1. Дэлгэцийн баруун талын цэсээс Shared access policies-ийг сонгоно.

2. Event Hub хуудасны зүүн талын навигацийн самбараас Shared access policies-ийг сонгоно.

3. Дээд талын New товчийг дарж policy үүсгэнэ.

4. Listen эрхийг сонгоно. (Security Data Lake нь Event Hub-аас зөвхөн үйл явдал унших тул энэ эрх хангалттай.)

Policy тодорхойлсны дараа primary эсвэл secondary connection string-ийг тэмдэглэж аваарай. Энэ connection string нь Security Data Lake дээр input-ийг тохируулахад шаардлагатай.

3. Consumer Group тохируулна

Azure Event Hubs input нь Event Hub-аас үйл явдал унших consumer group шаардана. Azure нь $Default consumer group-ийг өгдөг бөгөөд Security Data Lake-д лог хүлээн авахад энэ нь хангалттай. Хэрэв өөрөө consumer group үүсгэсэн бол Security Data Lake-ийн тохиргоонд түүнийг зааж өгч болно.

4. Security Data Lake Input-ийг тохируулна

Input-ийг дараах сонголтоор тохируулна:

• Input Name — Input-ийн давтагдахгүй нэр.
• Azure Event Hub Name — Azure console дээрх таны Event Hub-ийн нэр.
• Connection String — Дээрх Shared Access Signature policy-д тодорхойлсон primary эсвэл secondary connection string.
• Consumer Group — Үйл явдал унших consumer group. Event hub-д өөрийн consumer group тодорхойлоогүй бол $Default-ийг ашиглана.
• Enable Proxy — Azure-тай харилцааг дамжуулахад forward proxy ашиглана.
• Proxy URI — Идэвхжүүлсэн бол Azure-тай харилцахад ашиглах HTTPS forward proxy-ийн URI-г заана.
• Maximum Batch Size — Input Event Hub-аас уншихдаа хүлээх хамгийн их batch хэмжээ. Input нь event hub-д хандахаас өмнө заасан batch хэмжээнд хүрэх хүртэл түр зогсож хүлээнэ.
• Maximum Wait Time — Дээрх Maximum Batch Size-д хүрэхийг хүлээх хамгийн их хугацаа.
• Store Full Message — Azure Event Hubs-аас хүлээн авсан мессежийн бүх агуулгыг хадгална.

Proxy дэмжлэг

Input-ийг forward proxy ашиглан Azure-тай харилцаагаа proxy host-оор дамжуулахаар тохируулж болно. Зөвхөн HTTPS дэмждэг forward proxy-г дэмжинэ.

Proxy дэмжлэг идэвхтэй үед Azure-тай холболт 443 порт дээр AMQP over WebSockets протоколоор явагдана.

Store Full Message

Azure Event Hub нь Azure лог өгөгдлийн бүтэн мессежийг хадгалж чадна. Энэ сонголтоор Azure лог мессежийн бүх төрлийн өгөгдлийг processing pipelines-ээр гараар задлан боловсруулах боломжтой. Идэвхжүүлэхийн тулд Azure Event Hub Integrations цэсэнд Store Full Message-ийг сонгоно.

Azure Event Hub-ийн үйл явдлын эх үүсвэрүүд

Энэ input нь Azure-ийн дараах үйл явдлын логийн төрлүүдийг задлан боловсруулж хүлээн авна. Эдгээр үйлчилгээнээс Event Hub руу үйл явдал дамжуулах зааврыг Azure баримт-аас үзнэ үү.

• Azure Active Directory (audit болон sign in логууд)
• Azure Audit
• Azure Network Watcher
• Azure Kubernetes Service
• Azure SQL