Security Data Lake Information Model Schema (мэдээллийн загварын схем)

Энэ баримт нь Illuminate-д ашиглагддаг схемийн лавлах юм. Өөрчлөлт орох бүрт шинэчилж байх болно. Хэрэв ямар нэг өөрчлөлтийг оруулах хэрэгтэй гэж үзвэл энд GitHub issue нээнэ үү.

Энэ гарын авлагыг хэрхэн ашиглах вэ

Security Data Lake Information Model (GIM) схемд тавтай морилно уу. Схем нь «File» (Файл), «Destination» (Очих хаяг) зэрэг хэсгүүдэд хуваагдах бөгөөд мета өгөгдлийн талбар бүр тухайн хэсгийн доор жагсаагдсан.

Illuminate бидний бүтээх бүх агуулгад энэ схемийг ашиглана. Энэ гарын авлага нь албан ёсны лавлах бөгөөд өөрийн агуулга (dashboard, alert гэх мэт) үүсгэж, манай агуулгатай нийцүүлэхийг хүсвэл үүнийг баримтална.

Жишээ нь, ямар ч лог эх сурвалжийн хэрэглэгчийн нэрийг user_name нэртэй талбарт хийвэл Illuminate-ээр үүсгэсэн аливаа dashboard, alert таны өгөгдөл дээр мөн ажиллана.

Security Data Lake Template

Лог боловсруулагдахдаа логийн өгөгдлүүд OpenSearch-д «keyword» хэлбэрээр, ямар ч өөрчлөлтгүйгээр хадгалагдана. Тиймээс дараах хоёр утга нь өөр өөр өгөгдөл гэж тооцогдоно:

Administrator эсвэл administrator.

Security Data Lake UI-д хайхдаа эдгээр хоёр утгыг хоёуланг нь хайх эсвэл яг аль нь байгааг мэдэж байх хэрэгтэй болно. user_name зэрэг талбарт том, жижиг үсгийг анхаарахгүйгээр хайх нь утга учиртай.

Үүнийг шийдэхийн тулд Security Data Lake Schema template-д «loweronly» нэртэй тусгай analyzer оруулсан. «loweronly»-оор хэвийн болгосон (normalized) талбарын утга индексжихээс өмнө жижиг үсэг болж хувирна, мөн эдгээр талбар дээрх хайлтын текст ажиллахдаа жижиг үсэг болно. Схемийн хуудсууд эдгээр талбарыг лавлахад зориулж keyword/loweronly гэж тэмдэглэсэн.

Information Model Entities (Мэдээллийн загварын обьектууд)

Дараах мета өгөгдлийн талбарын ангиллууд нь Security Data Lake Information Model Schema-г бүрэн илэрхийлнэ:

• Alert Fields
• Application Fields
• Associated Fields
• Autonomous System (AS) Sub-Fields
• Container Fields
• Destination Fields
• Email Fields
• Event Fields
• File Fields
• Geolocation Sub-Fields
• GIM Fields
• Hash Fields
• Host Fields
• HTTP Fields
• Network Fields
• Policy Fields
• Privilege Fields
• Process Fields
• Query Fields
• Rule Fields
• Service Fields
• Session Fields
• Source Fields
• Threat Fields
• Trace Fields
• User Fields
• Vendor Fields
• Vendor Entities (Үйлдвэрлэгчийн обьектууд)

- Palo Alto Fields
- Microsoft Windows Fields

Alert Fields

• Alert болох мессежүүдэд, жишээ нь IDS alert
• Үйлдвэрлэгчийн alert-ийн ноцтой байдлын түвшинд vendor_event_severity* талбаруудыг ашиглана

Хүснэгт 1. Alert Fields

• alert_definitions_version — keyword; жишээ: 2020.14092348; Ашиглагдаж буй signature-үүдийн (A/V гэх мэт) цуглуулгын хувилбар эсвэл таних утга
• alert_category — keyword; жишээ: malware, trojan, ransomeware; Ирээдүйд: үйлдвэрлэгч бүр өөрийн ангилалтай тул энэ талбарыг хэрхэн тодорхойлох вэ? Эсвэл энэ нь асуудал биш гэж үзэх үү? Магадгүй derived fields руу шилжүүлж зөвхөн зөвшөөрөгдсөн утгуудыг тохируулна
• alert_indicator — keyword; жишээ: malware.exe, http://badsite; Alert үүсэхэд хүргэсэн үйл явдалтай холбоотой файлын нэр, URL, пакетийн хэсэг эсвэл бусад эд өлгийн зүйл
• alert_response_level — byte; жишээ: 0, 1, 2; Alert/аюулын хариуд авсан үйлдлийн төрлийг илэрхийлэх тоон утга. 0 = Nothing (allowed, ignored), 1 = prevent (blocked, quarantined), 2 = eradicate (deleted). Бүтээгдэхүүн нэг аюулд олон үйл явдал бүртгэдэг үед блоклогдоогүй аюулыг тоон функцээр илрүүлэх боломж олгоно
• alert_signature — keyword; Үйлдвэрлэгчийн өгсөн alert-ийн текст тайлбар
• alert_signature_id — keyword; Alert signature-ийн үйлдвэрлэгчид хамаарах давтагдашгүй таних утга (жишээ нь Snort signature-ийн 1:1905345:5)

Хүснэгт 2. Derived and Enriched Fields (утгууд нь гаднын эх сурвалжаас гаргаж авсан эсвэл нэмсэн)

• alert_severity — keyword; жишээ: critical, high, medium, low, informational; Alert-ийн ноцтой байдал
• alert_severity_level — byte; жишээ: 1-5; Эх мессежийн ноцтой байдлын тоон үзүүлэлт: 1 = informational, 2 = low, 3 = medium, 4 = high, 5 = critical

Application Fields

Хүснэгт 3. Application Fields

• application_name — keyword (normalized:loweronly); жишээ: Facebook, SQL, windows_rdp; Аппликейшний нэр. Сүлжээний урсгалд layer 7 аппликейшний нэр, нэвтрэлтэд нэвтрүүлж буй үйлчилгээ/программын нэр гэх мэт байж болно
• application_response_time — keyword; Аппликейшн хүсэлтэд хариу өгөхөд зарцуулах хугацаа
• application_sso_signonmode — keyword; Single Sign-On (SSO) үйл явдалд аппликейшнд хандахад ашигласан арга
• application_sso_target_name — keyword; SSO үйл явдалд хандаж буй аппликейшний нэр

Associated Fields

Хүснэгт 4. Associated Fields

• associated_category — keyword; TBD: Энэ нь хэрэгтэй эсэх нь тодорхойгүй
• associated_hash — keyword; жишээ: 6f9efb466e043b9f3635827ce446e13c; Лог мессежийн бүх md5, sha1, sha256, sha512, imp hash
• associated_host — keyword; жишээ: 10.1.2.3,corpdc01,corpdc01.corpdomain.local; ИРЭЭДҮЙД: лог мессежийн IP, Hostname зэрэг хостыг тодорхойлох бүх мэдээллийн хуулбар, одоогоор хэрэгжээгүй
• associated_ip — ip; жишээ: 10.1.2.3,fe80:5cc3:11:4::2c; Лог мессежтэй холбоотой IP хаягууд
• associated_mac — keyword; жишээ: a0:b4:44:01:a9:d1; Лог мессежтэй холбоотой MAC хаягууд, хоёр цэгээр тусгаарласан, жижиг үсгээр
• associated_session_id — keyword; жишээ: 0xa72c; Лог мессежтэй холбоотой session ID-ууд
• associated_user_id — keyword; жишээ: 999,S-1-5-18; Хэрэглэгчийн контекстэд хамаарах бүх хэрэглэгчийн ID (uid, SID гэх мэт)-г агуулах талбар. Цаашид user framework-ээс бөглөгдөж магадгүй
• associated_user_name — keyword (normalized:loweronly); жишээ: administrator,administrator@corp.local; Холбогдох өөр хэрэглэгчийн ID эсвэл и-мэйл, олон утгатай байж болно

Autonomous System (AS) Sub-Fields

• Интернетийн Autonomous System (AS) талбарууд (шаардлагатай бол давхаргалан)
• AS талбарууд нь IP хаягтай холбоотой байгууллагын мэдээллийг агуулна
• AS талбарууд нь source, destination, host обьектуудад хамаарна

Хүснэгт 5. Autonomous System (AS) Sub-Fields

• …_as_number — keyword; жишээ: 15169; Давтагдашгүй дугаар. ASN нь интернетийн сүлжээ бүрийг тодорхойлно
• …_as_organization — keyword; жишээ: Bitdefender; Байгууллагын нэр
• …_as_isp — keyword; IP хаягтай холбоотой ISP
• …_as_domain — keyword; IP хаягтай холбоотой домэйн

Container Fields

Хүснэгт 6. Container Fields

• container_id — keyword; Container-ийн давтагдашгүй ID
• container_name — keyword; Container-ийн нэр
• container_namespace — keyword; Container ажиллаж буй namespace

Destination Fields

Хүснэгт 7. Destination Fields

• destination_application_name — keyword; жишээ: facebook, twitter; Очих аппликейшнийг тодорхойлно
• destination_bytes_sent — long; жишээ: 203948; Destination-ээс source руу илгээсэн сүлжээний байт. Зарим эх сурвалж үүнийг source-ийн хүлээн авсан байт гэх мэтээр харуулж болно
• destination_device_model — keyword; жишээ: iPad; Төхөөрөмжийн загварын нэр
• destination_device_vendor — keyword; жишээ: Apple, ASUS; Төхөөрөмжийн үйлдвэрлэгчийн нэр
• destination_domain — keyword (normalized:loweronly); жишээ: corp.local; Destination-ийн домэйн контекст
• destination_hostname — keyword (normalized:loweronly); жишээ: corpdc01
• destination_ip — ip; жишээ: 10.1.2.3, fe80:5cc3:11:4::2c; IPv4 ба IPv6 хаяг
• destination_nat_ip — ip; жишээ: 10.1.2.3, fe80:5cc3:11:4::2c; NAT хийж буй сүлжээний төхөөрөмжийн оноосон хөрвүүлсэн IP хаяг
• destination_nat_port — integer; жишээ: 2356; NAT хийж буй сүлжээний төхөөрөмжийн оноосон хөрвүүлсэн сүлжээний порт
• destination_os_name — keyword; жишээ: IOS, Android; Үйлдлийн системийн нэр
• destination_os_version — keyword; жишээ: IOS 10.0; Үйлдлийн системийн хувилбарын дугаар
• destination_packets_sent — long; жишээ: 73458324; Destination төгсгөлийн цэгт хүргэсэн пакетийн тоо
• destination_port — integer; жишээ: 80, 443; Сүлжээний холболттой холбоотой үйлчилгээний порт, 0-65535
• destination_port_iana_name — keyword; жишээ: ssh, ftp; Сүлжээний аппликейшнтай холбоотой IANA-д бүртгэлтэй үйлчилгээний нэр. destination_ip тодорхойлогдсон боловч destination_port тодорхойлогдоогүй үйл явдалд Illuminate Core энэ утгыг ашиглан destination_port-ыг тодорхойлно
• destination_region — keyword; жишээ: us-east-1; Эх төхөөрөмж байрлаж буй бүсийн нэр
• destination_id — keyword; жишээ: 09VX93DD; Destination-ийг тодорхойлох утга, жишээ нь серийн дугаар
• destination_type — keyword; Destination төхөөрөмжийн мэдээлэл, жишээ нь загварын дугаар
• destination_vm_name — keyword; Виртуал системийн нэр (hostname-тэй андуурч болохгүй)
• destination_vsys_uuid — keyword; жишээ: 1f5398c7-4d84-4499-84ee-d5e9246c52f8; Destination виртуал системийн UUID
• destination_zone — keyword; жишээ: internal; Destination-ийн сүлжээний бүс

Хүснэгт 8. Derived and Enriched Fields (утгууд нь гаднын эх сурвалжаас гаргаж авсан эсвэл нэмсэн)

• destination_as_* — as_* талбарууд-ыг үзнэ үү
• destination_category — keyword; Ирээдүйд: entity mapping-аас
• destination_geo_* — geo_* талбарууд-ыг үзнэ үү
• destination_location_name — keyword; жишээ: Chicago, US, Datacenter 01, Bismark - Finance; Байгууллагын дотоод сүлжээний тодорхойлолт эсвэл боломжтой бол Geo location талбаруудаас гаргаж авна
• destination_mac — keyword; жишээ: a0:b4:44:01:a9:d1; Хостын MAC хаяг, хоёр цэгээр тусгаарласан, жижиг үсгээр
• destination_priority — keyword; жишээ: critical, high, medium, low; Ирээдүйд: entity mapping-аас
• destination_priority_level — byte; жишээ: 4-Jan; Destination төхөөрөмжийн чухлын түвшнийг илэрхийлэх тоон утга: 1 = low, 2 = medium, 3 = high, 4 = critical
• destination_reference — keyword (normalized:loweronly); жишээ: IPv4, IPv6, hostname,fqdn; Дараах талбаруудаас автоматаар зураглагдана: destination_ip, destination_hostname, destination_target, destination_vm_name, desination_mac

Бусад хэсэг

• Email Fields
• HTTP Fields
• Source Fields
• Vendor Fields