आपको कैसे पता कि आपकी detection सच में काम करती हैं?

उन्हें टेस्ट कीजिए। अपने ही माहौल में adversary emulation चलाइए, या तो technique ID से जुड़े atomic test या कोई पूरा परिदृश्य, और हर टेस्ट को prevented, alerted, सिर्फ logged, या missed के रूप में आंकिए। जो चूक गया उसे detection के बकाया में डालिए और सुधार के बाद दोबारा टेस्ट कीजिए। इससे अलग, telemetry की सेहत पर लगातार नजर रखिए, क्योंकि ज्यादातर detection की नाकामी खराब rule logic नहीं, टूटी हुई data pipeline होती है।

जो rule कभी चला ही नहीं वह एक परिकल्पना है। इसलिए हम technique ID से जुड़े atomic test तय समय पर चलाते थे, endpoint टीम के साथ call पर, एक नियंत्रित segment में, और हर एक को prevented, alerted, सिर्फ logged, या कुछ नहीं के रूप में आंकते थे। सिर्फ logged सबसे काम की श्रेणी है, क्योंकि उसका मतलब है कि डेटा पहले से मौजूद है और सिर्फ detection गायब है, जो एक जल्दी मिलने वाली जीत है। हर चूक एक ticket बनती थी जिस पर technique ID लिखी होती थी, और rule तब तक पूरा नहीं माना जाता था जब तक वही टेस्ट दोबारा चलाकर alert न आ जाए। साल में दो बार हम atomic के बजाय पूरी कड़ी वाला एक लंबा परिदृश्य चलाते थे, जो तालमेल की दिक्कतें पकड़ता है, जैसे alert का रात तीन बजे ठीक चलना पर उसके लिए किसी के पास runbook ही न होना। इससे अलग मैं telemetry की सेहत देखता हूं, क्योंकि किसी detection के फेल होने की सबसे आम वजह उसका logic नहीं होती। वह कोई sensor होता है जिसने तीन हफ्ते पहले रिपोर्ट करना बंद कर दिया, इसलिए मैं हर host समूह के लिए log स्रोत की खामोशी पर alert रखता हूं।