किसी dataset में missing values का क्या करना है, यह आप कैसे तय करते हैं?

पहले यह पता लगाएं कि values missing क्यों हैं, क्योंकि fix उसी mechanism से तय होता है। missing completely at random हो तो सादा imputation चल जाता है; missing at random हो तो देखे गए variables पर आधारित imputation चाहिए; missing not at random का मतलब है कि missing होना खुद एक signal है और उसे एक feature बन जाना चाहिए। split से पहले कभी impute न करें, और जब भी pattern में जानकारी हो, एक was missing indicator जोड़ें।

पहली चीज जो मैं करता हूं वह statistical नहीं है, वह उस इंसान से बातचीत है जिसके पास उस field की जिम्मेदारी है। missing होने का आम तौर पर कोई खास मतलब होता है। मैंने जिस credit dataset पर काम किया, उसमें करीब पांचवें हिस्से rows में income खाली था, और पता चला कि वे एक fast track application flow से आए थे जो वह पूछता ही नहीं था। यह बिल्कुल भी random नहीं है, और उन applicants की default दर अलग थी, तो खाली होने की यह बात model के सबसे मजबूत predictors में से एक निकली। मैंने एक is missing flag जोड़ा और उसने अपनी जगह कमाई। मशीनी तौर पर, अगर वह सचमुच random noise है और column ज्यादातर भरा हुआ है, तो median imputation और एक flag ठीक है। अगर वह दूसरे देखे गए variables पर निर्भर है, तो मैं iterative या model आधारित imputation इस्तेमाल करता हूं। अगर किसी column का करीब आधे से ज्यादा हिस्सा missing है तो मैं उसे आम तौर पर हटा देता हूं, क्योंकि उस मोड़ पर मैं ज्यादातर अपनी ही धारणाएं impute कर रहा होता हूं। और मैं जो भी इस्तेमाल करूं वह सिर्फ training split पर fit होता है और फिर validation पर लागू किया जाता है, क्योंकि पूरे dataset पर median निकालना चुपचाप leak कर देता है।