अच्छी तरह डिजाइन की गई Airflow DAG किसे कहेंगे, और review में आप कौन सी गलतियां ढूंढते हैं?

अच्छी DAG में छोटे idempotent tasks होते हैं जिनकी dependencies साफ होती हैं, वह अपनी time window wall clock के बजाय data interval से लेती है, और भारी logic DAG file से बाहर रखती है क्योंकि वह file लगातार parse होती है। XCom से बड़ा डेटा न भेजें, worker slots घेरने वाले लंबे blocking sensors से बचें, और जो tasks मायने रखते हैं उन पर समझदार retries, timeouts और alerting रखें।

मुझे दो चीजों की सबसे ज्यादा परवाह है, task की बारीकी और idempotency। tasks इतने छोटे हों कि failure दोबारा चलाना सस्ता पड़े और इतने खास हों कि failure खुद बता दे क्या टूटा, और हर एक को दोबारा चलाना सुरक्षित होना चाहिए। फिर time window Airflow के दिए data interval से आनी चाहिए, कभी task के अंदर datetime.now से नहीं, वरना पिछले मंगलवार का rerun आज का डेटा process कर देगा और आपको error की जगह एक बारीक गलत जवाब मिलेगा। review में मैं सबसे ज्यादा DAG file के top level पर महंगा कोड पकड़ता हूं। वह file छोटे अंतराल पर parse होती है, इसलिए task function के बाहर पड़ा कोई API call या database query लगातार चलता है और पूरे scheduler को गिरा देता है; मैंने अकेले इसी वजह से पूरे deployment में scheduling latency में मिनटों की बढ़ोतरी देखी है। मैं XCom का इस्तेमाल भी देखता हूं, क्योंकि वह metadata table है, डेटा ढोने का जरिया नहीं, इसलिए dataframe की जगह S3 path भेजें।