كل مسألة تعلّم مُوجَّه، أيّاً كان المجال التطبيقي أو الخوارزمية المعتمَدة أو حجم البيانات، تُختزَل إلى بنية وحيدة:
يجب حفظ هذه الصيغة حرفياً. وهي تحمل ثلاثة التزامات منهجية:
تُقرَأ البنية نفسها قراءة مختلفة حسب المرحلة. وهذا مصدر الخلط الأكثر شيوعاً لدى المبتدئين.
| المرحلة | المتغيرات التوضيحية | المتغير الهدف | ما يُنتَج |
|---|---|---|---|
| التعلّم | معروفة، مقدَّمة | معروف، مقدَّم | النموذج |
| التحقّق | معروفة، مقدَّمة | معروف لكن محجوب عن النموذج، مستعمَل للمقارنة | مقياس أداء |
| التنبؤ في الإنتاج | معروفة، مقدَّمة | مجهول | تقدير ŷ |
| المراقبة البعدية | معروفة | مرصود بعدئذ، بمهلة | مقياس انحراف |
نقطة انتباه: في مرحلة التعلّم، الهدف حاضر في مجموعة البيانات بمقام الأعمدة الأخرى. ومع ذلك فهو ذو طبيعة وظيفية مختلفة جذرياً. وخلطه بعمود عادي، أو إغفال سحبه من المدخلات، ينتج نموذجاً يتنبأ بكمال في التعلّم وغير قابل للاستعمال في الإنتاج.
لا يملك محقّق الجواب أبداً. إنه يملك علامات: بصمة، جدولاً زمنياً، شهادة، أثراً مصرفياً. وكل علامة معلومة جزئية، ناقصة، مضلِّلة أحياناً. ولا يمكن للمحقّق أن يستدل إلا على ما جمعه.
والمتغيرات التوضيحية هي هذه العلامات بالضبط: إنها المعلومات الوحيدة التي يملكها النموذج ليصدر حكماً. والمتغير الهدف هو هوية الجاني، أي ما يجب أن تثبته التحقيق.
ثلاث نتائج لهذا التشبيه، كلها دقيقة تقنياً:
التعريف الدقيق
مقدار مقيس أو مُنشأ، مرتبط بكل ملاحظة في مجموعة بيانات، تُقدَّم قيمه للنموذج كمدخل ومن خلالها ينتج تقديراً للمتغير الهدف.
صياغة مكافئة في نظرية التعلّم
مكوّن متجه المدخل x المنتمي إلى فضاء الخصائص 𝒳، الذي تُعرَّف عليه دالة التنبؤ f : 𝒳 → 𝒴 التي تختارها خوارزمية التعلّم في صنف فرضيات.
ترجمة إلى اللغة اليومية
معلومة نمنحها للآلة لتساعدها على الإجابة.
طبيعة المفهوم
يشير المتغير التوضيحي إلى دور وظيفي، لا نوع بيانات. فعمود ليس متغيراً توضيحياً بطبيعته: يصبح كذلك بقرار تصميم قابل للنقض. ويمكن أن يكون العمود نفسه توضيحياً في مشروع، وهدفاً في آخر، ومقصياً في ثالث. وتُطوَّر هذه النقطة في الفقرة 4.4.
نقطة انتباه
مصطلح توضيحي مضلِّل إن أُخذ بحرفيته. فمتغير توضيحي لا يفسّر شيئاً بالمعنى السببي: إنه يقدّم معلومة مرتبطة إحصائياً بالهدف. ويمكن لمتغير شديد التنبؤ ألا يقيم أي رابط سببي مع الهدف وألا يكون إلا مؤشراً غير مباشر لسبب مشترك غير مرصود.
| القول الشائع | الوضع | التبرير |
|---|---|---|
| «كل عمود في الملف feature» | غير صحيح | تُقصَى المعرّفات والهدف ومتغيرات التسرّب (الفصل 005، الفقرة 3.2) |
| «feature تفسّر الهدف» | غير صحيح بالمعنى الضيق | إنه مرتبط بالهدف؛ والتفسير السببي يندرج تحت إطار منهجي آخر (الفصل 016) |
| «يجب أن تكون feature عددية» | غير صحيح | يمكن أن تكون فئوية أو زمنية أو نصية؛ والترميز العددي خطوة لاحقة (الفصلان 022 و023) |
| «كلما كثرت الـ features تحسّن النموذج» | غير صحيح | بعد عتبة، إضافة متغيرات تفسد الأداء في التعميم (الفصلان 025 و031) |
| «feature تقدّمها البيانات» | غير دقيق جزئياً | جزء مهم من أكثر المتغيرات تنبؤاً يُنشأ، لا يُرصَد (الفصل 024) |
يجمع المجال مفردات صادرة عن تخصصات متميّزة، صاغ كل منها مصطلحه الخاص للكائن نفسه. والتسميات أدناه متكافئة بصرامة في الممارسة؛ وتختلف بأصلها وسجلها والدلالات التي تحملها.
| المصطلح | التخصص الأصلي | الدلالة الخاصة | سجل الاستعمال الحالي |
|---|---|---|---|
| Feature | التعرّف على الأشكال والرؤية الحاسوبية | مقدار مستخرَج من الإشارة الخام، منشأ أحياناً | سائد في التعلّم الآلي، بما فيه الفرنسية المهنية |
| خاصية | الترجمة الفرنسية لـ feature | مطابقة لـ feature | موصى بها كتابةً بالفرنسية؛ استعمال شفهي أقلية |
| متغير توضيحي | الإحصاء التطبيقي، النمذجة | يوحي بمساهمة في تفسير الظاهرة | معيار أكاديمي فرنكوفوني |
| متغير مستقل | الإحصاء التجريبي، خطة التجربة، علم النفس التجريبي (إرث Fisher، 1935) | يوحي بمتغير يتلاعب به المجرِّب | شائع لكنه إشكالي في ML (الفقرة 4) |
| متغير مدخل، input | التحكم الآلي، نظرية الأنظمة، الهندسة | محايد: ما يدخل الصندوق | شائع جداً، بلا غموض |
| مُنبئ، predictor | الإحصاء التطبيقي، أدبيات الانحدار | يؤكّد الغاية التنبؤية لا التفسيرية | شائع، مناسب خصوصاً لإطار ML |
| مُنحدِر | الاقتصاد القياسي | مصطلح نموذج الانحدار، مرتبط بمعامل | محفوظ للنماذج الوسيطية الخطية |
| متغير مرافق، covariate | الإحصاء الحيوي، الوبائيات، التجارب السريرية | متغير يُضبَط أثره لعزل أثر علاج | معيار في البحث السريري |
| سمة | التعلّم الرمزي، تنقيب البيانات، قواعد البيانات العلائقية (Quinlan، 1986) | خاصية وصفية لكيان | قديم في ML، حي في قواعد البيانات |
| واصف | الكيمياء القياسية، المعلوماتية الكيميائية | مقدار محسوب يصف بنية | متخصص |
| متغير خارجي | الاقتصاد القياسي البنيوي | محدَّد خارج النظام المنمذَج | متخصص، ذو حمولة نظرية قوية |
| عامل | خطط التجربة، تحليل التباين | متغير فئوي مضبوط | غامض: يعني شيئاً آخر في التحليل العاملي |
توصية مهنية. كتابةً بالعربية، تُستعمَل متغير توضيحي أو خاصية. شفهياً وفي الشفرة، feature هو الاستعمال الراسخ ولا يجب تجنّبه. وفي سياق التواصل مع محاورين مهنيين، متغير مدخل أو معلومة مقدَّمة للنموذج أكثر الصياغات فهماً فورياً. وتُتجنَّب متغير مستقل للأسباب المعروضة في الفقرة 4.
التعريف الدقيق
متغير تُستعمَل قيمه لتقدير قيم متغير آخر، بمعزل عن أي ادّعاء تفسيري أو سببي.
فائدة المصطلح
هذا أصدق المصطلحات إبستمولوجياً للتعلّم الآلي: فهو يسمّي بالضبط ما يُبحَث عنه، أي قدرة تنبؤية، بلا الإيحاء بفهم الآلية الكامنة.
نقطة انتباه
لا يُخلَط بين مُنبئ بمعنى متغير مدخل، ومُنبئ بمعنى النموذج كله، وهو معنى يصادَف في الأدبيات الإنجليزية حيث تشير a predictor أحياناً إلى نظام التنبؤ الكامل. والسياق يرفع الغموض؛ وبالعربية، يُحفَظ المصطلح للمتغير.
المُنحدِر (اقتصاد قياسي)
متغير يظهر في الطرف الأيمن لمعادلة انحدار، مرتبط بمعامل مقدَّر. وفي النموذج y = β₀ + β₁x₁ + … + + ε، الـ هي المُنحدِرات والمتغير المفسَّر y هو المُنحدَر عليه.
والمصطلح لا ينفصل عن نموذج وسيطي صريح. والحديث عن «مُنحدِرات» بخصوص غابة عشوائية إساءة استعمال لغة: لا معامل مرتبطاً بمتغير فيها.
المتغير المرافق (إحصاء حيوي)
متغير مقيس يُؤخَذ أثره في الحسبان في النموذج لعزل أثر متغير اهتمام، عادة علاج. وفي تجربة سريرية تقيّم دواء، عُمر المرضى وجنسهم متغيرات مرافقة: ليست موضوع الدراسة لكنها تؤثّر في النتيجة.
نقطة انتباه
مفردات المتغير المرافق تفترض تراتبية بين المتغيرات: متغير اهتمام، ومتغيرات ضبط. وهذه التراتبية غير موجودة في التعلّم الآلي التنبؤي، حيث لكل المتغيرات التوضيحية الوضع الوظيفي نفسه. واستئناف هذه المفردات في مشروع ML يستورد بنية مفهومية بلا موضوع.
يُستعمَل المصطلح في الأدبيات بمدى مختلفين، وخلطهما مصدر خطأ حقيقي.
| المعنى | ما يشير إليه | مثال |
|---|---|---|
| المعنى الواسع | كل عمود وصفي في مجموعة البيانات، بمعزل عن استعماله | date_souscription «feature في المجموعة» |
| المعنى الضيق | كل مدخل مقدَّم فعلاً للنموذج بعد التحضير | anciennete_jours، مشتق من date_souscription، feature للنموذج |
والفجوة بين المعنيين هي بالضبط نطاق feature engineering (الفصل 024) وfeature selection (الفصل 025).
نتيجة الترميز: عدد المتغيرات التوضيحية p لنموذج لا يكاد يساوي أبداً عدد أعمدة الملف الأصلي. وصياغة «مجموعتي فيها 14 feature» بلا تحديد المعنى مصدر سوء تفاهم بين الممارسين.
التعريف الدقيق
مقدار قيمته مجهولة في اللحظة التي يجب فيها أن يصدر النظام حكماً، وتقديره يشكّل غاية النموذج. وفي التعلّم المُوجَّه، قيمته المرصودة متاحة لملاحظات مجموعة التدريب، وهو ما يجيز تكوين إشارة خطأ وبالتالي التعلّم.
الموقع في الشكلانية
عنصر y من فضاء الخرج 𝒴. والزوج (x, y) يشكّل مثالاً موسوماً؛ ومجموعة التدريب مجموعة من هذه الأزواج مفترَض أنها صادرة عن توزيع مشترك P(X, Y) مجهول وثابت.
ترجمة إلى اللغة اليومية
ما نريد أن تخمّنه الآلة.
المعيار المميّز للتعلّم المُوجَّه
وجود متغير هدف مرصود هو ما يعرّف التعلّم المُوجَّه ويفصله عن التعلّم غير المُوجَّه (الفصل 003). وفي غياب هدف، لا توجد إشارة خطأ، وبالتالي لا شيء لتقليله، وبالتالي لا تعلّم مُوجَّه ممكن.
نقطة انتباه
المتغير الهدف ليس معطى من الطبيعة. إنه مُنشأ بقرار تصميم يثبّت ما يُعدّ الظاهرة المراد التنبؤ بها وبأي أفق. وتُطوَّر هذه النقطة في الفقرة 3.4.
| المصطلح | التخصص الأصلي | المدى الخاص | سجل الاستعمال |
|---|---|---|---|
| Target، هدف | التعلّم الآلي الإنجليزي | محايد، كل أنواع الهدف | سائد |
| متغير هدف | الترجمة العربية / الفرنسية | مطابق | معيار فرنكوفوني |
| متغير تابع | الإحصاء التجريبي، علم النفس التجريبي | يوحي بتبعية سببية للمتغيرات المتلاعَب بها | شائع، إشكالي في ML (الفقرة 4) |
| متغير جواب، response variable | الإحصاء، منهجية خطط التجربة | ما يجيب عن تغيّر مضبوط للمدخلات | معيار أكاديمي |
| متغير مفسَّر، متغير واجب التفسير | الإحصاء والاقتصاد القياسي الفرنكوفونيان | نظير «متغير توضيحي» | شائع بالفرنسية |
| متغير داخلي، régressande | الاقتصاد القياسي البنيوي | محدَّد داخل النظام المنمذَج | متخصص |
| خرج، output | التحكم الآلي، نظرية الأنظمة | محايد: ما يخرج من الصندوق | شائع جداً |
| Label، وسم | التعلّم المُوجَّه، وسم البيانات | محصور بالأهداف الفئوية | سائد في التصنيف |
| فئة | التعرّف على الأشكال، التصنيف | صيغة خاصة للوسم | سائد في التصنيف |
| حقيقة أرضية، ground truth | الاستشعار عن بُعد، ثم الرؤية الحاسوبية | القيمة المرجعية المعتبَرة صحيحة، مقابل التنبؤ | معيار في الوسم |
| معيار ذهبي، gold standard | الإحصاء الحيوي، التشخيص الطبي | الإجراء المرجعي المستعمَل لإثبات القيمة الصحيحة | معيار في الطب |
| متغير معيار | القياس النفسي، انتقاء الموظفين | النتيجة التي يسعى الجهاز إلى التنبؤ بها | متخصص |
التعريف الدقيق
قيمة فئوية مسندة إلى ملاحظة، تشير إلى انتمائها إلى إحدى صيغ مجموعة منتهية من فئات معرَّفة مسبقاً.
النقطة المميّزة
Label ليس مرادفاً دقيقاً لـ target. فكل وسم هدف، وكل هدف ليس وسماً.
| نوع المسألة | الهدف | هل يمكن قول «وسم» |
|---|---|---|
| تصنيف ثنائي: احتيال / عادي | فئوي بصيغتين | نعم |
| تصنيف متعدد الفئات: قط / كلب / حصان | فئوي بـ k صيغة | نعم |
| انحدار: سعر باليورو | عددي متصل | لا، باصطلاح الاستعمال |
ترجمة إلى اللغة اليومية
التسمية الملصقة على المثال: «هذا بريد مزعج»، «هذا احتيال».
نقطة انتباه
تعبير بيانات موسومة (labeled data) مستعمَل في الأدبيات للإشارة إلى كل مجموعة بيانات تتضمّن هدفاً مرصوداً، حتى في الانحدار. فالاستعمال إذن أوسع من التعريف الضيق للوسم. ويفصّل الفصل 007 الترابط بين الوسم والفئة والترميز العددي.
التعريف الدقيق
قيمة المتغير الهدف المعتبَرة دقيقة، مثبَتة بإجراء مرجعي مستقل عن النموذج، وتخدم مرجعاً للتعلّم والتقييم.
أصل المصطلح
يأتي التعبير من الاستشعار عن بُعد: كان التحقّق من تفسيرات صور الأقمار الصناعية يتطلب رصوداً تُجرى على الأرض.
نقطة انتباه كبرى
الحقيقة الأرضية ليست الحقيقة. إنها قياس، ناتج عن بروتوكول قابل للخطأ: وسم بشري معرَّض للاختلاف، تشخيص طبي ناقص، معاملة احتيالية غير مكتشَفة وبالتالي موسومة «عادية». والأداء المقيس لنموذج محدود بجودة الوسم. ولا يمكن لنموذج أن يتعلّم صحيحاً تمييزاً لا ترمّزه وسومه صحيحاً.
النتيجة التشغيلية
قبل إسناد أداء ضعيف للخوارزمية، التحقّق من بروتوكول الوسم: من وسم، وفق أي تعريف، وبأي معدّل اتفاق بين الموسِّمين.
| التكوين | بنية الهدف | التسمية | الإحالة |
|---|---|---|---|
| عمود هدف واحد، قيمة فريدة لكل ملاحظة | y ∈ ℝ أو y ∈ {c₁, …, } | الحالة المعيارية | الفصل 010 |
| يمكن أن تنتمي ملاحظة إلى عدة فئات معاً | y ∈ | تصنيف متعدد الوسوم | الفصل 011 |
| عدة أهداف عددية يُتنبَّأ بها معاً | y ∈ | انحدار متعدد المخارج | الفصل 048 |
| هدف فئوي بصيغ مرتَّبة | y ∈ {c₁ < … < } | تصنيف ترتيبي | الفصل 011 |
نقطة انتباه: وجود عدة أعمدة مرشَّحة لدور الهدف في ملف لا يجيز معاملتها كهدف وحيد. فهدفان متميّزان يعرّفان مسألتين متميّزتين، تتطلب كل منهما نموذجها ومقاييسها وتحقّقها.
لا ينتج أي نظام تشغيلي تلقائياً عموداً اسمه «a_resilie». وينتج هذا العمود عن سلسلة قرارات صريحة.
| القرار | الأثر على المشروع |
|---|---|
| تعريف الحدث | يحدد نسبة الموجبات، وبالتالي درجة الاختلال (الفصل 050) |
| الأفق الزمني | يحدد صعوبة المسألة والفائدة التشغيلية للتنبؤ |
| المجتمع المعني | يحدد نطاق صلاحية النموذج وتحيزات الانتقاء |
| تاريخ الملاحظة | يحدد أي متغيرات توضيحية متاحة مشروعاً (الفقرة 6.1) |
المبدأ الموجِّه: متغير هدف سيئ التعريف لا يمكن تعويضه بأي تهذيب خوارزمي. وصياغة الهدف هي الخطوة الأولى لدورة حياة مشروع (الفصل 012)، وهي تندرج تحت نقاش مع المجال، لا قرار تقني.
التعريف الدقيق في الإطار التجريبي الأصلي
في خطة تجربة، المتغير المستقل هو المقدار الذي يثبّت المجرِّب قيمه عمداً، بمعزل عن أي عامل آخر في الجهاز؛ والمتغير التابع هو المقدار المقيس الذي يُسعَى إلى إثبات ما إذا كان يتغيّر تبعاً للأول.
السياق التاريخي
يأتي هذا الاصطلاح من المنهجية التجريبية التي صاغها Ronald Fisher (The Design of Experiments، 1935) ونشرها علم النفس التجريبي. وهو يفترض جهازاً يتلاعب فيه المجرِّب بمتغير، ويضبط الآخرين ويعشّئ إسناد الوحدات، وهو ما يجيز استدلالاً سببياً.
ترجمة إلى اللغة اليومية
ما نضبطه بأنفسنا، وما نرصده تبعاً لذلك.
نقطة انتباه
هذه الشروط لا تجتمع عملياً أبداً في التعلّم الآلي التطبيقي، الذي يعمل على بيانات رصدية جُمعت بلا خطة تجربة. وتبقى المفردات، وقد اختفى تبريرها.
| الصعوبة | ما يوحي به المصطلح | ما هو عليه في التعلّم الآلي |
|---|---|---|
| الاستقلال الإحصائي | ستكون المتغيرات التوضيحية مستقلة فيما بينها | هي شبه دائماً مرتبطة فيما بينها. والارتباط القوي بين متغيرات توضيحية له اسم، التعدد الخطي (multicollinearity)، ويشكّل مشكلة معالَجة في الفصل 017 |
| التلاعب التجريبي | سيثبّت المحلّل قيم متغيرات المدخل | إنها مرصودة، لا متلاعَب بها. لا أحد «يثبّت» عُمر زبون أو مساحة مسكن |
| التبعية السببية | سيتغيّر الهدف بسبب متغيرات المدخل | يلتقط النموذج ارتباطاً. والاستدلال السببي يتطلب إطاراً خاصاً، لا نموذجاً تنبؤياً (الفصل 016) |
| خاصية جوهرية | سيكون متغير مستقلاً أو تابعاً بطبيعته | الوضع دور يسنده المشروع، قابل للعكس من مشروع إلى آخر |
| التناظر المنطقي | ستكون قراءة واحدة ممكنة | اتجاه السهم خيار تصميم، مقيَّد بالتوافر الزمني، لا بالمنطق |
أسوأ سوء فهم شائع: استنتاج أن المتغيرات التوضيحية يجب أن تكون مستقلة فيما بينها لأنها تُدعى «مستقلة». وشرط غياب تعدد خطي قوي موجود لبعض النماذج الوسيطية، لكنه بلا أي علاقة بأصل المصطلح، الذي يحيل إلى الاستقلال تجاه الجهاز التجريبي، لا بين المتغيرات.
يتغيّر دور المقدار نفسه حسب السؤال المطروح. والعمود لا يتغيّر ؛ المشروع يتغيّر.
| المقدار | مشروع يكون فيه هدفاً | مشروع يكون فيه توضيحياً |
|---|---|---|
| مبلغ معاملة | توقّع متوسط السلة | كشف احتيال مصرفي |
| درجة رضا زبون | التنبؤ بالرضا بعد المكالمة | التنبؤ بالانقطاع |
| مدة الاستشفاء | تخطيط القدرة الاستشفائية | التنبؤ بخطر إعادة القبول |
| حرارة محمل | توقّع حراري لمعدّات | كشف عطل وشيك |
| أجر | تقدير أجري عند التوظيف | درجة منح ائتمان |
| الوضع | الصياغة الموصى بها | الصياغة الواجب تجنّبها |
|---|---|---|
| تقرير تقني بالعربية | متغيرات توضيحية / متغير هدف | متغيرات مستقلة / تابع |
| شفرة ووثائق تقنية | features / target، X / y | — |
| عرض لجمهور مهني | معلومات مقدَّمة / قيمة مراد التنبؤ بها | كل مصطلح مطلّب غير مترجَم |
| مقال علمي في الإحصاء | مُنبئات / متغير جواب | — |
| مقابلة توظيف | متغيرات توضيحية، مع الإشارة إلى معرفة المرادفات | استعمال مصطلح واحد بلا مسافة نقدية |
الموقف المهني المتوقَّع: معرفة المرادفات، والقدرة على ترجمتها من سجل إلى آخر، والقدرة على تفسير لماذا متغير مستقل إرث غير ملائم للإطار الرصدي للتعلّم الآلي.
التعريف الدقيق
تمثيل ملاحظة على شكل p-صف مرتَّب من القيم، واحدة لكل متغير توضيحي محتفَظ به:
حيث p يشير إلى عدد المتغيرات التوضيحية و القيمة التي يأخذها المتغير الجيمي لهذه الملاحظة.
ثلاث خصائص مقيِّدة
ترجمة إلى اللغة اليومية
صف الجدول، مختزَل إلى الأعمدة المفيدة ومحوَّل إلى سلسلة أعداد.
التعريف الدقيق
مصفوفة X ∈ صفها الـ i هو متجه الخصائص xᵢᵀ للملاحظة الـ i وعمودها الـ j متجه القيم التي يأخذها المتغير التوضيحي الجيمي على الـ n ملاحظة.
والمتجه الهدف المرتبط هو y ∈ ، حيث 𝒴 = ℝ في الانحدار و 𝒴 = {c₁, …, } في التصنيف.
أصل المصطلح
يأتي Design matrix من أدبيات خطط التجربة، حيث كانت صفوف المصفوفة تصف التكوين التجريبي لكل تجربة. و المصطلح محفوظ في الانحدار والتعلّم الإحصائي.
اصطلاح الترميز
X بحرف كبير للمصفوفة، y بحرف صغير لمتجه الهدف: حالة الأحرف تشير إلى اختلاف الأبعاد، بعدان مقابل واحد. وهذا الاصطلاح عالمي في الأدبيات وفي المكتبات البرمجية.
| الكائن | الترميز | البعد | المحتوى |
|---|---|---|---|
| مجموعة تدريب | (X, y) | — | n زوج (ملاحظة، هدف) |
| مصفوفة المتغيرات التوضيحية | X | n × p | قيم عددية |
| متجه الهدف | y | n | قيمة لكل ملاحظة |
| متجه خصائص ملاحظة | xᵢ | p | الصف i من X |
| قيمة متغير لملاحظة | عددي | الخلية (i, j) | |
| متجه متغير على كامل المجموعة | X[:, j] | n | العمود j من X |
| تنبؤ لملاحظة | ŷᵢ | عددي أو متجه | خرج النموذج |
import pandas as pd
df = pd.read_csv("clients_telecom.csv")
cible = "a_resilie"
identifiants = ["client_id"]
X = df.drop(columns=[cible] + identifiants)
y = df[cible]
print("X :", X.shape)
print("y :", y.shape)
print()
print(X.dtypes)X : (10000, 7)
y : (10000,)
age int64
anciennete_mois int64
type_forfait str
engagement str
facture_mensuelle float64
nb_appels_support int64
satisfaction float64
dtype: objectالتفسير. تتضمّن المجموعة n = 10 000 ملاحظة. وتتضمّن مصفوفة X
سبعة أعمدة، بعد سحب الهدف والمعرّف. ويؤكّد شكل
y، (10000,)، أنه متجه ببعد واحد لا
مصفوفة بعمود واحد: وهذا التمييز مصدر تحذيرات و
أخطاء في عدة مكتبات.
نقطة انتباه: يجب كتابة df.drop(columns=[cible]) قبل أي
تحويل آخر. وكل خطوة تحضير محسوبة على مجموعة لا تزال تتضمّن
الهدف تعرّض لتسرّب (الفصل 028).
print(X.iloc[0])age 49
anciennete_mois 80
type_forfait Mobile
engagement 12_mois
facture_mensuelle 43.81
nb_appels_support 3
satisfaction 4.0
Name: 0, dtype: objectهذا الصف ليس بعد متجه : مكوّنان نصيان. وينتج ترميز المتغيرات الفئوية التمثيل العددي المقدَّم فعلاً للنموذج.
X_encode = pd.get_dummies(X, columns=["type_forfait", "engagement"])
X_num = X_encode.astype(float)
print("Nombre de colonnes avant encodage :", X.shape[1])
print("Nombre de colonnes après encodage :", X_encode.shape[1])
print(list(X_encode.columns))
print("Type :", X_num.to_numpy().dtype, "| forme :", X_num.to_numpy().shape)
print("Vecteur de caractéristiques de la première observation :")
print(X_num.to_numpy()[0])Nombre de colonnes avant encodage : 7
Nombre de colonnes après encodage : 11
['age', 'anciennete_mois', 'facture_mensuelle', 'nb_appels_support',
'satisfaction', 'type_forfait_Fibre', 'type_forfait_Fibre+TV',
'type_forfait_Mobile', 'engagement_12_mois', 'engagement_24_mois',
'engagement_Sans_eng']
Type : float64 | forme : (10000, 11)
Vecteur de caractéristiques de la première observation :
[49. 80. 43.81 3. 4. 0. 0. 1. 1. 0. 0. ]التفسير. الملاحظة، الموصوفة ابتداءً بسبعة أعمدة
متغايرة، أصبحت نقطة في ℝ¹¹. والمكوّنات الخمس الأولى هي
المتغيرات العددية الأصلية؛ والست التالية مؤشرات
ثنائية ترمّز صيغ المتغيرين الفئويين. والقيم
1 في الموضعين الثامن والتاسع تشير إلى باقة Mobile بالتزام
اثني عشر شهراً.
درسان عامان:
anciennete_mois من 1 إلى 120،
وfacture_mensuelle من 15 إلى 95، والمؤشرات تساوي 0 أو 1. وهذا
التغاير بلا أثر على شجرة قرار وحاسم لكل
نموذج قائم على مسافات أو على نزول تدرّجي (الفصل 023).التعريف الدقيق
مجموعة 𝒳 لكل القيم الجائزة لمتجه الخصائص. وفي الحالة المعتادة لـ p متغيراً بقيم حقيقية، 𝒳 ⊆ ، مزوَّد ببنية فضاء متجهي منظَّم تتيح تعريف مسافة بين الملاحظات.
الصياغة الهندسية
كل ملاحظة نقطة في هذا الفضاء؛ وكل متغير توضيحي محور؛ ومجموعة البيانات سحابة n نقطة في فضاء بُعده p. وتقوم مهمة التعلّم على تحديد بنية في هذا الفضاء — حد يفصل مناطق في التصنيف، وسطح جواب في الانحدار — تعيد إنتاج الرابط بين الموقع و قيمة الهدف صحيحاً.
ترجمة إلى اللغة اليومية
مجموعة كل البطاقات الإشارية الممكنة، منظوراً إليها كنقاط على خريطة بـ p بعداً.
نقطة انتباه
الحدس الهندسي المكتسَب في البعد 2 أو 3 يتوقف عن الوثوقية بعده. وفي البعد العالي، يتركّز الحجم في المناطق المحيطية، و تصبح المسافات بين أزواج النقاط شبه متكافئة كلها، و يفقد مفهوم الجوار قدرته التمييزية. وهذه الظاهرة، المسماة لعنة الأبعاد، تؤثّر خصوصاً في الطرائق القائمة على المسافات (الفصل 040).
لخريطة مستوية محوران، طول وعرض. وتشغل كل مدينة فيها نقطة فريدة. ومدينتان متجاورتان على الخريطة كذلك في الواقع: للقرب في فضاء التمثيل معنى.
وفضاء الخصائص هذه الخريطة، بـ p محوراً بدل اثنين. وزبونان متجهَا خصائصهما قريبان زبوناان «متشابهان» بمعنى المتغيرات المحتفَظ بها.
ثلاثة تمديدات دقيقة للتشبيه:
| العنصر | الشكلانية | القراءة |
|---|---|---|
| ملاحظة | x ∈ 𝒳 ⊆ | نقطة |
| الهدف الحقيقي | y ∈ 𝒴 | القيمة الصحيحة |
| النموذج | f : 𝒳 → 𝒴 | دالة معرَّفة على الفضاء كله |
| التنبؤ | ŷ = f(x) | القيمة المسندة إلى النقطة |
| الخطأ على ملاحظة | ℓ(y, ŷ) | الفرق المقيس بدالة خسارة |
| هدف التعلّم | تقليل 𝔼[ℓ(Y, f(X))] | تقليل الخطأ المتوقَّع على التوزيع، لا على العيّنة |
نقطة أساسية. النموذج معرَّف على الفضاء كله، بما فيه المناطق التي لم تُرصَد فيها أي ملاحظة. وسينتج تنبؤاً لمتجه خصائص واقع خارج المجال الذي غطاه التدريب، بلا الإشارة إلى أن هذه المنطقة لم تُرصَد قط. وهذا الاستقراء الصامت مصدر فشل رئيسي في الإنتاج و يبرر مراقبة انحراف البيانات (الفصل 082).
امتلاك عمود لا يجيز استعماله. وتنطبق أربعة مرشّحات متتالية، بهذا الترتيب، قبل أي اعتبار للأداء.
التعريف الدقيق
متغير متاح في لحظة التنبؤ إذا كانت قيمته مرصودة ومتاحة ونهائية في أنظمة المعلومات في تلك اللحظة، لكل ملاحظة يجب أن يصدر النموذج حكماً عليها.
الصياغة التشغيلية
ليكن اللحظة التي يجب فيها إصدار التنبؤ و اللحظة التي تصبح فيها قيمة المتغير معروفة فعلاً. والمتغير مقبول إذا وفقط إذا:
≤ ، لكل الملاحظات، بلا استثناء
ترجمة إلى اللغة اليومية
هل سأملك هذه المعلومة فعلاً لحظة وجوب الإجابة، أم فقط في تاريخي لأنني أنظر إلى الماضي؟
نقطة انتباه
مجموعة البيانات التاريخية مكوَّنة بعدئذ: إنها تتضمّن طبيعياً معلومات تراكمت بعد لحظة القرار. ولا شيء في الملف يميّز متغيراً متاحاً عن متغير لاحق. والمعرفة وحدها بالعملية المهنية تتيح الحسم. ولا يمكن أتمتة هذا التحقّق.
| حالة الاستعمال | متغير مرشَّح | بالنسبة إلى | الحكم |
|---|---|---|---|
| انقطاع زبون عند 90 يوماً | أقدمية بالأشهر | سابق | مقبول |
| انقطاع زبون عند 90 يوماً | تاريخ الإلغاء | لاحق، ومعرَّف بالحدث | إقصاء، تسرّب ظاهر |
| انقطاع زبون عند 90 يوماً | سبب المغادرة الذي أدخله المستشار | لاحق | إقصاء |
| انقطاع زبون عند 90 يوماً | عدد مكالمات الدعم في الأشهر الستة الأخيرة | سابق إذا كانت النافذة محدودة عند | مقبول بشرط نوافذ صارمة |
| منح ائتمان | دخل معلَن عند الطلب | سابق | مقبول |
| منح ائتمان | عدد حوادث الدفع على القرض الممنوح | لاحق | إقصاء |
| تقدير سعر بيع مسكن | مساحة، سنة بناء | سابق | مقبول |
| تقدير سعر بيع مسكن | مدة العرض للبيع | لاحق للعرض، معروف بعدئذ فقط | إقصاء |
| صيانة تنبؤية عند 7 أيام | اهتزاز متوسط للـ 24 ساعة الأخيرة | سابق | مقبول |
| صيانة تنبؤية عند 7 أيام | رمز شذوذ تشخيص العطل | لاحق | إقصاء |
| تشخيص طبي عند القبول | ثوابت حيوية عند الوصول | سابق | مقبول |
| تشخيص طبي عند القبول | علاج مقدَّم | لاحق، ونتيجة التشخيص | إقصاء |
ثلاثة أشكال لعدم التوافر، اثنان منها غالباً ما يُغفَلان:
| الشكل | الوصف | مثال |
|---|---|---|
| عدم توافر زمني | القيمة غير موجودة بعد عند | المبلغ الإجمالي المفوتر في السنة الجارية |
| عدم توافر بكمون | القيمة موجودة لكنها لا تُوحَّد في الأنظمة إلا بمهلة تفوق نافذة القرار | درجة خارجية تُحدَّث شهرياً، مستغَلة في تقييم فوري |
| عدم توافر بالنطاق | القيمة موجودة لمجتمع التاريخ لا لمجتمع الهدف | متغير مرصود فقط لزبائن فرع مُدمَج |
نقطة انتباه على الكمون. نموذج مُتحقَّق منه على تاريخ كامل يمكن أن ينهار في الإنتاج لأن متغيراً يصل بتأخير ثمان وأربعين ساعة ويظهر إذن منهجياً كناقص لحظة التنبؤ. وينصبّ التحقّق لا على وجود المتغير فحسب، بل على توافره الفعلي في النظام المستدعي، بالحداثة المطلوبة.
والآلية الكاملة التي يفسد بها متغير غير متاح مشروعاً، وأشكاله الدقيقة وبروتوكولات الكشف معالَجة في الفصل 028.
التعريف الدقيق
حضور، ضمن المعلومات المستعمَلة لبناء النموذج، لمعلومة لن تكون متاحة مشروعاً لحظة التنبؤ، أو محدَّدة بقيمة الهدف، مما ينتج مبالغة في تقدير الأداء المقيس وفشلاً في الإنتاج.
ترجمة إلى اللغة اليومية
رأى النموذج الجواب، مباشرة أو غير مباشرة، أثناء تعلّمه.
العائلتان الكبيرتان
| العائلة | الآلية | الكشف |
|---|---|---|
| تسرّب بالمتغير | عمود يرمّز الهدف كله أو جزءاً منه | أداء مرتفع بشكل غير طبيعي، أهمية مركَّزة على متغير |
| تسرّب بالبروتوكول | إحصائية محسوبة على مجموع البيانات قبل الفصل تلوّث مجموعة الاختبار | فجوة ضعيفة بين التحقّق والاختبار، انهيار في الإنتاج |
إشارة التنبيه الأكثر وثوقية
أداء أعلى بوضوح من توقعات المجال. ونموذج يبلغ 0,99 AUC على مسألة مشهورة بالصعوبة يجب الاشتباه بتسرّبه قبل الاحتفاء به.
نقطة انتباه
التسرّب لا يثير أي خطأ تنفيذ. إنه ينتج نتائج ممتازة. وهذا بالضبط ما يجعله خطيراً: لا شيء يدعو إلى البحث عنه.
| نوع المتغير المشبوه | سؤال التحكّم | مثال |
|---|---|---|
| متغير نتيجة | هل تُنتَج القيمة لأن الحدث وقع؟ | date_resiliation، motif_annulation، montant_rembourse |
| متغير معالجة | هل تعكس القيمة فعلاً أُطلِق بمعرفة النتيجة؟ | offre_de_retention_proposee، dossier_transmis_au_contentieux |
| متغير مجمَّع بلا نوافذ | هل يغطي المجموع فترة لاحقة لـ ؟ | nb_transactions_total، moyenne_annuelle |
| متغير وكيل شبه كامل | هل الارتباط بالهدف مشبوه بالتفاهة؟ | statut_compte = "clos" للتنبؤ بالانقطاع |
| معرّف حامل لترتيب | هل يرمّز المعرّف ضمنياً التسلسل الزمني أو المجموعة؟ | أرقام تسلسلية مسندة حسب دفعة، دفعة لكل فئة |
متغير مرتبط إحصائياً بالهدف بلا آلية معقولة يجب فحصه قبل الاحتفاظ به. وثلاث نتائج ممكنة.
| التشخيص | طبيعة الرابط | المسلك |
|---|---|---|
| آلية مهنية محدَّدة | ارتباط مؤسَّس | إبقاء |
| متغير غير مباشر لسبب غير مرصود | ارتباط حقيقي لكنه هش | إبقاء بتحفّظ، توثيق، مراقبة الاستقرار |
| ارتباط عرضي خاص بالعيّنة | ارتباط بلا أساس | إقصاء؛ لن يتكرر |
| أثر اصطناعي للجمع | يأتي الارتباط من عملية تكوين البيانات | إقصاء وتصحيح الجمع |
نقطة انتباه: المعقولية المهنية مرشّح، لا دليل. فمتغير معقول يمكن أن يكون عديم الفائدة، ومتغير آليته غير مفهومة يمكن أن يكون تنبؤياً أصيلاً. والمعيار يخدم تحديد المتغيرات الواجب فحصها، لا الحسم وحده.
نقطة انتباه على الاستقرار. متغير يتطور توزيعه أو تعريفه مع الزمن — إعادة صياغة تسمية، تغيّر نظام جمع، تعديل قاعدة إدارة — يفسد النموذج بلا أن ينطلق أي تنبيه تقني. ومراقبة هذه التطورات معالَجة في الفصل 082.
| الفئة | الوضع | الصعوبة الخاصة |
|---|---|---|
| متغيرات حسّاسة مباشرة: أصل، دين، آراء سياسية، صحة، توجه جنسي | استعمال مؤطَّر بصرامة أو محظور حسب الولايات والغايات | تحديد سهل |
| متغيرات غير مباشرة شديدة الارتباط بمتغير حسّاس | حظر غالباً ما يُلتف عليه بلا قصد | يمكن أن يحل الرمز البريدي محل الأصل؛ والاسم الأول محل الجنس |
| متغيرات صادرة عن جمع بلا أساس قانوني | غير قابلة للاستغلال | تتبّع المصدر مطلوب |
| متغيرات ينتجها نموذج آخر | قابلة للاستغلال بحذر | تبعية متسلسلة، شفافية أقل، انتشار تحيزات |
نقطة انتباه: سحب المتغيرات الحسّاسة لا يكفي لإنتاج نموذج عادل. فالمتغيرات غير المباشرة تعيد تكوين المعلومة المحذوفة. ويُجرى تدقيق العدالة على تنبؤات النموذج، لا على قائمة مدخلاته وحدها (الفصل 080).
| # | السؤال | إذا كان الجواب غير مواتٍ |
|---|---|---|
| 1 | هل سيُرصَد المتغير لحظة التنبؤ، لكل مجتمع الهدف؟ | إقصاء |
| 2 | هل قيمته نهائية في تلك اللحظة، أم تُراجَع لاحقاً؟ | إقصاء أو نوافذ صريحة |
| 3 | هل قيمته نتيجة للحدث المراد التنبؤ به؟ | إقصاء لتسرّب |
| 4 | هل يتجاوز مجموع يتضمّنه الفترة اللاحقة؟ | إعادة حساب بنافذة محدودة |
| 5 | هل آلية مهنية معقولة تربط هذا المتغير بالهدف؟ | فحص معمَّق |
| 6 | هل تعريفه وتوزيعه مستقران مع الزمن؟ | مراقبة معزَّزة |
| 7 | هل استعماله مشروع بالنظر إلى الغاية والتنظيم؟ | إقصاء |
| 8 | هل تكلفة اكتسابه في الإنتاج متوافقة مع الاستعمال المستهدَف؟ | موازنة |
تسبق هذه الأسئلة الثمانية كل قياس إحصائي. وطرائق الانتقاء القائمة على الأهمية أو الارتباط أو الأداء تتدخل بعد هذا الترشيح، وهي معالَجة في الفصل 025.
المعاينة، الموثَّقة على نطاق واسع بالممارسة الصناعية و مسابقات النمذجة، هي التالية: عند مجموعة بيانات معطاة، يتجاوز الكسب المحصَّل بإثراء المعلومة المقدَّمة عموماً الكسب المحصَّل باستبدال خوارزمية بأخرى.
والمثال أدناه قابل لإعادة الإنتاج. البيانات محاكاة، والآلية المولِّدة معروفة: السعر هو جداء المساحة في سعر المتر المربع المحلي، مصحَّح بالتقادم. وتتضمّن المجموعة أيضاً ستة متغيرات ضجيج بلا رابط مع الهدف.
import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.ensemble import HistGradientBoostingRegressor
from sklearn.metrics import r2_score
rng = np.random.default_rng(7)
n = 600
surface = rng.uniform(20, 160, n)
prix_m2_commune = rng.uniform(2000, 7000, n)
annee_construction = rng.integers(1900, 2021, n)
age_bien = 2024 - annee_construction
# الآلية المولِّدة: السعر جداء، مصحَّح بالتقادم
prix = surface * prix_m2_commune * (1 - 0.0025 * age_bien) + rng.normal(0, 40000, n)
X_brut = pd.DataFrame({
"surface_m2": surface,
"prix_m2_commune": prix_m2_commune,
"annee_construction": annee_construction,
})
for j in range(6):
X_brut[f"var_bruit_{j+1}"] = rng.normal(0, 1, n)
X_enrichi = X_brut.copy()
X_enrichi["valeur_theorique"] = surface * prix_m2_commune
X_enrichi["age_bien"] = age_bien
configurations = [("Variables brutes", X_brut), ("Variables enrichies", X_enrichi)]
modeles = [("Regression lineaire", LinearRegression()),
("Gradient boosting", HistGradientBoostingRegressor(random_state=0))]
for nom_config, X in configurations:
X_tr, X_te, y_tr, y_te = train_test_split(X, prix, test_size=0.3, random_state=0)
for nom_modele, modele in modeles:
modele.fit(X_tr, y_tr)
r2 = r2_score(y_te, modele.predict(X_te))
print(f"{nom_config:20s} | {nom_modele:20s} | p = {X.shape[1]:2d} | R2 = {r2:.3f}")Variables brutes | Regression lineaire | p = 9 | R2 = 0.898
Variables brutes | Gradient boosting | p = 9 | R2 = 0.927
Variables enrichies | Regression lineaire | p = 11 | R2 = 0.946
Variables enrichies | Gradient boosting | p = 11 | R2 = 0.929| المقارنة | فرق R² | القراءة |
|---|---|---|
| تغيّر الخوارزمية، عند متغيرات خام ثابتة | +0,029 | كسب محصَّل باستبدال الانحدار الخطي بـ gradient boosting |
| إثراء المتغيرات، عند خوارزمية خطية ثابتة | +0,048 | كسب محصَّل بإضافة متغيرين مُنشأين |
| نموذج خطي مثرى مقابل gradient boosting خام | +0,019 لصالح الخطي | النموذج الأبسط، المُعلَم صحيحاً، يتجاوز النموذج الأقوى سيئ الإعلام |
التفسير. الآلية المولِّدة جدائية. ونموذج خطي
لا يمكنه تمثيل جداء متغيرين: إنه عاجز بنيوياً
ما لم يُقدَّم له هذا الجداء. وما إن يُنشأ المتغير
valeur_theorique، تعود المسألة خطية ويبلغ النموذج
الأبسط أفضل أداء في المجموعة. وgradient boosting،
الذي يقارب الجداء بمجموع أشجار، ينجح جزئياً، بتكلفة
حسابية أعلى وثمن قابلية تفسير أقل.
مدى البرهان وحدوده. هذه النتيجة مبنية على بيانات محاكاة آليتها معروفة؛ وهي توضّح مبدأ ولا تشكّل قياساً قابلاً للتعميم. وعلى بيانات حقيقية، يعتمد الفرق على المسألة: توجد حالات يهيمن فيها تغيّر الخوارزمية. والمبدأ الموجِّه مع ذلك راسخ بقوة.
لا يمكن لخوارزمية، أيّاً كانت، أن تستغل إلا المعلومة المتضمَّنة في المتغيرات المقدَّمة لها. ولا يعوّض أي تهذيب خوارزمي معلومة غائبة.
| رافعة التحسين | الأثر النموذجي | التكلفة | الأولوية |
|---|---|---|---|
| تصحيح تعريف الهدف | حاسم | ضعيفة، لكنها تتطلب اتفاقاً مهنياً | 1 |
| إزالة التسرّبات والمتغيرات غير المتاحة | حاسم للصلاحية | ضعيفة | 2 |
| اكتساب مصدر بيانات جديد وذي صلة | غالباً مرتفع | مرتفعة | 3 |
| إنشاء متغيرات مشتقة ملائمة للآلية | غالباً مرتفع | معتدلة | 4 |
| زيادة حجم الملاحظات | متغيّر، متناقص | معتدلة إلى مرتفعة | 5 |
| تغيّر الخوارزمية | معتدل | ضعيفة | 6 |
| تحسين المعاملات الفائقة | ضعيف إلى معتدل | معتدلة | 7 |
| client_id | age | anciennete_mois | type_forfait | facture_mensuelle | nb_appels_support | satisfaction | date_resiliation | motif_depart | a_resilie |
|---|---|---|---|---|---|---|---|---|---|
| C-00001 | 34 | 8 | Mobile | 29,90 | 0 | 4 | — | — | 0 |
| C-00002 | 67 | 45 | Fibre | 64,90 | 3 | 2 | — | — | 0 |
| C-00003 | 29 | 2 | Mobile | 19,90 | 1 | — | 2025-01-14 | Prix | 1 |
| C-00004 | 52 | 61 | Fibre+TV | 89,90 | 0 | 5 | — | — | 0 |
| C-00005 | 41 | 17 | Fibre | 49,90 | 7 | 1 | 2024-11-22 | Service | 1 |
| العنصر | التحديد |
|---|---|
| المتغير الهدف | a_resilie، ثنائي، إلغاء مرصود في الـ 90 يوماً التالية لتاريخ الملاحظة |
| نوع المسألة | تصنيف ثنائي |
| المتغيرات التوضيحية المحتفَظ بها | age، anciennete_mois، type_forfait، facture_mensuelle، nb_appels_support، satisfaction |
| أعمدة مقصاة كمعرّفات | client_id |
| أعمدة مقصاة لتسرّب | date_resiliation وmotif_depart: كلاهما لا يُرصَد إلا إذا وقع الإلغاء. وحضورهما وحده يحدد الهدف |
| البعد بعد الترميز | p = 8: خمسة عددية وثلاثة مؤشرات لـ type_forfait |
| نقطة انتباه على النوافذ | يجب حساب nb_appels_support على نافذة محدودة بتاريخ الملاحظة. وعدّ على كامل عمر الزبون يتضمّن المكالمات اللاحقة، ولا سيما مكالمة الإلغاء نفسها |
تشخيص تسرّب بنسبة القيم الناقصة. عمود
motif_depart فارغ لكل الملاحظات غير الملغاة. وعمود
تتطابق نسبة اكتماله تماماً مع نسبة موجبات
الهدف متغير تسرّب إلى أن يثبت العكس. وهذا التحكّم قليل
التكلفة ويكشف جزءاً واسعاً من التسرّبات بالمتغير.
| annonce_id | commune | surface_m2 | nb_pieces | annee_construction | classe_energie | ascenseur | duree_mise_en_vente_j | nb_visites | prix_vente |
|---|---|---|---|---|---|---|---|---|---|
| A-10471 | Lyon 3e | 68 | 3 | 1972 | D | 1 | 47 | 12 | 331 000 |
| A-10472 | Villeurbanne | 42 | 2 | 2015 | B | 1 | 22 | 19 | 218 500 |
| A-10473 | Lyon 6e | 105 | 5 | 1930 | E | 0 | 118 | 8 | 712 000 |
| A-10474 | Bron | 77 | 4 | 1988 | D | 0 | 63 | 11 | 249 000 |
| A-10475 | Lyon 3e | 31 | 1 | 2019 | A | 1 | 15 | 24 | 189 900 |
| العنصر | التحديد |
|---|---|
| المتغير الهدف | prix_vente، عددي متصل موجب صرفاً |
| نوع المسألة | انحدار |
| المتغيرات التوضيحية المحتفَظ بها | commune، surface_m2، nb_pieces، annee_construction، classe_energie، ascenseur |
| أعمدة مقصاة كمعرّفات | annonce_id |
| أعمدة مقصاة لعدم التوافر | duree_mise_en_vente_j وnb_visites: هذه القيم لا تُعرَف إلا بعد البيع. والاستعمال المستهدَف هو التقدير عند العرض للبيع، وهي لحظة تساوي فيها صفراً أو تكون غير معرَّفة |
| متغيرات تُنشأ | age_bien = annee_vente − annee_construction؛ prix_m2_median_commune محسوب على فترة التدريب فقط؛ surface_par_piece |
| البعد بعد الترميز | يعتمد على عدد صيغ commune؛ وترميز مؤشرات على 60 بلدية يرفع p إلى ما بعد 65 |
نقطة انتباه على المتغير المُنشأ prix_m2_median_commune.
هذا المتغير أقوى رافعة أداء في المسألة، و
في الوقت نفسه ناقل تسرّب. ومحسوباً على مجموع مجموعة البيانات،
يدمج أسعار بيع مجموعة الاختبار في مدخلات
التدريب. ويجب تقديره حصراً على مجموعة التدريب،
ثم تطبيقه على المجموعات الأخرى، وهو ما يفرض دمجه في خط أنابيب
(الفصلان 079 و092) لا حسابه مسبقاً.
نقطة انتباه على الاعتماد الزمني. ينحرف المستوى العام للأسعار. وإذا كان الاستعمال المستهدَف تقدير معاملات مستقبلية، فيجب أن يكون الفصل زمنياً (الفصل 027) ووضع مراقبة الانحراف (الفصل 082).
| capteur_id | machine_id | horodatage | temperature_c | vibration_rms | pression_bar | heures_fonctionnement | jours_depuis_maintenance | code_defaut_diag | panne_sous_7j |
|---|---|---|---|---|---|---|---|---|---|
| S-0001 | M-14 | 2025-03-02 06:00 | 62,4 | 1,82 | 4,10 | 18 420 | 34 | — | 0 |
| S-0002 | M-14 | 2025-03-02 07:00 | 71,9 | 3,47 | 4,08 | 18 421 | 34 | E-207 | 1 |
| S-0003 | M-22 | 2025-03-02 06:00 | 58,1 | 1,44 | 3,95 | 6 210 | 12 | — | 0 |
| S-0004 | M-22 | 2025-03-02 07:00 | 58,6 | 1,51 | 3,96 | 6 211 | 12 | — | 0 |
| S-0005 | M-07 | 2025-03-02 06:00 | 79,2 | 4,91 | 4,42 | 41 003 | 96 | — | 1 |
| العنصر | التحديد |
|---|---|
| المتغير الهدف | panne_sous_7j، ثنائي، وقوع توقف غير مخطَّط في السبعة أيام |
| نوع المسألة | تصنيف ثنائي بهدف شديد الاختلال |
| ماذا تمثّل ملاحظة | قراءة ساعية لآلة، لا آلة. والآلة نفسها تشغل آلاف الصفوف |
| المتغيرات التوضيحية المحتفَظ بها | temperature_c، vibration_rms، pression_bar، heures_fonctionnement، jours_depuis_maintenance، إضافة إلى مجاميع زمنية تُنشأ |
| أعمدة مقصاة كمعرّفات | capteur_id؛ ويُحفَظ machine_id كـ مفتاح تجميع، لا كمتغير توضيحي |
| أعمدة مقصاة لتسرّب | code_defaut_diag: يصدر هذا الرمز عن التشخيص المجرى لحظة العطل. وحضوره يحدد الهدف آلياً |
| متغيرات تُنشأ | متوسطات وانحرافات معيارية وميلان vibration_rms على نوافذ منزلقة 6 و24 و72 ساعة؛ فرق عن القيمة المرجعية حسب الآلة |
نقطة انتباه على بنية المجموعة. فصل عشوائي سيضع قراءات الآلة نفسها واليوم نفسه في التدريب والاختبار معاً. فيحفظ النموذج توقيع الآلة بدل آلية التدهور، وسيكون الأداء المقيس مبالَغاً فيه بقوة. ويجب إجراء الفصل حسب مجموعة آلات و احترام التسلسل الزمني (الفصل 027).
نقطة انتباه على نوافذ المجاميع. يجب أن تكون كل نافذة منزلقة سابقة صرفاً للختم الزمني للملاحظة. ومتوسط متمركز على اللحظة الجارية يدمج قياسات مستقبلية وينتج تسرّباً لن يظهر إلا في الإنتاج.
| المجال | التسرّب الأكثر شيوعاً | متغير التوافر الأكثر حرجاً |
|---|---|---|
| انقطاع اتصالات | أعمدة مرصودة فقط للمغادرين | مجاميع اتصالات الدعم، بنافذة محدودة |
| عقاري | إحصاءات أسعار محسوبة على كامل المجموعة | متغيرات تصف مجرى البيع |
| صيانة صناعية | رموز تشخيص لاحقة للعطل | مجاميع على نوافذ منزلقة سابقة صرفاً |
توافر عمود في ملف تاريخي لا يثبت لا توافره لحظة التنبؤ، ولا مشروعيته. والمعرّفات، ومتغيرات النتيجة والمتغيرات الموحَّدة متأخراً يجب استبعادها قبل أي نمذجة.
الصياغة الصحيحة: «يصبح العمود متغيراً توضيحياً بعد استيفاء أربعة معايير: التوافر لحظة التنبؤ، غياب التسرّب، المعقولية المهنية والمشروعية.»
الصفة تأتي من الإطار التجريبي حيث يثبّت المتغير المجرِّب بمعزل عن الجهاز. ولا تفرض أي استقلال إحصائي بين متغيرات المدخل، وهي عموماً مرتبطة.
الصياغة الصحيحة: «مصطلح مستقل إرث خطة التجربة؛ والارتباط بين المتغيرات التوضيحية ظاهرة متميّزة، التعدد الخطي، المعالَجة في الفصل 017.»
يشير Label إلى قيمة فئوية مسندة إلى ملاحظة. وهدف عددي متصل target بلا أن يكون label. والحديث عن «وسم» مسألة انحدار إساءة استعمال لغة تشير إلى إتقان ناقص للمفردات.
الصياغة الصحيحة: «الهدف وسم في التصنيف و قيمة عددية في الانحدار؛ يغطي target الحالتين، وlabel الأولى فقط.»
لا مقدار توضيحياً أو هدفاً بطبيعته. فمبلغ معاملة هدف في مشروع توقّع متوسط السلة وتوضيحي في مشروع كشف احتيال.
الصياغة الصحيحة: «دور المتغير يسنده السؤال المطروح، لا المتغير نفسه.»
زيادة متغيرات غير إعلامية تزيد بُعد فضاء الخصائص، وترفع تباين التقدير، وتفضّل فرط التخصيص وتثقّل سلسلة الإنتاج. والعلاقة بين عدد المتغيرات والأداء في التعميم ليست رتيبة.
الصياغة الصحيحة: «المعلومة ذات الصلة تحسّن النموذج؛ و عدد الأعمدة، في ذاته، لا يحسّنه.»
ترميز المتغيرات الفئوية وإنشاء متغيرات مشتقة و الانتقاء تعدّل البعد p. ويمكن لسبعة أعمدة مصدر أن تنتج أحد عشر بعداً، أو عدة مئات مع متغيرات بعدد صيغ مرتفع.
الصياغة الصحيحة: «يشير p إلى عدد مكوّنات المتجه المقدَّم فعلاً للنموذج، بعد التحضير.»
ترتيب الروافع ثابت: تعريف الهدف، إزالة التسرّبات، إثراء المعلومة، ثم فقط اختيار الخوارزمية و تحسين المعاملات الفائقة. وعكس هذا الترتيب يقود إلى استهلاك ميزانية مهمة لكسب هامشي.
الصياغة الصحيحة: «قبل تغيير النموذج، التحقّق من أن المعلومة اللازمة للتنبؤ حاضرة فعلاً في المدخلات.»
الوسم ناتج عن بروتوكول قابل للخطأ. واختلافات الموسِّمين والتشخيصات الخاطئة والاحتيالات غير المكتشَفة تُدخل ضجيجاً في الهدف يحدّ الأداء القابل للبلوغ.
الصياغة الصحيحة: «الحقيقة الأرضية قياس مرجعي، لا الحقيقة؛ وجودة الوسم تشترط سقف أداء النموذج.»
الصيغة الذهنية
FEATURES → MODÈLE → TARGET
ما هو معروف الدالة ما يُبحَث عنه
في اللحظة t_pred المتعلَّمة ومجهول عند t_pred
المتغير التوضيحي — مرادفات وأصول
feature، خاصية تعرّف على الأشكال
متغير توضيحي إحصاء تطبيقي
متغير مستقل خطة تجربة (Fisher، 1935)
متغير مدخل، input تحكم آلي، نظرية أنظمة
مُنبئ إحصاء الانحدار
مُنحدِر اقتصاد قياسي
متغير مرافق إحصاء حيوي، تجارب سريرية
سمة تنقيب بيانات، قواعد علائقية
واصف كيمياء قياسية
المتغير الهدف — مرادفات وأصول
target، هدف تعلّم آلي
متغير تابع إحصاء تجريبي
متغير جواب خطط تجربة
متغير مفسَّر إحصاء فرنكوفوني
متغير داخلي اقتصاد قياسي
output، خرج تحكم آلي
label، وسم تصنيف فقط
حقيقة أرضية استشعار عن بُعد، ثم رؤية
gold standard إحصاء حيوي
اصطلاح تابع / مستقل
إرث خطة التجربة، غير ملائم لـ ML الرصدي.
«مستقل» لا يعني مستقلاً عن المتغيرات الأخرى.
«تابع» لا يعني محدَّداً سببياً.
الدور وظيفي وقابل للعكس من مشروع إلى آخر.
الشكلانية
x = (x1, …, xp)ᵀ ∈ ℝ^p متجه خصائص
X ∈ ℝ^(n×p) مصفوفة تصميم
y ∈ 𝒴^n متجه هدف
f : 𝒳 → 𝒴 النموذج
ŷ = f(x) التنبؤ
p ≠ عدد أعمدة الملف المصدر
المرشّحات الأربعة، بهذا الترتيب
1. التوافر لحظة التنبؤ → وإلا إقصاء
2. غياب التسرّب → وإلا إقصاء
3. المعقولية المهنية → وإلا فحص
4. المشروعية والأخلاقيات → وإلا إقصاء
الانتقاء الإحصائي لا يتدخل إلا بعدئذ.
المعيار الأول
t_obs ≤ t_pred، لكل الملاحظات، بلا استثناء.
ثلاثة أشكال لعدم التوافر: زمني، كمون، نطاق.
تراتبية الروافع
هدف معرَّف جيداً > غياب تسرّب > معلومة جديدة
> متغيرات مُنشأة > حجم > خوارزمية > معاملات فائقةقول الخلاصة
تشكّل المتغيرات التوضيحية كامل المعلومة التي يملكها النموذج والمتغير الهدف المقدار الذي يجب أن يقدّره؛ و تسميتها تتغيّر حسب التخصص الأصلي دون أن يتغيّر المفهوم، و اصطلاح الإحصاء في التبعية والاستقلال إرث تجريبي غير ملائم للإطار الرصدي للتعلّم الآلي. و تُمثَّل ملاحظة كمتجه والنموذج كدالة معرَّفة على هذا الفضاء. ولا يصبح عمود متغيراً توضيحياً إلا بعد استيفاء أربعة معايير، أولها توافره الفعلي في اللحظة التي يجب فيها إصدار التنبؤ؛ و جودة هذه المعلومة تحدد الأداء القابل للبلوغ أكثر من اختيار الخوارزمية.
اختبارات مرتبطة
006.1-quiz-relation-features-target.md006.2-quiz-variable-explicative.md006.3-quiz-variable-cible.md006.4-quiz-dependante-independante.md006.5-quiz-vecteur-espace-caracteristiques.md006.6-quiz-criteres-de-selection.md006.7-quiz-etudes-de-cas.mdالفصل التالي: 007-x-et-y-label-classe.md