بنية مجموعة البيانات

الكتلة 1 — المفردات الأساسية
الهدف: القدرة على وصف بنية مجموعة بيانات بدقة، وتسمية بُعديها، وتحديد وحدة التحليل، وتمييز دور كل عمود الوظيفي، وتصنيف كل متغير في نمطية مستقرة وقيادة بروتوكول فحص أولي قابل لإعادة الإنتاج.
المدة المقدَّرة: 35 دقيقة
المتطلبات السابقة: الفصول 001 إلى 004
الاختبارات المرتبطة: من 005.1-quiz-jeu-de-donnees.md إلى 005.6-quiz-etudes-de-cas.md

1. مجموعة البيانات: التعريف والأبعاد

1.1 مشكلة المفردات

ليكن القول التالي، التمثيلي للأدبيات التطبيقية:

«تتضمّن مجموعة البيانات (dataset) 10 000 حالة موصوفة بـ 14 سمة، منها متغير جواب فئوي. وُسِمت كل عيّنة يدوياً.»

الترجمة الكاملة، بلا فقدان معلومة:

«يتضمّن الجدول 10 000 صف و 14 عموداً. أحد الأعمدة يحتوي القيمة المراد التنبؤ بها، وهذه القيمة فئة. رُصِد هذا العمود من مشغّلين بشريين.»

القولان متكافئان بصرامة. والفجوة تأتي من إرث اصطلاحي: يجمع المجال مفردات صادرة عن الإحصاء الاستدلالي، والمعلوماتية، وقواعد البيانات العلائقية و الترجمة المباشرة للإنجليزية. فتنتج عدة تسميات متنافسة للكائن نفسه.

نقطة انتباه: الغموض ليس معجمياً فحسب. فكلمة عيّنة تشير إلى كائنين مختلفين حسب التخصص (الفقرة 2.1) و كلمة feature تشير تارة إلى أي عمود، وتارة إلى عمود مقدَّم فعلاً للنموذج (الفقرة 3.3). وينتج هذان الالتباسان أخطاء منهجية حقيقية.

1.2 التعريف

تعريف — مجموعة البيانات (dataset، ensemble de données)

التعريف الدقيق

مجموعة مهيكلة من الملاحظات، كل ملاحظة موصوفة بمجموعة مشتركة من المتغيرات المقيسة أو المرصودة وفق بروتوكول متجانس.

ثلاثة عناصر في هذا التعريف مقيِّدة: التنظيم في صفوف وأعمدة صريحة ومستقرة؛ وكل الملاحظات موصوفة بالمتغيرات نفسها، وهو ما يتيح المقارنة حداً بحد؛ و المتغير نفسه يحفظ المعنى نفسه والوحدة نفسها من ملاحظة إلى أخرى.

الشكل المعياري

تُمثَّل مجموعة البيانات بمصفوفة مستطيلة كل صف فيها يقابل ملاحظة وكل عمود متغيراً. يُدعى هذا الشكل بيانات جدولية، أو tidy data في اصطلاح Wickham (2014)، الذي يضع ثلاث قواعد: متغير لكل عمود، ملاحظة لكل صف، وحدة ملاحظة لكل جدول.

ترجمة إلى اللغة اليومية

جدول يصف كل صف فيه حالة ملاحَظة وكل عمود معلومة مرصودة على هذه الحالة، المعلومة نفسها لكل الحالات.

نقطة انتباه

مجموعة ملفات متغايرة ليست مجموعة بيانات بالمعنى أعلاه. تصبح كذلك بعد توحيد، وهو خطوة هندسية قائمة بذاتها.

1.3 البُعدان وترميزهما

الرمز	التسمية	ما يعدّه	مرادفات مصادَفة
n	عدد الملاحظات	الصفوف	حجم العيّنة، العدد، عدد الحالات، عدد الأمثلة
p	عدد المتغيرات	الأعمدة	عدد السمات، عدد الـ features، الأبعاد
X	مصفوفة المتغيرات التوضيحية	n صف × p عمود	مصفوفة التصميم، design matrix
y	متجه المتغير الهدف	n قيمة	متجه الجواب، الوسوم، labels

مجموعة موصوفة بـ «n = 10 000، p = 14» تُقرَأ: 10 000 ملاحظة موصوفة كل منها بـ 14 متغيراً.

نقطة انتباه: لا اصطلاح عالمي. تشير الأدبيات الإحصائية إلى عدد المتغيرات بـ p (predictors)، وأدبيات التعلّم الآلي أحياناً بـ d أو m. كذلك يشير p حسب المؤلفين إلى العدد الإجمالي للأعمدة أو إلى عدد المتغيرات التوضيحية وحده. ورفع الغموض يتم بالتصريح، لا بالاصطلاح.

تعريف — الأبعاد (dimensionnalité)

التعريف الدقيق

عدد المتغيرات التي تصف كل ملاحظة، أي بُعد الفضاء المتجهي الذي تُمثَّل فيه كل ملاحظة بنقطة.

التفسير الهندسي

مجموعة بـ p متغيراً تضع كل ملاحظة عند نقطة في فضاء بـ p بعداً. ملاحظتان قريبتان في هذا الفضاء تعرضان قيماً متجاورة على مجموع المتغيرات. وتستغل معظم الخوارزميات هذه البنية، صراحة لطرائق قائمة على مسافات، وضمناً لطرائق تجزّئ الفضاء.

النتيجة المنهجية

ينمو حجم الفضاء أسّياً مع p. عند ثبات n، زيادة p تندّر الملاحظات وتفسد كل تقدير محلي. هذه الظاهرة هي لعنة الأبعاد، المعالَجة في الفصل 025.

ترجمة إلى اللغة اليومية

عدد الأعمدة التي تصف كل حالة. كلما ارتفع، لزم المزيد من الصفوف حتى يبقى الاستقراء مؤسَّساً.

1.4 الأشكال المادية للكائن المنطقي نفسه

البنية المنطقية — مصفوفة n × p — مستقلة عن دعامة التخزين. والصيغ التالية ترمّز الكائن نفسه.

الصيغة	الطبيعة التقنية	تنميط الأعمدة	الحجم المناسب	الاستخدام المميّز
CSV	ملف نص بفاصل	لا شيء: الكل سلسلة، يُستنتَج النوع عند القراءة	حتى بضع مئات ميغابايت	تبادل بين التطبيقات، تصدير
جدول حساب (XLSX، ODS)	ملف ثنائي بأوراق	حسب الخلية، متغاير وغير مقيَّد	بضع عشرات آلاف الصفوف	إدخال ومراجعة مهنية
جدول علائقي	جدول SQL دائم	معلَن ومقيَّد بالمخطط	ملايين إلى مليارات الصفوف	نظام معلومات إنتاج
DataFrame	بنية في الذاكرة (pandas، polars، R)	حسب العمود، متجانس وصريح	محدود بالذاكرة المتاحة	تحليل ونمذجة
Parquet	ملف ثنائي موجَّه أعمدة	معلَن في البيانات الوصفية	كبير جداً، بضغط وقراءة جزئية	تخزين تحليلي، سلاسل معالجة

نقطة انتباه على صيغة CSV: غياب التنميط هو السبب الأكثر شيوعاً لأنواع مستنتَجة سيئاً. معرّف بأصفار بادئة (00742) يُقرَأ كعدد صحيح ويفقد أصفاره؛ وعشري بفاصل فاصلة يُقرَأ كنص؛ وسلسلة N/A تمنع الاستنتاج العددي لكامل العمود. تُكتشَف هذه العيوب بـ df.info() (الفقرة 5.3).

تشبيه — الصيغة والمحتوى

يمكن طباعة النص نفسه أو كتابته على الآلة أو عرضه أو إملاؤه. والدعامة تشترط تكلفة المعالجة وأنماط التلف الممكنة، لا النص نفسه.

وتسلك مجموعة بيانات كذلك: تبقى بنيتها المنطقية مصفوفة n × p، سواء كانت الدعامة ملفاً نصياً 3 كيلوبايت أو جدولاً موزَّعاً 400 جيغابايت. والنتيجة العملية أن تغيّر الصيغة لا يحل أبداً مشكلة محتوى: تحويل CSV سيئ الرصد إلى Parquet ينتج Parquet سيئ الرصد.

1.5 تفسير الحجم

عدد الملاحظات لا معنى له بالمطلق: يُفسَّر نسبياً إلى عدد المتغيرات وتعقيد الظاهرة. وأوامر الحجم التالية تصح للنمذجة الجدولية المُوجَّهة بـ p معتدل، من رتبة عشرة إلى خمسين متغيراً.

الحجم (n)	الحكم	النتيجة المنهجية
أقل من 100	غير كافٍ لاستقراء مؤسَّس	إحصاء وصفي وخبرة مجال. كل تقدير أداء يهيمن عليه ضجيج العيّنة
100 إلى 1 000	قابل للاستغلال بشروط صارمة	نماذج بسيطة ومنظَّمة، متغيرات قليلة. تحقّق متقاطع إلزامي، فمجموعة اختبار معزولة صغيرة جداً لتكون إعلامية
1 000 إلى 100 000	المجال الاسمي للتعلّم الآلي الجدولي	فصل تدريب / تحقّق / اختبار عملي، طرائق تجميع ذات صلة، تحسين معاملات فائقة معقول
أكثر من 100 000	حجم مريح	نماذج ذات قدرة مرتفعة قابلة للنظر. ينتقل القيد من الحجم إلى الجودة والتمثيلية وتكلفة الحساب

المبدأ الموجِّه: نسبة n / p أهم من n وحده. مجموعة 5 000 ملاحظة موصوفة بـ 8 متغيرات مريحة؛ والحجم نفسه موصوف بـ 3 000 متغير يندرج تحت نظام أبعاد عالية.

نقطة انتباه: في التصنيف، الحجم الحاسم ليس n بل عدد الفئة الأقل تمثيلاً. مجموعة 200 000 ملاحظة منها 60 موجبة تشكّل مشكلة بـ 60 ملاحظة مفيدة. تُطوَّر هذه النقطة في الفصل 050.

2. الملاحظة: الاصطلاح ووحدة التحليل

2.1 التسميات المتنافسة

تعريف — الملاحظة (observation)

التعريف الدقيق

الوحدة الابتدائية لمجموعة البيانات، تقابل فرداً إحصائياً رُصدت عليه مجموعة المتغيرات كلها. وتتجسّد الملاحظة بصف في مصفوفة n × p.

أصل المصطلح

الإحصاء. وكلمة فرد تشير فيه إلى الوحدة الملاحَظة، سواء أكانت شخصاً أم شيئاً أم حدثاً أم فترة.

ترجمة إلى اللغة اليومية

حالة ملاحَظة، موصوفة بالكامل.

التوصية

هذا أدق المصطلحات الثمانية المعدودة في الفقرة 2.2 وأكثرها حياداً. وهو المعتمَد مصطلحاً مرجعياً في هذا المقرر.

تعريف — الحالة (instance)

التعريف الدقيق

حدوث خاص موصوف بمتجه قيم سماته، في اصطلاح التعلّم الآلي وتمثيل المعارف.

أصل المصطلح

المعلوماتية، قياساً على إنشاء نسخة من صنف: يقوم مخطط مجموعة البيانات مقام الصنف، وكل صف مقام حالة.

نقطة انتباه

يُستعمَل المصطلح أحياناً بالمعنى الضيق لملاحظة بلا وسم، تُقدَّم للنموذج في مرحلة التنبؤ. وهذا الاستعمال أقلية لكنه موثَّق.

تعريف — العيّنة (sample): مصطلح بوجهين

المعنى الإحصائي — المعنى التاريخي

مجموعة جزئية من مجتمع، مختارة وفق خطة معاينة، يُستنتَج منها خصائص المجتمع كله. والعيّنة هنا مجموعة ملاحظات، حجمها n.

«تتضمّن العيّنة 10 000 زبون.»

معنى التعلّم الآلي — المحاكاة الحرفية للإنجليزية

ترجمة مباشرة لـ sample، المستعمَل في مكتبات التعلّم للإشارة إلى صف واحد. وتعرّف وثائق scikit-learn X منهجياً كمصفوفة شكلها (n_samples, n_features)، حيث كل sample ملاحظة فردية.

«تتضمّن المجموعة 10 000 عيّنة.»

النتيجة

الكلمة نفسها تشير إلى المجموعة في جملة وإلى العنصر في أخرى. ولا يُستنتَج المعنى إلا من السياق، ولا سيما من التوافق في العدد.

التوصية

في التحرير المهني، تُحفَظ عيّنة للمعنى الإحصائي وتُستعمَل ملاحظة للصف. وعند القراءة، لا يُفترَض المعنى أبداً.

تعريف — السجل (record)

التعريف الدقيق

مجموعة مهيكلة من الحقول تشكّل وحدة تخزين ووصول في نظام إدارة بيانات. وفي النموذج العلائقي، يقابل السجل صفّاً في علاقة، أي صفاً في جدول.

ترجمة إلى اللغة اليومية

بطاقة: الوحدة التي يقرأها النظام أو يكتبها أو يحذفها دفعة واحدة.

نقطة انتباه

السجل بمعنى نظام المعلومات لا يتطابق بالضرورة مع الملاحظة بمعنى النمذجة. فجدول معاملات يتضمّن سجلاً لكل معاملة؛ وإذا كانت وحدة التحليل المعتمَدة هي الزبون، تجمع ملاحظة عدة سجلات. وعدم التطابق هذا هو موضوع الفقرة 2.3.

تعريف — نقطة البيانات (data point)

التعريف الدقيق

تمثيل ملاحظة كنقطة في فضاء بـ p بعداً، كل إحداثي يقابل قيمة متغير.

أصل المصطلح

المفردات الهندسية للتعلّم الإحصائي، المستعمَلة عندما ينصبّ الاستدلال على مسافات أو جوارات أو حدود قرار.

نقطة انتباه

في استعمال متراخٍ، تشير data point أحياناً إلى قيمة معزولة، أي خلية لا صفاً. وهذا الاستعمال غير سليم في سياق تقني.

2.2 جدول الترجمة

المصطلح	التخصص الأصلي	ما يشير إليه	سياق الاستعمال المميّز
ملاحظة	الإحصاء	صف	تحرير دقيق، مقالات منهجية
فرد	الإحصاء	صف	إحصاء وصفي، تحليل بيانات فرنسي
حالة، instance	المعلوماتية، الذكاء الاصطناعي الرمزي	صف	أدبيات التعلّم الآلي
عيّنة، sample	الإنجليزية، مكتبات ML	صف (معنى ML) أو مجموعة (معنى إحصائي)	وثائق scikit-learn، خطة معاينة
سجل، record	قواعد البيانات	صف جدول	هندسة البيانات، SQL
صف، row	التمثيل الجدولي	صف	معالجة ملفات وDataFrames
مثال، example	التعلّم المُوجَّه	صف موسوم	وصف مجموعة التدريب
نقطة بيانات، data point	هندسة التعلّم	صف منظور إليه كنقطة	استدلال على مسافات وجوارات

المصطلحات الثمانية تشير إلى الكائن نفسه في سياق هذا المقرر. وتعايشها واقعة أدبية، لا تمييزاً جوهرياً. والغموض الحقيقي الوحيد يتعلق بـ عيّنة.

2.3 وحدة التحليل

اختيار ما يمثّله الصف ليس خاصية معطاة لمجموعة البيانات: إنه قرار نمذجة، يُتَّخذ مسبقاً، ويحدد السؤال الذي سيتمكن النموذج من الإجابة عنه.

تعريف — وحدة التحليل (unité d'analyse، وحدة إحصائية)

التعريف الدقيق

الكيان المرجعي الذي تنصبّ عليه القياس وتتعلق به الاستدلال. وهي تحدد ما يعدّه n وتحدد مدى الاستنتاجات المستخرَجة من النموذج.

الصياغة التشغيلية

تجيب وحدة التحليل عن السؤال: على أي شيء ينصبّ التنبؤ؟ سينتج النموذج قيمة لكل وحدة تحليل، لا أكثر ولا أقل.

ترجمة إلى اللغة اليومية

ما يمثّله الصف بالضبط.

نقطة انتباه

يجب أن تتطابق وحدة التحليل مع وحدة القرار المهني. فنموذج وحدته المعاملة لا يجيب مباشرة عن سؤال «هل هذا الزبون في خطر». والاختلاف يفرض خطوة تجميع صريحة، بفرضياتها الخاصة.

المسألة المطروحة	تقابل الملاحظة	رتبة حجم n
التنبؤ بإلغاء اشتراك	زبون، في تاريخ ملاحظة معطى	عدد الزبائن النشطين
التنبؤ بسعر بيع مسكن	معاملة عقارية	عدد البيوع التاريخية
كشف معاملة احتيالية	معاملة ببطاقة	عدد المعاملات المعالَجة
التنبؤ بتعطل معدّات	معدّات ملاحَظة على نافذة زمنية	عدد المعدّات × عدد النوافذ
تصنيف رسالة كغير مرغوب فيها	رسالة	عدد رسائل المدونة
تقدير طلب منتج	زوج منتج × يوم	عدد المنتجات × عدد الأيام
تشخيص مرض على تصوير	فحص لمريض	عدد الفحوصات
التنبؤ بمعدّل تحويل حملة	حملة	عدد الحملات المنفَّذة

ملاحظة على الصف الأخير: غالباً ما يُعدّ عدد الحملات التي تنفذها مؤسسة بالعشرات. فتحدد وحدة التحليل مباشرة نظام الحجم في الفقرة 1.5، وبالتالي جدوى المشروع. والانتقال من الحملة إلى الاتصال الفردي ينقل n من 40 إلى 400 000. وليست الدراسة نفسها.

فخ — الكيان المكرَّر على عدة صفوف

الوضع

تعرض مجموعة بيانات طلبات صفاً لكل طلب. والزبون نفسه الذي قدّم عدة طلبات يشغل عدة صفوف.

commande_id	client_id	date	montant	canal	retour_produit
CMD-1001	C-042	2025-01-14	89,90	web	0
CMD-1002	C-317	2025-01-14	240,00	magasin	0
CMD-1003	C-042	2025-02-02	55,00	web	1
CMD-1004	C-042	2025-02-19	132,40	web	1
CMD-1005	C-988	2025-02-20	17,50	web	0
CMD-1006	C-317	2025-03-03	310,00	magasin	0

النتيجة على فصل البيانات

يضع فصل عشوائي، باحتمال مرتفع، بعض طلبات C-042 في التدريب وأخرى في الاختبار. فيُقيَّم النموذج عندئذ على زبون تعلّم خصوصياته مسبقاً: تفضيل القناة، متوسط السلة، الميل للإرجاع. ويتضمّن الأداء المقيس مكوّناً من حفظ كيانات سبق رؤيتها ويبالغ في تقدير الأداء الحقيقي على زبائن مجهولين، وهو وحده ذو الصلة إذا كان الاستخدام المستهدَف يخص زبائن جدداً.

الجواب المنهجي

يجب أن يتم الفصل حسب المجموعة: تُسنَد كل صفوف الزبون نفسه إلى الجانب نفسه من القسمة. والآلية المقابلة هي GroupKFold، المعالَجة في الفصل 027، ومتغير التجميع هنا client_id.

نقطة انتباه

يعطي هذا القيد لـ client_id وضعاً مزدوجاً: يجب إقصاء العمود من المتغيرات التوضيحية (الفقرة 3.4) مع الإبقاء عليه في مجموعة البيانات ليخدم كمفتاح تجميع. وحذفه مبكراً يجعل الفصل الصحيح مستحيلاً.

حالات قريبة

مريض بعدة استشارات، معدّات بعدة قراءات، منشأة بعدة أشهر نشاط، صورة بعدة موسمين.

تشبيه — وحدة العدّ

يعلن مسؤول لوجستي أنه عالج 12 000 وحدة الشهر الماضي. والمعلومة غير قابلة للاستغلال ما لم تُسمَّ الوحدة: 12 000 قطعة، 12 000 طرد، 12 000 منصة أو 12 000 طلب تشير إلى أحجام نشاط تفصل بينها عدة رتب أسية.

والإعلان «تتضمّن مجموعة البيانات 50 000 صف» بلا تحديد ما هو الصف يندرج تحت اللاحتمية نفسها. وسؤال «50 000 ماذا؟» هو الأول الواجب طرحه، وجوابه يشترط الحجم المتاح فعلاً، واستراتيجية الفصل ومدى الاستنتاجات.

سؤال يُفحَص منهجياً، قبل أي معالجة:

ماذا يمثّل صف مجموعة البيانات هذه بالضبط، وهل يمكن لكيان واحد من العالم الحقيقي أن يظهر فيها عدة مرات؟

ويشترط الجواب حساب n الفعلي، واستراتيجية الفصل (الفصلان 026 و027)، واحتمال تسرّب عبر الكيان (الفصل 028) والتفسير المهني للتنبؤات.

3. المتغير: الاصطلاح والأدوار الوظيفية

3.1 التسميات المتنافسة

تعريف — المتغير (variable)

التعريف الدقيق

مقدار قابل لأخذ قيم مختلفة حسب الملاحظة المعتبَرة، ويشكّل بُعد وصف مشتركاً لمجموع الملاحظات.

أصل المصطلح

الإحصاء. والمصطلح يقابل ثابتاً: عمود كل قيمه متطابقة ليس متغيراً بالمعنى التام.

ترجمة إلى اللغة اليومية

عمود: معلومة مرصودة بالطريقة نفسها على كل الحالات.

نقطة انتباه

عمود تباينه معدوم هو عمود شكلياً لكنه بلا أي قدرة تمييزية. وكشفه جزء من الفحص الأولي.

تعريف — السمة، الحقل، البعد، الخاصية، feature

السمة (attribute) — المعلوماتية وتنقيب البيانات. خاصية وصفية لحالة. المصطلح السائد في أدبيات data mining وفي مجموعات البيانات الأكاديمية المرجعية.

الحقل (field) — قواعد البيانات. مكوّن مسمّى ومنمَّط لسجل. والمصطلح لا ينفصل عن مفهوم المخطط: للحقل اسم ونوع معلَن وقيوده التكاملية.

البعد — هندسة التعلّم. محور فضاء التمثيل. صديق زائف: في النمذجة القرارية، تشير dimension إلى جدول محاور تحليل، بمعنى مختلف تماماً.

الخاصية — الترجمة الفرنسية المعيارية لـ feature، المعتمَدة في المنشورات الفرنكوفونية ولدى مكتب اللغة الفرنسية في كيبيك.

Feature — أنجليسية سائدة في الممارسة. وفي استعمالها الضيق، تشير إلى متغير مقدَّم فعلاً للنموذج كمدخل، بعد الانتقاء والتحويل. وهذا الاستعمال الضيق هو المعتمَد هنا.

نقطة انتباه

متغير وعمود مصطلحان وصفيان: يصفان ما هو حاضر في الملف. وfeature مصطلح وظيفي: يصف دوراً يسنده واضع النموذج. والخلط بينهما موضوع الفقرة 3.3.

المصطلح	التخصص الأصلي	الدلالة الخاصة	السجل
متغير	الإحصاء	محايد، وصفي	تحرير دقيق
سمة	تنقيب البيانات، الذكاء الاصطناعي	خاصية حالة	أدبيات أكاديمية
حقل	قواعد البيانات	مكوّن منمَّط لمخطط	هندسة البيانات
عمود	التمثيل الجدولي	بنيوي صرف	معالجة ملفات
بُعد	الهندسة، القرار	محور فضاء التمثيل	استدلال هندسي
خاصية	اصطلاح معياري	ترجمة feature	وثائق فرنكوفونية
Feature	أنجليسية مهنية	متغير مقدَّم للنموذج	ممارسة شائعة
مُنبئ، مُنحدِر	الإحصاء الاستدلالي	متغير توضيحي لنموذج	اقتصاد قياسي، إحصاء حيوي

3.2 الأدوار الوظيفية الأربعة للعمود

الدور	معيار التحديد	المعالجة	الإحالة
معرّف	قيمة فريدة أو شبه فريدة لكل كيان، بلا معنى مهني جوهري	إقصاء من المتغيرات التوضيحية، الإبقاء للتتبّع والتجميع	الفقرة 3.4، الفصل 027
متغير توضيحي	متاح ومرصود في اللحظة التي يجب فيها إصدار التنبؤ	تقديمه للنموذج، بعد الترميز والتحويل	الفصول 006، 022، 024
متغير هدف	المقدار الذي يجب أن يقدّره النموذج	عزله في y، وعدم تركه أبداً في X	الفصل 006
متغير تسرّب	مرصود بعد الحدث المراد التنبؤ به أو بسببه	إقصاء بلا استثناء	الفصل 028

3.3 العمود ليس بالضرورة متغيراً توضيحياً

ملف من 14 عموداً لا يوفّر 14 متغيراً توضيحياً. إنه يوفّر 14 عموداً يبقى دور كل منها قيد التحديد، واحداً واحداً. وعلى مقتطف من ملف انقطاع خدمة اتصالات:

العمود	الدور	التبرير
`client_id`	معرّف	يسمّي الكيان، بلا محتوى توضيحي
`anciennete_mois`	متغير توضيحي	معروف قبل الحدث، حامل معلومة
`type_forfait`	متغير توضيحي	معروف قبل الحدث
`nb_appels_support`	متغير توضيحي	معروف قبل الحدث
`a_resilie`	متغير هدف	المقدار المراد التنبؤ به
`date_resiliation`	متغير تسرّب	لا يُرصَد إلا إذا وقع الإلغاء
`motif_resiliation`	متغير تسرّب	يُجمَع عند الإلغاء
`agent_retention_assigne`	متغير تسرّب	يُسنَد كرد فعل على إلغاء معلَن

من ثمانية أعمدة، ثلاثة فقط متغيرات توضيحية. والأعمدة الثلاثة للتسرّب كانت ستنتج، لو أُبقي عليها، نموذجاً يعرض أداء شبه كامل في التحقّق وبلا أي قيمة في الإنتاج: إنها ترمّز الجواب. وتُعالَج هذه الآلية في الفصل 028.

معيار تشغيلي وحيد، قابل للتطبيق على كل عمود:

هل هذه القيمة معروفة ومرصودة في اللحظة الدقيقة التي يجب فيها أن يصدر النموذج تنبؤه؟

جواب سالب يُقصي العمود، أيّاً كان ارتباطه بالهدف. والارتباط المرتفع هو في الواقع العَرَض الأكثر شيوعاً للتسرّب، لا ضمانة جودة.

3.4 حالة المعرّف

تعريف — المعرّف (identifiant)

التعريف الدقيق

سمة وظيفتها تسمية كيان تسمية أحادية داخل مجموعة، بمعزل عن خصائص هذا الكيان. وفي النموذج العلائقي، يقابل مفتاحاً أساسياً.

الخاصية المميّزة

قيمة المعرّف اعتباطية بالبناء. وتنتج عن اصطلاح إسناد — تسلسل، ختم زمني، سحب عشوائي — لا عن قياس الظاهرة المدروسة.

ترجمة إلى اللغة اليومية

رقم ملف: يتيح إيجاد الملف، ولا يقول شيئاً عن محتواه.

يجب إقصاء المعرّف من المتغيرات التوضيحية لثلاثة أسباب تتراكم.

غياب محتوى إعلامي. القيمة لا تقيس شيئاً. ولا يمكن لأي انتظام يربط المعرّف بالهدف أن يكون له أساس سببي.

ارتباط مضلّل. غالباً ما يتبع الإسناد ترتيباً زمنياً: المعرّفات الضعيفة تسمّي الكيانات الأقدم. فيكتشف النموذج عندئذ علاقة إحصائية حقيقية بين المعرّف والهدف، ليست إلا انعكاساً للأقدمية. وتُلتقَط العلاقة بوسيط اعتباطي بدل المتغير الذي يحملها حقاً.

الحفظ. يتيح معرّف شبه فريد لنموذج ذي قدرة مرتفعة عزل كل ملاحظة في ورقة متميّزة. فيحفظ النموذج مجموعة التدريب بدل استقراء قاعدة: وهذا فرط التخصيص (overfitting)، المعالَج في الفصل 031.

دقة — المعرّف الحامل لمعلومة مشروعة

بعض المعرّفات ليست اعتباطية: بنيتها ترمّز معلومة مهنية حقيقية.

المعرّف	المعلومة المرمَّزة	المعالجة الصحيحة
`NUM-2019-PAR-00471`	سنة الإنشاء، الوكالة الأصلية	استخراج `annee_creation` و`agence`
رقم تسلسلي `AX7-2021W34-0912`	السلسلة، أسبوع التصنيع	استخراج `gamme` و`semaine_fabrication`
مرجع منتج `EL-TV-55-OLED`	القسم، الفئة، المقاس	استخراج `rayon`، `categorie`، `taille`
IBAN	البلد، المؤسسة المصرفية	استخراج `pays` و`code_banque`

المبدأ

تُستخرَج المعلومة في متغيرات صريحة ومنمَّطة؛ ثم يُقصَى المعرّف الخام.

التبرير

المعلومة المستخرَجة قابلة للتفسير: متغير agence يُحلَّل، وشذرة سلسلة لا تُحلَّل. وهي متينة: تغيّر صيغة الترقيم يُبطل الاستغلال المباشر للمعرّف، لا المتغير المستخرَج. وهي قابلة للتحقّق: قاعدة الاستخراج صريحة وقابلة للتدقيق.

نقطة انتباه

الإبقاء على المعرّف الخام إضافة إلى المتغيرات المستخرَجة يعيد إدخال المخاطر الثلاثة أعلاه. والاستخراج يحل محل المعرّف، ولا يُضاف إليه.

4. نمطية المتغيرات

يحدد نوع المتغير الإحصاءات الوصفية المشروعة، والتحويلات القابلة للتطبيق والترميز المطلوب. وتصنيف كل عمود شرط مسبق لكل نمذجة.

4.1 المتغيرات العددية

تعريف — المتغير العددي المتصل

التعريف الدقيق

متغير كمّي يمكنه، نظرياً على الأقل، أخذ أي قيمة من فترة في مجموعة الأعداد الحقيقية. وبين قيمتين مرصودتين، توجد دائماً قيمة وسيطة جائزة.

اختبار ذهني للتعرّف

هل لقيمة وسيطة بين قيمتين مرصودتين معنى؟ بين 1,72 م و1,73 م، القيمة 1,7248 م جائزة: المتغير متصل.

أمثلة

سعر، أجر، حرارة، وزن، طول، مدة، مسافة، تركيز.

النتيجة على المعالجة

قابل للاستعمال مباشرة من معظم الخوارزميات. حسّاس للمقياس في الطرائق القائمة على مسافات أو على نزول تدرّجي، وهو ما يفرض تطبيعاً أو توحيداً (الفصل 023). وطرائق الأشجار غير حسّاسة لذلك.

نقطة انتباه

القياس دائماً مقرَّب بدقة الأداة. والاتصال خاصية للظاهرة، لا للرصد.

تعريف — المتغير العددي المتقطع

التعريف الدقيق

متغير كمّي مجموعة قيمه الجائزة قابلة للعد، صادرة عموماً عن عدّ.

اختبار ذهني للتعرّف

هل تنتج القيمة عن عدّ، والقيم الوسيطة بلا معنى؟ مسكن بـ 2,5 غرفة لا يوجد.

أمثلة

عدد الغرف، الأطفال، الطلبات، مكالمات الدعم، الحوادث.

النتيجة على المعالجة

يُعالَج كعددي في الغالبية العظمى من الحالات. ومتغير عدّ بعدد صيغ منخفض جداً يمكن أيضاً معالجته كترتيبي؛ والخيار يندرج تحت التجريب.

نقطة انتباه

غالباً ما تعرض متغيرات العدّ توزيعاً شديد الالتواء مع كتلة عند الصفر. وتحويل log(1 + x) غالباً ما يكون مفيداً للنماذج الخطية.

4.2 المتغيرات الفئوية

تعريف — المتغير الفئوي الاسمي

التعريف الدقيق

متغير نوعي تشكّل صيغه أصنافاً شاملة ومتنافية، بلا علاقة ترتيب بينها.

اختبار ذهني للتعرّف

هل لترتيب الصيغ من الأدنى إلى الأعلى معنى؟ إذا كان الجواب سالباً، فالمتغير اسمي: باريس ليست أعلى ولا أدنى من ليون.

أمثلة

مدينة، بلد، علامة، لون، قطاع نشاط، نوع عقد، قناة اكتساب، فصيلة دم.

النتيجة على المعالجة

ترميز إلزامي قبل التقديم لخوارزمية. وترميز one-hot هو المرجع للنماذج الخطية؛ وهو مكلف عند ارتفاع عدد الصيغ. والترميز الترتيبي محظور، لأنه يُدخل ترتيباً غير موجود (الفصل 022).

نقطة انتباه

عدد الصيغ هو العامل الحاسم. فمتغير بخمس صيغ ومتغير بخمسة عشر ألف صيغة يستدعيان معالجتين مختلفتين.

تعريف — المتغير الفئوي الترتيبي

التعريف الدقيق

متغير نوعي صيغه مزوَّدة بعلاقة ترتيب كلي، من دون أن يكون الفرق بين صيغتين متتاليتين قابلاً للقياس ولا مفترَضاً ثابتاً.

اختبار ذهني للتعرّف

هل للترتيب معنى، في حين أن الفرق بين مستويين متتاليين غير قابل للقياس؟ «غير راضٍ < محايد < راضٍ» يُرتَّب، لكن الفرقين غير قابلين للمقارنة عددياً.

أمثلة

مستوى رضا، مستوى شهادة، فئة طاقية، شريحة منتج، مرحلة مرض، تقييم وكالة تصنيف.

النتيجة على المعالجة

ترميز ترتيبي يحترم الترتيب المهني، مع تعريف التقابل صيغة–قيمة صراحة وعدم استنتاجه أبداً من الترتيب الأبجدي.

نقطة انتباه

حساب متوسط على ترميز ترتيبي يفترض تساوي مسافات المستويات، وهي فرضية يستبعدها تعريف الترتيبية نفسه. فمتوسط رضا 2,7 تسهيل إداري، لا مقدار إحصائي مؤسَّس.

تعريف — المتغير الثنائي (dichotomique)

التعريف الدقيق

متغير فئوي بصيغتين بالضبط. وهو اسمي أو ترتيبي حسب المجال، والتمييز بلا أثر عملي عند صيغتين.

اختبار ذهني للتعرّف

هل يقبل المتغير قيمتين ممكنتين بالضبط، باستثناء القيم الناقصة؟

أمثلة

زبون نشط، اشتراك في خيار، وجود مصعد، نتيجة اختبار.

النتيجة على المعالجة

ترميز مباشر 0 / 1، بلا one-hot. ويجب توثيق الاصطلاح المعتمَد: 1 يشير اصطلاحاً إلى الصيغة ذات الاهتمام.

نقطة انتباه

عندما يكون متغير ثنائي هدف تصنيف، يحدد ترميز الفئة الموجبة تفسير كل المقاييس غير المتماثلة — الدقة، الاستدعاء، PR-AUC. وعكس الاصطلاح يُبطل قراءة النتائج (الفصلان 053 و064).

4.3 متغيرات تتطلب تحويلاً مسبقاً

تعريف — المتغير الزمني

التعريف الدقيق

متغير تشير قيمه إلى لحظات أو فترات على محور زمني، مزوَّد بعلاقة ترتيب ومترية فرق.

اختبار ذهني للتعرّف

هل تشير القيمة إلى لحظة، وهل للفرق بين قيمتين معنى بوحدات زمن؟

أمثلة

تاريخ اشتراك، ختم زمني لمعاملة، تاريخ ميلاد، تاريخ آخر اتصال.

النتيجة على المعالجة

غير قابل للاستغلال كما هو. وتُعبَّأ عائلتان من التحويلات: التفكيك إلى مكوّنات تقويمية (سنة، شهر، يوم الأسبوع، ساعة، مؤشر عطلة نهاية أسبوع أو يوم عطلة) والتحويل إلى مدة نسبية إلى نقطة مرجعية (أقدمية بالأيام، مهلة منذ آخر حدث، زمن متبقٍ قبل استحقاق). وتندرج هذه الإنشاءات تحت هندسة المتغيرات (الفصل 024).

نقطة انتباه

وجود متغير زمني يشير إلى اعتماد زمني محتمل. وإذا كان النموذج موجَّهاً للتنبؤ بالمستقبل انطلاقاً من الماضي، فيجب أن يكون فصل التدريب / الاختبار زمنياً لا عشوائياً (الفصل 027). ونموذج مدرَّب على بيانات لاحقة لبيانات الاختبار يُتحقَّق منه في شروط مستحيلة في الإنتاج.

تعريف — المتغير النصي

التعريف الدقيق

متغير قيمه سلاسل محارف بلغة طبيعية، بطول متغير وبنية غير مقيَّدة.

اختبار ذهني للتعرّف

هل المحتوى محرَّر بحرية، بلا مجموعة صيغ منتهية؟ تعليق زبون نصي؛ ورمز بلد بثلاثة أحرف فئوي وإن خُزِن أيضاً كسلسلة.

أمثلة

تعليق تقييم، وصف إعلان، موضوع رسالة، نص حرفي لاستطلاع، سبب شكوى مدخَل بحرية.

النتيجة على المعالجة

تحويل إلى متجه إلزامي: عدّ ورود، ترجيح TF-IDF، أو تمثيل متجهي كثيف. ويتناول الفصل 042 تصنيف النص بطرائق بايزية؛ والمعالجة المعمَّقة للغة الطبيعية تخرج عن نطاق هذا المقرر.

نقطة انتباه

عمود نصي بعدد صيغ منخفض هو في الواقع متغير فئوي سيئ التنميط. ومعيار التمييز هو عدد القيم المتميّزة منسوباً إلى عدد الملاحظات: df["colonne"].nunique().

4.4 مقياس القياس عند Stevens

النمطية السابقة تشغيلية. وهي تستند إلى إطار نظري اقترحه عالم النفس الفيزيائي S. S. Stevens سنة 1946، يصنّف مقاييس القياس حسب العمليات الرياضية التي تجيزها.

تعريف — مقاييس القياس الأربعة (Stevens، 1946)

المقياس الاسمي — القيم ليست إلا تسميات. والمساواة وحدها معرَّفة؛ ولا عملية حسابية لها معنى. نزعة مركزية مشروعة: المنوال.

المقياس الترتيبي — القيم مرتَّبة، لكن الفروق غير قابلة للتفسير. والمساواة والمقارنة معرَّفتان. مؤشرات مشروعة: المنوال، الوسيط، المكمّلات.

مقياس الفترة — الفروق قابلة للتفسير وثابتة، لكن الصفر اصطلاحي. للفرق معنى، وللنسبة لا. المثال المعياري: الحرارة بالدرجة المئوية، 20 °C ليست أدفأ مرتين من 10 °C. مؤشرات مشروعة: المنوال، الوسيط، المتوسط، الانحراف المعياري.

مقياس النسبة — الصفر مطلق ويعني غياب المقدار. والفروق والنسب كلاهما قابل للتفسير: 40 € هي فعلاً ضعف 20 €. وكل العمليات مشروعة، بما فيها المتوسط الهندسي ومعامل التباين.

مدى الإطار

توفّر تصنيف Stevens المعيار الدقيق لمشروعية الإحصاءات. وتقابله النمطية التشغيلية للفقرة 4، إذ تُجمَع الفترة والنسبة تحت تسمية عددي لأن الخوارزميات المعتادة لا تميّز بينهما.

نقطة انتباه

تعرّض هذا الإطار لانتقادات، ولا سيما من Velleman وWilkinson (1993)، اللذين يعترضان على تطبيقه الآلي لحظر بعض التحليلات. ويبقى المرجع التربوي وأفضل حاجز متاح ضد حسابات بلا معنى.

المقياس	العلاقات المعرَّفة	الصفر	إحصاءات مشروعة	مثال
اسمي	مساواة	بلا موضوع	منوال، أعداد، كي-دو	مدينة، علامة
ترتيبي	مساواة، ترتيب	بلا موضوع	منوال، وسيط، مكمّلات، ارتباط رتب	فئة طاقية
فترة	مساواة، ترتيب، فرق	اصطلاحي	متوسط، انحراف معياري، ارتباط خطي	حرارة مئوية، سنة
نسبة	مساواة، ترتيب، فرق، نسبة	مطلق	كلها، بما فيها المتوسط الهندسي	سعر، وزن، مدة

4.5 الأصدقاء الزائفون: عددية في الظاهر، فئوية في الطبيعة

عمود مخزَّن كعدد صحيح ليس بالضرورة متغيراً عددياً. والمعيار الحاسم ليس نوع التخزين بل طبيعة المقدار: هل للعمليات الحسابية معنى مهني؟

العمود	نوع التخزين	الطبيعة الحقيقية	اختبار الإقصاء
رمز بريدي	عدد صحيح	فئوي اسمي	متوسط رمزين بريديين لا يسمّي أي بلدية
رمز جهة، رمز محافظة	عدد صحيح	فئوي اسمي	الرقم يرتّب أبجدياً، لا جغرافياً
رمز منتج، رمز متجر	عدد صحيح	فئوي اسمي	لا علاقة ترتيب مهني بين رمزين
رقم ربع (1 إلى 4)	عدد صحيح	ترتيبي دوري	الربع 4 يسبق الربع 1 من السنة التالية
تقييم (1 إلى 5)	عدد صحيح	ترتيبي	الفرق بين 1 و2 لا يساوي الفرق بين 4 و5
معرّف زبون عددي	عدد صحيح	معرّف	بلا معنى مهني (الفقرة 3.4)
رمز NAF، رمز CSP	سلسلة أو عدد صحيح	اسمي هرمي	تسمية بمستويات، تُستغَل حسب المستوى
سنة بناء	عدد صحيح	عددي فترة	الحالة المعكوسة: للفرق معنى، للنسبة لا

نتيجة خطأ تصنيف. معالجة رمز بريدي كعددي تقود شجرة قرار إلى إنتاج تجزئات من نوع «رمز بريدي أدنى من 44300»، تجمع بلديات بلا أي قرب جغرافي ولا اجتماعي اقتصادي: يتعلّم النموذج البنية الاعتباطية للتسمية. ويفترض نموذج خطي من جهته علاقة رتيبة بين رقم البلدية والهدف، وهي فرضية بلا أساس.

نقطة انتباه: التحويل الصحيح لرمز بريدي لا يقوم بالضرورة على ترميز one-hot لآلاف الصيغ. والمقاربات المعتادة هي التجميع عند مستوى أعلى (محافظة، مجال حضري)، وضمّ متغيرات اجتماعية اقتصادية إقليمية، أو الترميز بالهدف مع احتياطات الاستعمال ضد التسرّب (الفصلان 022 و028).

4.6 جدول تلخيصي للأنواع

النوع	الاختبار الذهني	أمثلة	الترميز المطلوب	الإحالة
عددي متصل	هل لقيمة وسيطة معنى؟	سعر، أجر، حرارة، مدة	لا شيء؛ تطبيع حسب الخوارزمية	الفصل 023
عددي متقطع	هل هو عدّ؟	عدد غرف، عدد مكالمات	لا شيء؛ تحويل لوغاريتمي إن كان الالتواء شديداً	الفصل 024
فئوي اسمي	هل لترتيب الصيغ معنى؟ لا	مدينة، علامة، قطاع	One-hot؛ ترميز بالهدف عند ارتفاع عدد الصيغ	الفصل 022
فئوي ترتيبي	هل للترتيب معنى، بلا فرق قابل للقياس؟	رضا، شهادة، فئة طاقية	ترتيبي، بتقابل صريح	الفصل 022
ثنائي	صيغتان بالضبط؟	نعم / لا، نشط / غير نشط	0 / 1، اصطلاح موثَّق	الفصل 022
زمني	هل يشير إلى لحظة؟	تاريخ، ختم زمني	تفكيك تقويمي ومدد نسبية	الفصلان 024 و027
نصي	محتوى محرَّر بحرية؟	تعليق، وصف	تحويل إلى متجه: عدّ، TF-IDF، تضمين	الفصل 042

5. بروتوكول الفحص الأولي

تُجرى ست عمليات منهجياً، بهذا الترتيب. والترتيب ليس عديم الأهمية: فالأبعاد تشترط قراءة الأنواع، والأنواع تشترط قراءة الإحصاءات، وتوزيع الهدف يشترط اختيار المقاييس.

المخرجات أدناه تتعلق بمجموعة بيانات انقطاع خدمة اتصالات تتضمّن 10 000 ملاحظة و14 عموداً.

5.1 الأبعاد

python

import pandas as pd

df = pd.read_csv("attrition_telecom.csv")
print(df.shape)

(10000, 14)

التفسير: 10 000 ملاحظة، 14 عموداً. نظام الحجم اسمي بمعنى الفقرة 1.5، بنسبة n / p مواتية. ويبقى هذا الرقم قيد إعادة التأهيل بعد تحقّقين: عدد الملاحظات المتميّزة فعلاً (الفقرة 5.6) وعدد الفئة الأقلية (الفقرة 5.5).

5.2 الصفوف الأولى

python

pd.set_option("display.max_columns", None)
print(df.head())

  client_id  age region  anciennete_mois type_forfait engagement  \
0   C-00001   34    IDF                8       Mobile   Sans_eng
1   C-00002   67   PACA               45        Fibre    24_mois
2   C-00003   29    ARA                2       Mobile   Sans_eng
3   C-00004   52    IDF               61     Fibre+TV    24_mois
4   C-00005   41    OCC               17        Fibre    12_mois

  facture_mensuelle  data_go_moyen  nb_appels_support  satisfaction  \
0             29,90            8.4                  0           4.0
1             64,90            2.1                  3           2.0
2             19,90           14.7                  1           NaN
3             89,90           31.5                  0           5.0
4             49,90            6.8                  7           1.0

   revenu_estime mode_paiement date_souscription  a_resilie
0         1850.0   Prelevement        2024-06-12          0
1         3120.0   Prelevement        2021-09-03          0
2            NaN         Carte        2024-12-20          1
3         4470.0   Prelevement        2020-02-28          0
4         2260.0      Virement        2024-01-15          1

التفسير: القراءة تصادق على البنية وتكشف شذوذين في الصيغة. فعمود facture_mensuelle يستعمل الفاصلة فاصلاً عشرياً، وهو ما يمنع الاستنتاج العددي. ويبقى عمود date_souscription سلسلة محارف ما لم يُطلَب تحويل.

نقطة انتباه: يعرض df.head() الصفوف الخمسة الأولى من الملف، وهي ليست عيّنة عشوائية. وإذا كان الملف مرتَّباً حسب التاريخ أو الجهة، فهذه الصفوف غير تمثيلية. وdf.sample(5, random_state=0) يكمّل الفحص بفائدة.

5.3 المخطط والأنواع والاكتمال

python

df.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 10000 entries, 0 to 9999
Data columns (total 14 columns):
 #   Column             Non-Null Count  Dtype
---  ------             --------------  -----
 0   client_id          10000 non-null  object
 1   age                10000 non-null  int64
 2   region             10000 non-null  object
 3   anciennete_mois    10000 non-null  int64
 4   type_forfait       10000 non-null  object
 5   engagement          9964 non-null  object
 6   facture_mensuelle  10000 non-null  object
 7   data_go_moyen       8791 non-null  float64
 8   nb_appels_support  10000 non-null  int64
 9   satisfaction        7412 non-null  float64
 10  revenu_estime       9503 non-null  float64
 11  mode_paiement      10000 non-null  object
 12  date_souscription  10000 non-null  object
 13  a_resilie          10000 non-null  int64
dtypes: float64(3), int64(4), object(7)
memory usage: 1.1+ MB

القراءة الأولى — الاكتمال. كل قيمة Non-Null Count أدنى من 10 000 تشير إلى قيم ناقصة: engagement (36)، data_go_moyen (1 209)، satisfaction (2 588)، revenu_estime (497). ويحدد الحجم الاستراتيجية: عمود بـ 26 % ناقص لا يُعالَج كعمود بـ 0,4 % (الفصل 018).

القراءة الثانية — الأنواع. يشير النوع object إلى عمود مخزَّن كسلسلة محارف. وتتميّز ثلاث حالات.

العمود	النوع المستنتَج	النوع المتوقَّع	التشخيص
`client_id`، `region`، `type_forfait`، `engagement`، `mode_paiement`	object	object	صحيح: معرّف ومتغيرات فئوية
`facture_mensuelle`	object	float64	نوع مستنتَج سيئاً: فاصل عشري فاصلة
`date_souscription`	object	datetime64	نوع مستنتَج سيئاً: تحويل غير مطلوب

نقطة انتباه: نوع مستنتَج سيئاً يقصي العمود بصمت من الإحصاءات الوصفية والمعالجات العددية. فعمود facture_mensuelle، وهو مع ذلك من أكثر الأعمدة توضيحاً لظاهرة انقطاع، لن يظهر في df.describe() وسيُعالَج كمتغير فئوي بمئات الصيغ بترميز آلي. والأسباب المعتادة هي الفاصل العشري، ومسافات الآلاف، ورموز الوحدة وسلاسل N/A أو - أو inconnu.

python

df["facture_mensuelle"] = (
    df["facture_mensuelle"].str.replace(",", ".", regex=False).astype(float)
)
df["date_souscription"] = pd.to_datetime(df["date_souscription"])

5.4 الإحصاءات الوصفية

python

print(df.describe().round(2))

            age  anciennete_mois  data_go_moyen  nb_appels_support  \
count  10000.00         10000.00        8791.00           10000.00
mean      46.31            32.47          12.84               1.72
std       16.42            24.56           9.77               2.14
min       18.00             1.00           0.00               0.00
25%       33.00             9.00           5.60               0.00
50%       45.00            29.00          10.90               1.00
75%       58.00            55.00          18.20               3.00
max      142.00            72.00          94.30              21.00

       satisfaction  revenu_estime  a_resilie
count       7412.00        9503.00   10000.00
mean           3.41        2841.66       0.27
std            1.18        1420.33       0.44
min            1.00       -5000.00       0.00
25%            3.00        1950.00       0.00
50%            4.00        2680.00       0.00
75%            4.00        3520.00       1.00
max            5.00       18400.00       1.00

موضوع هذه العملية: كشف القيم المستحيلة، أي الواقعة خارج مجال التعريف المهني للمتغير. وليست هذه قيماً متطرفة بل أخطاء.

المعاينة	القيمة	التشخيص
`age` الأقصى	142	خارج المجال: خطأ إدخال، قيمة حارسة، أو تاريخ ميلاد سيئ الرصد
`revenu_estime` الأدنى	−5 000	خارج المجال: خطأ إشارة، أو رمز حارس محرَّف
`data_go_moyen` الأقصى	94,3	متطرف لكنه معقول: قيمة شاذة مشروعة، للفحص (الفصل 021)
`satisfaction` count	7 412	اكتمال جزئي: 26 % ناقص
`a_resilie` mean	0,27	متوسط متغير ثنائي هو نسبة الفئة الموجبة

نقطة انتباه على القيم الحارسة. القيم -1، 999، 9999، -9999، 0 على متغير موجب صرفاً وتواريخ 1 يناير 1900 رموز اصطلاحية تشير إلى غياب المعلومة في أنظمة موروثة كثيرة. ومعالجتها كقيم حقيقية تشوّه المتوسطات وتنشئ علاقات مصطنعة.

نقطة انتباه على المدى. لا يغطي df.describe() افتراضياً إلا الأعمدة العددية. وفحص الأعمدة الفئوية يتطلب df.describe(include="object")، الذي يعيد العدد وعدد الصيغ والصيغة الأكثر تواتراً. وعدد صيغ مرتفع بشكل غير طبيعي يكشف فيه معرّفاً غير معلَن كذلك، أو متغيراً نصياً سيئ التصنيف.

5.5 توزيع المتغير الهدف

هذا هو التحقّق ذو أفضل نسبة بين التكلفة والمعلومة. وهو يتطلب سطراً من الشفرة ويحدد نوع المسألة، واختيار المقاييس، واستراتيجية الفصل والنموذج المرجعي.

python

print(df["a_resilie"].value_counts(normalize=True).round(4))
print(df["a_resilie"].value_counts())

a_resilie
0    0.7347
1    0.2653
Name: proportion, dtype: float64

a_resilie
0    7347
1    2653
Name: count, dtype: int64

طبيعة المسألة. صيغتان: تصنيف ثنائي. وهدف متصل يندرج تحت الانحدار، وهدف بأكثر من صيغتين تحت تصنيف متعدد الفئات (الفصل 006).

مستوى الاختلال. نسبة 73 / 27 تشكّل اختلالاً معتدلاً، قابلاً للإدارة بفصل طبقي وترجيح الفئات.

النموذج المرجعي. مصنِّف يتنبأ منهجياً بالفئة الأغلبية يبلغ 73,47 % دقة بلا أي تعلّم. وكل أداء يُقارَن بهذه العتبة، لا بـ 50 %: نموذج يعرض 75 % يحقّق كسباً هامشياً بـ 1,5 نقطة.

العدد المفيد. تعدّ الفئة الموجبة 2 653 ملاحظة. وهذا العدد، لا 10 000، هو الذي يحدّ قدرة النموذج على توصيف حالات الإلغاء.

نسبة الأغلبية / الأقلية	التوصيف	النتيجة المنهجية
50 / 50 إلى 65 / 35	متوازن	لا معالجة خاصة؛ تبقى الدقة قابلة للتفسير
65 / 35 إلى 90 / 10	اختلال معتدل	فصل طبقي، ترجيح فئات، مقاييس حسب الفئة
90 / 10 إلى 99 / 1	اختلال قوي	الدقة مقصاة؛ PR-AUC، استدعاء، دقة موجبة؛ ضبط العتبة
أبعد من 99 / 1	اختلال متطرف	إعادة معاينة مؤطَّرة، تعلّم حسّاس للتكلفة، كشف شذوذ

يُطوَّر الاختلال في الفصل 050، واختيار المقاييس المرتبطة في الفصلين 053 و064، وضبط العتبة في الفصل 062.

نقطة انتباه: يتجاهل value_counts() افتراضياً القيم الناقصة. والاستدعاء df["a_resilie"].value_counts(dropna=False) ضروري: هدف مرصود جزئياً يشير إلى عيب في تكوين مجموعة البيانات، فهذه الملاحظات غير قابلة للاستغلال لا في التدريب ولا في التقييم.

5.6 القيم الناقصة والمكررات

python

manquants = df.isnull().sum()
manquants = manquants[manquants > 0].sort_values(ascending=False)
print(manquants)
print((manquants / len(df) * 100).round(2))

satisfaction     2588
data_go_moyen    1209
revenu_estime     497
engagement         36
dtype: int64

satisfaction     25.88
data_go_moyen    12.09
revenu_estime     4.97
engagement        0.36
dtype: float64

التفسير: النسبة أهم من العدد الخام. وتضع عتبة معتادة حول 5 % الحد الذي دونه يكون إسناد بسيط عموماً بلا أثر، وحول 40 إلى 50 % المستوى الذي بعده يجب التساؤل عن صلة العمود. وهذه قيم معالم، لا قواعد.

نقطة انتباه: غياب القيمة غالباً ما يكون حاملاً لمعلومة. فـ satisfaction غير المرصودة تشير إلى زبون لم يرد قط على استطلاع، وهو في ذاته إشارة سلوكية. وإنشاء مؤشر ثنائي satisfaction_manquante قبل الإسناد يحفظ هذه المعلومة (الفصل 018).

python

print("Lignes strictement dupliquées :", df.duplicated().sum())
print("Identifiants dupliqués :", df["client_id"].duplicated().sum())
print("Clients distincts :", df["client_id"].nunique())

Lignes strictement dupliquées : 0
Identifiants dupliqués : 143
Clients distincts : 9857

التفسير، وهذه أثقل نتيجة في الفحص كله. لا صف مكرراً بالكامل، وهو ما يستبعد فرضية خطأ ضمّ. في المقابل، يظهر 143 معرّفاً عدة مرات: تتضمّن المجموعة 9 857 زبوناً متميّزاً موصوفين بـ 10 000 صف.

فوحدة التحليل إذن ليست الزبون بالضبط. وتُفرَض ثلاثة أسئلة: هل تقابل هذه الصفوف عدة تواريخ ملاحظة للزبون نفسه، أم عقوداً متميّزة، أم عيباً في التوحيد؟ وحسب الجواب، يجب أن يتم الفصل حسب المجموعة (الفصل 027) وتنطبق الفقرة 2.3 بالكامل.

تعريف — المكرر الصارم والمكرر الوظيفي

المكرر الصارم

صفان متطابقان على كامل الأعمدة. الكشف: df.duplicated(). الأصل المعتاد: ضمّ متكرر، ربط سيئ التعددية، إعادة تحميل جزئية.

المكرر الوظيفي

صفان يسمّيان الكيان نفسه من العالم الحقيقي دون أن يكونا متطابقين، بسبب اختلاف حالة الأحرف أو المسافات أو الصيغة أو الختم الزمني. الكشف: df.duplicated(subset=[...]) على الأعمدة التي تشكّل المفتاح المهني.

النتيجة على النمذجة

مكرر صارم حاضر على جانبي فصل عشوائي يضمن تنبؤاً صحيحاً على ملاحظة الاختبار المقابلة، بالحفظ. والأداء المقيس مبالَغ فيه آلياً. وهذا شكل من التسرّب (الفصل 028).

نقطة انتباه

حذف المكررات ليس مبرَّراً منهجياً. فمعاملتان بالمبلغ نفسه، عند التاجر نفسه، في اليوم نفسه، يمكن أن تكونا أصليتين. والقرار يتطلب المفتاح المهني، لا هوية القيم وحدها.

5.7 قائمة تحكّم في 12 نقطة

قائمة تحكّم أول اتصال بمجموعة بيانات

  1.  ماذا يمثّل الصف بالضبط؟ صياغة الجواب
      في جملة كاملة، مصادَق عليها من المجال.
  2.  كم ملاحظة (n) وكم عموداً (p)؟
      هل نسبة n / p متوافقة مع طموح النموذج؟
  3.  هل يظهر الكيان نفسه على عدة صفوف؟
      التحقّق بـ nunique() على المفتاح المهني، لا duplicated() وحده.
  4.  أي عمود يشكّل المتغير الهدف، وهل هو
      مرصود بالكامل؟
  5.  ما توزيع الهدف؟ استنتاج نوع المسألة
      ومستوى الاختلال والنموذج المرجعي.
  6.  ما الدور الوظيفي لكل عمود: معرّف،
      متغير توضيحي، هدف، متغير تسرّب؟
  7.  ما نوع كل متغير، وهل يتطابق النوع المستنتَج عند
      القراءة مع الطبيعة الحقيقية للمقدار؟
  8.  أي أعمدة تعرض قيماً ناقصة، بأي نسبة،
      وهل النقص حامل لمعلومة؟
  9.  هل القيم المتطرفة معقولة؟ تمييز القيمة
      المستحيلة عن القيمة الشاذة المشروعة.
  10. هل تُستعمَل قيم حارسة للإشارة إلى
      غياب المعلومة (-1، 999، 9999، 1900-01-01)؟
  11. هل يوجد مكوّن زمني، وهل يفرض
      فصلاً زمنياً بدل العشوائي؟
  12. هل سيكون كل متغير توضيحي متاحاً ومرصوداً
      في اللحظة التي يجب فيها إصدار التنبؤ؟

النقطة الثانية عشرة هي الأكثر إغفالاً. الإحدى عشرة الأولى تتعلق بالملف كما يُعرَض وتُتحقَّق بالشفرة. والثانية عشرة تتعلق بالعملية المهنية التي تنتج البيانات ولا تُتحقَّق إلا بحوار مع من يستغلون النظام.

يمكن أن يكون متغير مرصوداً تماماً في التاريخ وغير متاح لحظة التنبؤ: يُرصَد لاحقاً في العملية، أو يُحسَب في معالجة ليلية، أو يُدخِله مشغّل كرد فعل على الحدث نفسه الذي يجب أن يستبقه النموذج. ونموذج مبني على مثل هذه المتغيرات يعرض أداء ممتازاً في التحقّق ويصبح غير قابل للاستغلال في الإنتاج (الفصل 028).

6. دراسات حالة: ثلاث مجموعات بيانات موسومة

يعرض كل من الحالات الثلاث التالية مقتطفاً واقعياً، ثم التحليل المهيكَل الواجب إنتاجه قبل أي نمذجة.

6.1 انقطاع خدمة الاتصالات

client_id	age	anciennete_mois	type_forfait	engagement	facture_mensuelle	nb_appels_support	satisfaction	date_souscription	a_resilie
C-00001	34	8	Mobile	Sans_eng	29,90	0	4	2024-06-12	0
C-00002	67	45	Fibre	24_mois	64,90	3	2	2021-09-03	0
C-00003	29	2	Mobile	Sans_eng	19,90	1	—	2024-12-20	1
C-00004	52	61	Fibre+TV	24_mois	89,90	0	5	2020-02-28	0
C-00005	41	17	Fibre	12_mois	49,90	7	1	2024-01-15	1

عنصر التحليل	التحديد
ماذا تمثّل ملاحظة	زبون، موصوف في تاريخ الاستخراج، مع حالة إلغائه المرصودة على الاثني عشر شهراً التالية
معرّفات تُقصَى	`client_id`: يُسحَب من المتغيرات التوضيحية، ويُحفَظ للتتبّع ولتجميع محتمل
المتغير الهدف	`a_resilie`، ثنائي
نوع المسألة	تصنيف ثنائي، هدف مختل بنحو 27 % موجبات
المتغيرات التوضيحية	`age`، `anciennete_mois`، `type_forfait`، `engagement`، `facture_mensuelle`، `nb_appels_support`، `satisfaction`، إضافة إلى المتغيرات المشتقة من `date_souscription`
أنواع المتغيرات	متصل: `facture_mensuelle`. متقطعة: `anciennete_mois`، `nb_appels_support`، `age`. اسمي: `type_forfait`. ترتيبية: `engagement`، `satisfaction`. زمني: `date_souscription`
نقاط انتباه	`facture_mensuelle` سيئ التنميط (فاصل فاصلة). تعرض `satisfaction` 26 % ناقصاً غيابه إعلامي. `date_souscription` زائدة مع `anciennete_mois` ويجب تفكيكها. عمود `date_resiliation` في الملف المصدر متغير تسرّب، يُقصَى بلا استثناء

تعليق على ترتيبية engagement. الصيغ Sans_eng، 12_mois و24_mois مرتَّبة حسب مدة متزايدة؛ وترميز ترتيبي مبرَّر. نقطة انتباه: ترميز آلي قائم على الترتيب الأبجدي سينتج 12_mois < 24_mois < Sans_eng، واضعاً غياب الالتزام في أعلى مستوى. ويجب أن يكون التقابل صريحاً.

6.2 السعر العقاري

annonce_id	commune	code_postal	surface_m2	nb_pieces	etage	annee_construction	classe_energie	ascenseur	date_vente	prix_vente
A-10471	Lyon 3e	69003	68	3	4	1972	D	1	2024-03-14	331 000
A-10472	Villeurbanne	69100	42	2	1	2015	B	1	2024-03-18	218 500
A-10473	Lyon 6e	69006	105	5	2	1930	E	0	2024-04-02	712 000
A-10474	Bron	69500	77	4	0	1988	D	0	2024-04-11	249 000
A-10475	Lyon 3e	69003	31	1	6	2019	A	1	2024-05-06	189 900

عنصر التحليل	التحديد
ماذا تمثّل ملاحظة	معاملة عقارية مكتملة، لا عقاراً: العقار نفسه المباع مرتين يشغل صفين مشروعين
معرّفات تُقصَى	`annonce_id`
المتغير الهدف	`prix_vente`، عددي متصل موجب صرفاً
نوع المسألة	انحدار
المتغيرات التوضيحية	`commune`، `surface_m2`، `nb_pieces`، `etage`، `annee_construction`، `classe_energie`، `ascenseur`، إضافة إلى المتغيرات المشتقة من `date_vente`
أنواع المتغيرات	متصل: `surface_m2`. متقطعة: `nb_pieces`، `etage`. فترة: `annee_construction`. اسمي: `commune`. ترتيبي: `classe_energie` (A إلى G). ثنائي: `ascenseur`. زمني: `date_vente`
نقاط انتباه	`code_postal` صديق زائف عددي: فئوي اسمي، زائد مع `commune`، يُقصَى أو يُجمَّع. `annee_construction` متغير فترة، وتحويله إلى عُمر العقار في تاريخ البيع أفضل. `classe_energie` ترتيبي، بترتيب تنازلي للأداء يجب التصريح به. والهدف شديد الالتواء يميناً، وهو ما يبرر فحص نمذجة على لوغاريتمه

تعليق على الاعتماد الزمني. يعرف السوق العقاري انحرافاً في مستوى الأسعار. ونموذج مدرَّب على معاملات 2024 و مطبَّق سنة 2026 معرَّض لانحراف مفهوم (الفصل 082). وإذا كان الاستخدام المستهدَف تقدير معاملات مستقبلية، فيجب أن يكون الفصل زمنياً: تدريب على الفترات القديمة، تقييم على الفترة الأحدث (الفصل 027).

6.3 الاحتيال المصرفي

transaction_id	carte_id	horodatage	montant	commercant	categorie_mcc	pays	canal	delai_depuis_precedente_s	est_fraude
T-9910001	K-4471	2025-02-11 08:14:22	12,40	Boulangerie Vidal	5462	FR	Sans_contact	43 120	0
T-9910002	K-4471	2025-02-11 08:19:07	1 890,00	ElectroDirect	5732	LT	En_ligne	285	1
T-9910003	K-4471	2025-02-11 08:21:55	1 940,00	ElectroDirect	5732	LT	En_ligne	168	1
T-9910004	K-2038	2025-02-11 09:02:11	67,30	Station Aral	5541	DE	Puce	61 400	0
T-9910005	K-7712	2025-02-11 09:03:48	8,90	Metro Ligne 4	4111	FR	Sans_contact	22 010	0

عنصر التحليل	التحديد
ماذا تمثّل ملاحظة	معاملة ببطاقة، في لحظة مؤرَّخة. وحدة التحليل هي المعاملة، لا البطاقة ولا حاملها
معرّفات تُقصَى	`transaction_id` و`carte_id` من المتغيرات التوضيحية. ويُحفَظ `carte_id` حتماً كمفتاح تجميع
المتغير الهدف	`est_fraude`، ثنائي، بنسبة موجبات من رتبة 0,1 إلى 0,5 % في المجتمع الحقيقي
نوع المسألة	تصنيف ثنائي باختلال متطرف
المتغيرات التوضيحية	`montant`، `categorie_mcc`، `pays`، `canal`، `delai_depuis_precedente_s`، إضافة إلى المتغيرات المشتقة من `horodatage` والمجاميع المنزلقة حسب البطاقة
أنواع المتغيرات	متصلة: `montant`، `delai_depuis_precedente_s`. اسمية: `categorie_mcc`، `pays`، `canal`، `commercant`. زمني: `horodatage`
نقاط انتباه	ثلاثة فخاخ تتراكم، مطوَّرة أدناه. تعرض `commercant` مئات الآلاف من الصيغ ولا يمكن ترميزها بـ one-hot. `categorie_mcc` صديق زائف عددي: تسمية فئوية

الفخ الأول — الاختلال المتطرف. عند 0,17 % احتيال، يبلغ مصنِّف يتنبأ منهجياً بغياب الاحتيال 99,83 % دقة. وهذا المقياس مقصى من الوهلة الأولى. ويستند التقييم إلى الدقة الموجبة، والاستدعاء والمساحة تحت منحنى الدقة–الاستدعاء، فمنحنى ROC متفائل جداً تحت اختلال متطرف. وتصبح عتبة القرار مُعاملاً لقيادة تُحكَم حسب التكلفة النسبية لاحتيال غير مكتشَف وحظر غير مبرَّر.

الفخ الثاني — الكيان المكرَّر. تنتج بطاقة معاملات كثيرة. ويضع فصل عشوائي معاملات البطاقة نفسها على جانبي القسمة: يتعلّم النموذج عادات استهلاك بطاقات سيجدها عند التقييم، في حين أن الاستخدام المستهدَف يقوم على الحكم على بطاقات لم يُتعلَّم تاريخها الحديث. والتجميع حسب carte_id إلزامي.

الفخ الثالث — الترتيب الزمني. تتطور أنماط الاحتيال بسرعة، بموجات مرتبطة بحملات نشطة. ويدرّب فصل عشوائي النموذج على معاملات لاحقة لمعاملات التقييم: يعرف النموذج أنماطاً ما كانت لتوجد بعد في الإنتاج. ويجب أن يكون الفصل زمنياً صرفاً، ونافذة التقييم لاحقة لنافذة التدريب.

نقطة انتباه على التراكم. تنطبق القيود الثلاثة معاً. ويجب أن يكون الفصل زمنياً وأن يحترم المجموعات، وهو ما يستبعد التجزئات المعيارية ويفرض إجراء خاصاً: تجزئة زمنية، ثم إقصاء البطاقات الحاضرة على جانبي الحد. وهذه حالة يحدد فيها التحليل المسبق لمجموعة البيانات بنية التحقّق بالكامل.

تشبيه — الفخاخ الثلاثة المتراكمة

يريد ممتحن تقييم قدرة مرشح على تشخيص مرض نادر.

إذا ألّف اختباراً حالة واحدة من ستمئة فيه مرضية، فإن مرشحاً يجيب منهجياً «موضوع سليم» يحصل على 99,8 % إجابات صحيحة بلا أي كفاءة طبية. وهذا الفخ الأول.

وإذا عرض في الامتحان ملفات مرضى سبق لقاؤهم أثناء التكوين، فإنه يقيس ذاكرة المرشح لا تشخيصه. وهذا الفخ الثاني.

وإذا أبلغ المرشح، أثناء تكوينه، الحالات التي ستظهر في دورة لاحقة، فإنه يقيس قدرة لن توجد أبداً في الممارسة الحقيقية. وهذا الفخ الثالث.

والتحيزات الثلاثة تتراكم: جهاز تقييم يجمعها ينتج درجة مرتفعة وبلا أي قيمة تنبؤية.

7. أخطاء استدلال شائعة

خطأ — النمذجة دون تحديد وحدة التحليل

تُقدَّم مجموعة 50 000 صف كأنها تتضمّن 50 000 زبون. وهي تتضمّن في الواقع 50 000 عقداً موزَّعة على 12 000 زبون. فيُقسَم الحجم الفعلي على أربعة، ويبطل الفصل العشوائي، ومدى التنبؤات المهني ليس ذلك الذي أُعلِن.

الصياغة الصحيحة: «قبل أي معالجة، السؤال الواجب فحصه هو ما يمثّله الصف بالضبط، وإمكانية ظهور الكيان نفسه عدة مرات. ويحدد الجواب الحجم الفعلي، واستراتيجية الفصل وتفسير التنبؤات.»

خطأ — الإبقاء على المعرّفات ضمن المتغيرات التوضيحية

المعرّف اعتباطي بالبناء. ولا قدرة توضيحية له، ويلتقط الارتباطات المضلّلة الناجمة عن ترتيب الإسناد، وشبه تفرده يتيح للنماذج ذات القدرة المرتفعة حفظ كل ملاحظة.

الصياغة الصحيحة: «تُقصَى المعرّفات من المتغيرات التوضيحية مع الإبقاء عليها في مجموعة البيانات، للتتبّع وللتجميع عند الفصل. وعندما يرمّز معرّف معلومة مهنية، تُستخرَج هذه في متغير مخصَّص ثم يُستبعَد المعرّف الخام.»

خطأ — إغفال فحص توزيع الهدف

يكلف هذا الفحص سطراً من الشفرة ويحدد نوع المسألة ومستوى الاختلال والنموذج المرجعي واختيار المقاييس واستراتيجية الفصل. وإغفاله يقود إلى تفسير دقة 97 % كأداء، في حين قد تكون أدنى من أداء مصنِّف ثابت.

الصياغة الصحيحة: «يُفحَص توزيع المتغير الهدف قبل أي تدريب. وهو يثبّت النموذج المرجعي الذي يجب أن يُقارَن به كل أداء لاحق.»

خطأ — معالجة متغير فئوي مرمَّز بأرقام كعددي

رمز بريدي، رمز جهة، رمز منتج أو رمز تسمية مخزَّنة كأعداد صحيحة وهي فئوية بطبيعتها. ومعالجتها كعددية تقود شجرة إلى إنتاج تجزئات بلا معنى («رمز بريدي أدنى من 44300») ونموذجاً خطياً إلى افتراض علاقة رتيبة بين رقم بلدية والهدف.

الصياغة الصحيحة: «نوع التخزين لا يحدد طبيعة المتغير. والمعيار هو المعنى المهني للعمليات الحسابية: إذا كان متوسط قيمتين لا يسمّي شيئاً، فالمتغير فئوي.»

خطأ — مساواة العمود بالمتغير التوضيحي

ملف من أربعة عشر عموداً لا يوفّر أربعة عشر متغيراً توضيحياً. إنه يوفّر أربعة عشر عموداً يبقى دورها الوظيفي قيد التحديد: معرّف، متغير توضيحي، متغير هدف أو متغير تسرّب. وأعمدة التسرّب تنتج أداء ظاهرياً قريباً من الكمال في التحقّق ونموذجاً بلا قيمة في الإنتاج.

الصياغة الصحيحة: «يُحدَّد دور كل عمود فردياً. ومعيار القبول ضمن المتغيرات التوضيحية هو التوافر الفعلي للقيمة في اللحظة التي يجب فيها إصدار التنبؤ.»

خطأ — إغفال التحقّق من المكررات

مكرر صارم حاضر على جانبي فصل يضمن تنبؤاً صحيحاً بالحفظ ويبالغ في تقدير الأداء المقيس. ومكرر وظيفي — الكيان نفسه، صفوف غير متطابقة — لا يكشفه df.duplicated() ويتطلب تحقّقاً على المفتاح المهني.

الصياغة الصحيحة: «ينصبّ التحقّق على مستويين: الصفوف المتطابقة تماماً، والصفوف التي تسمّي الكيان نفسه من العالم الحقيقي. والمستوى الثاني يتطلب معرفة المفتاح المهني ولا يمكن أتمتته بدونه.»

خطأ — اعتبار أن الحجم يغني عن الفحص النوعي

مليون ملاحظة هدفها موسوم سيئاً، أو متغيراتها غير متاحة في الإنتاج، أو كيان فيها يمثّل 40 % من الصفوف، لا تنتج نموذجاً أفضل من عشرة آلاف ملاحظة نظيفة و مؤطَّرة صحيحاً.

الصياغة الصحيحة: «الحجم يشترط تباين التقدير. ولا يصحّح أي تحيز. وعيب التأطير يوجد كما هو في كل المقاييس.»

8. خلاصة

البنية
    مجموعة البيانات مصفوفة n × p.
        n = عدد الملاحظات  (الصفوف)
        p = عدد المتغيرات    (الأعمدة)
        X = مصفوفة المتغيرات التوضيحية، y = متجه الهدف

اصطلاح الصف
    ملاحظة · فرد · حالة · عيّنة (معنى ML) ·
    سجل · صف · مثال · نقطة بيانات
    مصطلح واحد غامض: عيّنة، التي تشير أيضاً إلى
    مجموعة جزئية من مجتمع بالمعنى الإحصائي.

اصطلاح العمود
    متغير · سمة · حقل · عمود · بُعد ·
    خاصية · feature · مُنبئ
    المتغير والعمود يصفان؛ وfeature يصف دوراً.

الأدوار الوظيفية الأربعة للعمود
    معرّف                 → إقصاء، إبقاء كمفتاح
    متغير توضيحي          → تقديم للنموذج
    متغير هدف             → عزل في y
    متغير تسرّب           → إقصاء بأولوية مطلقة

نمطية المتغيرات
    عددي متصل    · عددي متقطع
    فئوي اسمي · فئوي ترتيبي · ثنائي
    زمني            · نصي
    مقاييس Stevens: اسمي · ترتيبي · فترة · نسبة

أصدقاء زائفون
    رمز بريدي، رمز جهة، رمز منتج، رمز تسمية:
    عددية في الظاهر، فئوية في الطبيعة.

بروتوكول الفحص الأولي
    df.shape · df.head() · df.info() · df.describe()
    df[cible].value_counts(normalize=True)
    df.isnull().sum() · df.duplicated().sum()

السؤال الأول
    ماذا يمثّل الصف بالضبط،
    وهل يمكن للكيان نفسه أن يظهر عدة مرات؟

التحقّق ذو أفضل مردود
    توزيع المتغير الهدف.

النقطة الأكثر إغفالاً
    هل سيكون كل متغير توضيحي متاحاً
    في اللحظة التي يجب فيها إصدار التنبؤ؟

قول الخلاصة

مجموعة البيانات مصفوفة صفوفها ملاحظات وأعمدتها متغيرات؛ وقراءتها المهنية تقوم على تحديد ما يمثّله الصف، وإسناد دور وظيفي لكل عمود بدل افتراضه توضيحياً، وتصنيف كل متغير في نمطية تحدد معالجته، والتحقّق من أن كل متغير محتفَظ به سيكون متاحاً فعلاً لحظة التنبؤ.

اختبارات مرتبطة

005.1-quiz-jeu-de-donnees.md
005.2-quiz-observation-unite-analyse.md
005.3-quiz-variable-roles.md
005.4-quiz-typologie-variables.md
005.5-quiz-inspection-initiale.md
005.6-quiz-etudes-de-cas.md

الفصل التالي: 006-features-target.md