تحليل البيانات

سير العمل

1. تحميل البيانات وفحص أبعادها وأنواعها.
2. فحص القيم المفقودة والمكررة.
3. تلخيص كل متغير ورسم توزيعه.
4. دراسة العلاقات بين المتغيرات.
5. توثيق الملاحظات والقرارات.

مثال تطبيقي

نستخدم بيانات أزهار Iris المضمنة في scikit-learn:

import pandas as pd
import matplotlib.pyplot as plt
from sklearn.datasets import load_iris

iris = load_iris(as_frame=True)
df = iris.frame                      # 150 صفاً و5 أعمدة
df["species"] = df["target"].map(dict(enumerate(iris.target_names)))

print(df.shape)
print(df.isna().sum())
print(df.duplicated().sum())
print(df.describe())

التوزيعات

df.drop(columns="target").hist(figsize=(8, 6), bins=20)
plt.tight_layout()

المقارنة بين الفئات

print(df.groupby("species")["petal length (cm)"].agg(["mean", "std"]))

ستلاحظ أن طول البتلة يختلف بوضوح بين الأنواع، وهذا يوحي بأنه سمة مفيدة للتصنيف.

العلاقات

corr = df.drop(columns=["target", "species"]).corr()
print(corr.round(2))

fig, ax = plt.subplots()
for name, g in df.groupby("species"):
    ax.scatter(g["petal length (cm)"], g["petal width (cm)"], label=name, s=12)
ax.set_xlabel("petal length (cm)")
ax.set_ylabel("petal width (cm)")
ax.legend()

القيم الشاذة

قاعدة شائعة تعتبر القيمة شاذة إذا وقعت خارج المدى \(Q_1 – 1.5\,IQR\) إلى \(Q_3 + 1.5\,IQR\):

col = df["sepal width (cm)"]
q1, q3 = col.quantile([0.25, 0.75])
iqr = q3 - q1
outliers = df[(col < q1 - 1.5 * iqr) | (col > q3 + 1.5 * iqr)]

لا تحذف القيم الشاذة آلياً؛ افحصها أولاً، فقد تكون حالات حقيقية مهمة.

تحذيرات منهجية

• الارتباط لا يعني السببية.
• إذا كنت ستبني نموذجاً، افصل بيانات الاختبار قبل اتخاذ قرارات التنظيف المعتمدة على الإحصاءات لتجنب تسرب البيانات.
• وثّق كل قرار تنظيف ليكون التحليل قابلاً للتكرار (reproducible).