پیش پردازش داده: داده های نامتوازن imbalanced data صفر تا 100

متوازن‌سازی داده و اهمیت آن در یادگیری ماشین و یادگیری عمیق

در یادگیری ماشین (Machine Learning) و یادگیری عمیق (Deep Learning)، عدم توازن داده‌ها (Data Imbalance) یا داده‌های نامتوازن (Imbalanced Data) یکی از چالش‌های مهم است. این مسئله زمانی رخ می‌دهد که تعداد نمونه‌های موجود در دسته‌های مختلف داده نابرابر باشد. به‌طور مثال، در یک مسئله طبقه‌بندی با دو کلاس، اگر 90٪ داده‌ها به کلاس اول و تنها 10٪ به کلاس دوم تعلق داشته باشند، مدل یادگیری تمایل خواهد داشت که پیش‌بینی‌های خود را به سمت کلاس غالب (اکثریت) منحرف کند. این امر باعث کاهش دقت در تشخیص دسته‌های اقلیت (مانند حملات سایبری، تشخیص بیماری‌ها و …) می‌شود.

آموزش رایگان Normalization در متلب را مشاهده بفرمایید.

اهمیت متوازن‌سازی داده‌ها:

1. بهبود دقت مدل در طبقه‌بندی داده‌های اقلیت: مدل‌ها بدون متوازن‌سازی معمولاً داده‌های اقلیت را نادیده می‌گیرند.
2. کاهش سوگیری (Bias): متوازن‌سازی به مدل کمک می‌کند تا هر دو کلاس (یا همه دسته‌ها) را به‌طور یکنواخت یاد بگیرد.
3. افزایش عملکرد در معیارهای ارزیابی مانند F1-Score و Recall: این معیارها برای داده‌های نامتوازن اهمیت بیشتری دارند.
4. پیشگیری از اورفیتینگ: داده‌های نامتوازن ممکن است باعث شوند مدل به‌طور نادرست یادگیری کند.

---

روش‌های متوازن‌سازی داده

برای متوازن‌سازی داده‌ها، دو رویکرد اصلی وجود دارد: افزایش داده‌های اقلیت (Oversampling) و کاهش داده‌های اکثریت (Undersampling). در ادامه، سه روش مهم معرفی شده‌اند:

---

1. SMOTE (Synthetic Minority Over-sampling Technique):

• توضیح: این روش به‌جای کپی‌کردن نمونه‌های اقلیت، نمونه‌های مصنوعی جدیدی ایجاد می‌کند. SMOTE از ترکیب خطی نمونه‌های موجود برای تولید داده‌های جدید استفاده می‌کند.
• مراحل کار:
  1. انتخاب نمونه‌های تصادفی از داده‌های اقلیت.
  2. پیدا کردن نزدیک‌ترین همسایه‌ها (K-Nearest Neighbors) برای هر نمونه انتخاب‌شده.
  3. تولید نمونه جدید با ترکیب خطی داده اصلی و نزدیک‌ترین همسایه.
• مزایا: کاهش خطر اورفیتینگ نسبت به روش‌های ساده مانند کپی‌کردن داده و ایجاد تنوع در داده‌های اقلیت.
• معایب: ممکن است نویز یا هم‌پوشانی بین کلاس‌ها ایجاد کند و زمان‌بر بودن برای مجموعه داده‌های بزرگ.

---

2. ROS (Random Over-Sampling):

• توضیح: در این روش، داده‌های اقلیت به‌صورت تصادفی انتخاب و کپی می‌شوند تا تعداد نمونه‌های اقلیت افزایش یابد.
• مزایا: ساده و سریع برای پیاده‌سازی و افزایش داده‌های اقلیت بدون نیاز به الگوریتم پیچیده.
• معایب: خطر اورفیتینگ به دلیل تکرار داده‌های مشابه و عدم ایجاد تنوع در داده‌های اقلیت.

---

3. RUS (Random Under-Sampling):

• توضیح: این روش با حذف تصادفی نمونه‌های داده‌های اکثریت، تعادل بین کلاس‌ها ایجاد می‌کند.
• مزایا: کاهش حجم داده‌ها و افزایش سرعت پردازش و مناسب برای مجموعه داده‌های بسیار بزرگ.
• معایب: ممکن است باعث حذف اطلاعات مفید از داده‌های اکثریت شود و کاهش تنوع در داده‌های اکثریت.

---

جمع‌بندی:

متوازن‌سازی داده‌ها یک گام اساسی در پیش‌پردازش داده‌ها برای مسائل یادگیری ماشین و یادگیری عمیق است. استفاده از روش‌هایی مانند SMOTE، ROS و RUS به بهبود عملکرد مدل‌ها در مسائل با داده‌های نامتوازن کمک می‌کند. انتخاب روش مناسب بسته به اندازه داده، پیچیدگی مسئله و هدف نهایی، باید با دقت انجام شود.

---

سر فصل دوره: متوازن‌سازی داده و طبقه‌بندی با SVM در MATLAB

---

1. مقدمه‌ای بر متوازن‌سازی داده‌ها

• مفهوم عدم توازن داده‌ها (Data Imbalance) و اهمیت آن در یادگیری ماشین.
• چالش‌های مدل‌های یادگیری در مواجهه با داده‌های نامتوازن.
• معرفی معیارهای ارزیابی مناسب برای داده‌های نامتوازن

---

2. بارگذاری و آماده‌سازی داده‌ها در MATLAB

• نحوه بارگذاری داده‌ها.
• بررسی و نمایش توزیع داده‌ها.
• نرمال سازی داده ها (Normalization)

---

3. متوازن‌سازی داده‌ها

3.1 روش SMOTE (Synthetic Minority Over-sampling Technique)

• پیاده‌سازی الگوریتم SMOTE برای تولید داده‌های مصنوعی.
• تحلیل تأثیر SMOTE بر داده‌های اقلیت.
• بررسی تغییرات توزیع داده‌ها پس از اعمال SMOTE.

3.2 روش ROS (Random Over-Sampling)

• افزایش داده‌های اقلیت با تکرار تصادفی نمونه‌ها.
• بررسی خطرات اورفیتینگ و نحوه جلوگیری از آن.

3.3 روش RUS (Random Under-Sampling)

• کاهش داده‌های اکثریت برای ایجاد تعادل.
• بررسی تأثیر حذف نمونه‌های اکثریت بر عملکرد مدل.

---

4. طبقه‌بندی داده‌های متوازن‌شده با SVM

• تنظیم مدل SVM در MATLAB:
  • انتخاب کرنل مناسب (Linear، Gaussian، Polynomial).
  • استانداردسازی داده‌ها (Standardization).
• آموزش مدل SVM با داده‌های متوازن‌شده.

---

5. ارزیابی عملکرد مدل

• محاسبه معیارهای ارزیابی:
  • Accuracy
  • Precision
  • Recall
  • F1-Score
  • AUC-ROC
• رسم نمودارهای ارزیابی:
  • ماتریس آشفتگی (Confusion Matrix).
  • منحنی ROC (Receiver Operating Characteristic).

---

خروجی‌های دوره:

• تسلط بر مفاهیم و روش‌های متوازن‌سازی داده‌ها.
• توانایی پیاده‌سازی SMOTE، ROS و RUS در MATLAB.
• ارزیابی و تحلیل دقیق مدل‌های طبقه‌بندی در داده‌های نامتوازن.

---

مدرس: حسن سعادتمند

• بیش از 250 دوره آموزشی در متلب (MATLAB) و پایتون (Python).
• بیش از 15 سال تجربه در زمینه یادگیری ماشین، الگوریتم های فراابتکاری، یادگیری عمیق، مهندسی کنترل.
• چاپ چندین مقاله Q1 در بهترین ژرنال های دنیا Google Scholar.
• مدرس فرادرس
• کانال یوتیوب، کانال اپارت، کانال تلگرام، کانال ایتا

دوستانی که تمایل دارند این دوره را در پایتون Python داشته باشند با مدرس در ارتباط باشند.