ترکیب ماشین بردار پشتیبان SVM با الگوریتم‌های فراابتکاری

بهینه‌سازی مدل SVM با الگوریتم‌های فراابتکاری

مدل ماشین بردار پشتیبان (Support Vector Machine – SVM) یکی از پرکاربردترین الگوریتم‌های یادگیری ماشین (Machine Learning) برای مسائل طبقه‌بندی (Calcification) و رگرسیون (Regression) است. یکی از چالش‌های اصلی در استفاده از SVM، تنظیم دقیق هایپرپارامترهای آن برای دستیابی به بهترین عملکرد در پیش‌بینی یا طبقه‌بندی داده‌ها است. هایپرپارامترهای اصلی در SVM که نیاز به تنظیم دارند عبارتند از:

• C: پارامتر جریمه که تعادل بین به حداقل رساندن خطاهای طبقه‌بندی و پیچیدگی مدل را تنظیم می‌کند.
• γ (Gamma): پارامتر هسته (Kernel Parameter) که پیچیدگی مرز تصمیم‌گیری را مشخص می‌کند.

چرا بهینه‌سازی هایپرپارامترها در SVM اهمیت دارد؟

انتخاب مقادیر بهینه برای C و γ می‌تواند تأثیر مستقیمی بر عملکرد مدل داشته باشد. مقادیر نامناسب ممکن است منجر به بیش‌برازش (Overfitting) یا کم‌برازش (Underfitting) مدل شود. استفاده از الگوریتم‌های فراابتکاری (Metaheuristic Algorithms) می‌تواند این فرآیند را خودکار کرده و بهترین ترکیب پارامترها را پیدا کند.

الگوریتم‌های فراابتکاری برای بهینه‌سازی SVM

در زیر، 90 الگوریتم فراابتکاری معرفی می‌شوند که برای تنظیم مقادیر C و γ در SVM کاربرد دارند:

1. الگوریتم ژنتیک – Genetic Algorithm (GA) – 1975
2. الگوریتم تبرید شبیه‌سازی – Simulated Annealing (SA) – 1983
3. جستجوی تابو – Tabu Search (TS) – 1986
4. الگوریتم فرهنگی – Cultural Algorithm (CA) – 1991
5. بهینه‌سازی کلونی مورچه‌ها – Ant Colony Optimization (ACO) – 1992
6. بهینه‌سازی ازدحام ذرات – Particle Swarm Optimization (PSO) – 1995
7. تکامل تفاضلی – Differential Evolution (DE) – 1997
8. جستجوی هارمونی – Harmony Search (HS) – 2001
9. الگوریتم ازدحام ماهی – Fish Swarm (FS) – 2002
10. الگوریتم زنبورها – Bees Algorithms (BA) – 2005
11. کلونی زنبور عسل مصنوعی – Artificial Bee Colony (ABC) – 2005
12. الگوریتم قورباغه – Shuffled Frog Leaping Algorithm (SFLA) – 2006
13. الگوریتم رقابت استعماری –  Imperialist competitive algorithm ICA – 2007
14. الگوریتم کرم شب‌تاب – Firefly Algorithm (FA) – 2008
15. الگوریتم جغرافیای زیستی – Biogeography-based optimization (BBO) – 2009
16. الگوریتم جست و جوی گرانشی – Gravitational search algorithm (GSA) – 2009
17. جستجوی فاخته – Cuckoo Search (CS) – 2009
18. الگوریتم خفاش – Bat Algorithm (BA) – 2010
19. الگوریتم علف هرز –  Invasive weed optimization (IWO) – 2011
20. الگوریتم بهینه‌سازی ایده پردازی – Brain storm optimization algorithm (BSO) – 2011
21. الگوریتم بهینه سازی فاخته – Cuckoo Optimization Algorithm COA – 2011
22. الگوریتم آموزش و یادگیری – Teaching–learning-based optimization (TLBO) – 2011
23. الگوریتم سیاه چاله –Black Hole (BA) – 2013
24. بهینه‌سازی گرگ خاکستری – Grey Wolf Optimizer (GWO) – 2014
25. الگوریتم گرده‌افشانی گل – Flower Pollination Algorithm (FPA) – 2014
26. الگوریتم جستجوی فراکتال تصادفی (Stochastic Fractal Search – SFS) – 2015
27. الگوریتم شیر مورچه – Ant Lion Optimizer (ALO) – 2015
28. الگوریتم اژدها – Dragonfly Algorithm (DA) – 2015
29. الگوریتم پروانه شبنم – Moth-Flame Optimization (MFO) – 2015

30. الگوریتم بهینه‌سازی پروانه سلطنتی (Monarch Butterfly Optimization – MBO) – 2015

31. الگوریتم کلاغ – Crow Search Algorithm (SCA) – 2016
32. الگوریتم سینوس کسینوس – Sine cosine algorithm (SCA) – 2026
33. الگوریتم حستوجوی پروانه – Moth search algorithm – 2016
34. الگوریتم شعله پروانه – Moth Flame Optimization (MFO) – 2016
35. الگوریتم جایا – Jaya Algorithm (JA) – 2016
36. الگوریتم سنجاقک – Dragonfly algorithm (DA) – 2016
37. الگوریتم بهینه‌سازی پروانه‌ها – Glowworm Swarm Optimization (GSO) – 2016
38. الگوریتم شیر خاورمیانه – Lion Optimization Algorithm (LOA) – 2016
39. الگوریتم پشه – Mosquito Flying Optimization (MFO) – 2016
40. الگوریتم بهینه‌ساز چند-نظمی – Multi-verse Optimizer (MVO) – 2016
41. الگوریتم نهنگ – Whale Optimization Algorithm (WOA) – 2016
42. الگوریتم سالپ – Slap Swarm Algorithm (SSA) – 2017
43. الگوریتم بهینه‌ساز کفتار خالدار – Spotted hyena optimizer (SHO) – 2017
44. الگوریتم بهینه‌سازی پروانه و زنبور –  Butterfly Optimization Algorithm with Bee (BOAB) – 2017
45. الگوریتم ملخ – Grasshopper Optimization Algorithm (GOA) – 2017
46. الگوریتم رشد درخت (Tree Growth Algorithm – TGA) – 2018
47. الگوریتم شاهین هریس – Harris Hawks Optimization (HHO) – 2019
48. الگوریتم گوزن قرمز – Red Deer Algorithm (RDA) – 2019
49. الگوریتم بهینه‌سازی فقیر و غنی (Poor and Rich Optimization – PRO) – 2019
50. الگوریتم مسیریاب (Pathfinder Algorithm – PFA) – 2019
51. الگوریتم بهینه‌سازی اتم – Atom search optimization (BOA) – 2019
52. الگوریتم بهینه‌سازی ارشمیدس (Archimedes Optimization Algorithm – AOA) – 2020
53. الگوریتم کپک لجن – Slime Mould algorithm (MOA) – 2020
54. الگوریتم اسب وحشی – Wild Horse Optimizer Algorithm (WHOA) – 2020
55. الگوریتم سفره ماهی – Manta ray foraging optimization (MRFO) – 2020
56. الگوریتم عقاب طلایی – Golden Eagle Optimizer (GEO) – 2020
57. الگوریتم کانگورو – Kangaroo Optimization (KO) – 2020
58. الگوریتم بهینه‌سازی اکوسیستم مصنوعی Artificial Ecosystem-based Optimization (AEO)  – 2020
59. الگوریتم عنکبوت اجتماعی – Social Spider Optimization (SSO) – 2020
60. الگوریتم شکارچیان دریایی (Marine Predators Algorithm – MPA) – 2020
61. الگوریتم فیل – Elephant Herding Optimization (EHO) – 2021
62. الگوریتم عقاب – Bald Eagle Search Optimization (BES) – 2021
63. الگوریتم بهینه‌سازی خروس‌ها –Roosters Algorithm (RA) – 2021
64. الگوریتم بهینه‌سازی کرکس‌های آفریقایی (African Vultures Optimization Algorithm – AVOA) – 2021
65. بهینه‌سازی بازی آشوب – Chaos Game Optimization (CGO) – 2021
66.  الگوریتم حسابی The Arithmetic Optimization Algorithm – AOA – 2021
67. الگوریتم بهینه‌سازی گرادیان – Gradient Based Optimization (GBO) – 2021
68. الگوریتم مار – Snake Optimizer (SO) – 2022
69. الگوریتم بهینه‌سازی خرگوش‌ها – Artificial rabbits optimization (ARO) – 2022
70. الگوریتم بهینه‌سازی ازدحام گربه شنی (Sand Cat Swarm Optimization – SCSO) – 2022
71. الگوریتم بهینه‌سازی سوسک – Cockroach Swarm Optimization (CSO) – 2022
72. الگوریتم بهینه‌سازی زنبور عسل مصنوعی بهبود یافته – Improved Artificial Bee Colony Algorithm (IABC) – 2022
73. الگوریتم علی بابا و چهل دزد – Alibaba and the Forty Thieves (AFT) – 2022
74. الگوریتم بهینه‌سازی سارها (Starling Murmuration Optimizer – SMO) – 2022
75. الگوریتم بهینه‌سازی غزال کوهستان (Mountain Gazelle Optimizer – MGO) – 2022
76. الگوریتم جستجوی بهینه‌سازی ابولا (Ebola Optimization Search – EOS) – 2022
77. الگوریتم بهینه‌سازی درخت – Tree Optimization Algorithm (TOA) – 2022
78. الگوریتم گورکن عسل – Honey Badger Algorithm (HBA) – 2022
79. الگوریتم جست و جوی خزنده Reptile Search Algorithm – RSA – 2022
80. الگوریتم بهینه‌سازی دلفین‌ها – Dolphin Optimization Algorithm (DOA) – 2023
81. الگوریتم نهنگ بهبود شده  – Improved Whale Optimization Algorithm (IWOA) – 2023
82. الگوریتم بهینه‌سازی حافظه انسان – Human Memory Optimization Algorithm (HMOA) – 2023
83. الگوریتم بهینه‌سازی تیرانوسور (Tyrannosaurus Optimization Algorithm – TOA) – 2023
84. الگوریتم بهینه‌سازی شکار گوزن‌ها – Deer Hunting Optimization Algorithm (DHOA) – 2024
85. الگوریتم بهینه‌سازی اسب آبی (Hippopotamus Optimization Algorithm – HOA) – 2024
86. بهینه‌سازی گروه جوجه‌ها – Chickens Swarm Optimization (CSO) – 2024
87. الگوریتم بهینه‌سازی هجوم پرندگان – Bird Swarm Optimization Algorithm (BSOA) – 2024
88.  الگوریتم کروکدیل Crocodile optimization algorithm COA – 2024
89. الگوریتم نهنگ قاتل – Killer Whale Algorithm (KWA) – 2024
90. الگوریتم روباه قطبی – Arctic Fox Optimization (AFO) – 2025

مراحل ترکیب الگوریتم‌های فراابتکاری با SVM

1. تعریف فضای جستجو (Search Space)

• C: مقدار این پارامتر ممکن است بین 1 تا 1000 تغییر کند.
• γ: مقدار این پارامتر می‌تواند در بازه [10^-4, 10^-1] تعریف شود.

2. تعریف تابع هدف (Objective Function)

• تابع هدف می‌تواند شامل معیارهایی مانند دقت (Accuracy)، F1-Score، یا Mean Squared Error (MSE) باشد.

3. اعمال الگوریتم فراابتکاری

• الگوریتم انتخابی، مقادیر اولیه را برای C و γ تعیین کرده و آن‌ها را بهینه می‌کند.

4. ارزیابی راه‌حل‌ها

• هر ترکیب از پارامترها با استفاده از داده‌های آموزشی و آزمایشی ارزیابی شده و تابع هدف محاسبه می‌شود.

5. انتخاب بهترین ترکیب

• الگوریتم فراابتکاری بهترین ترکیب از C و γ را بر اساس مقادیر تابع هدف انتخاب می‌کند.

مزایای استفاده از الگوریتم‌های فراابتکاری در SVM

1. بهبود عملکرد: دستیابی به پارامترهای بهینه منجر به افزایش دقت و کارایی مدل SVM می‌شود.
2. خودکارسازی فرآیند تنظیم: کاهش نیاز به تنظیم دستی و آزمایش‌های زمان‌بر.
3. انعطاف‌پذیری بالا: قابلیت به‌کارگیری در مسائل مختلف طبقه‌بندی با داده‌های متنوع.
4. کاربرد در داده‌های بزرگ: استفاده از الگوریتم‌های کارآمد برای جستجوی سریع در فضای پارامترها.

این رویکرد به پژوهشگران و مهندسان کمک می‌کند تا مدل‌های SVM با دقت و کارایی بالا را برای مسائل پیچیده طراحی کنند.