بهینه‌سازی شبکه عصبی چندلایه MLP با الگوریتم‌های فراابتکاری

بهینه‌سازی شبکه عصبی چندلایه (Multi-Layer Perceptron – MLP) با الگوریتم‌های فراابتکاری

شبکه عصبی چندلایه (MLP) یکی از پرکاربردترین مدل‌های یادگیری ماشین (Machine Learning) و یادگیری عمیق (Deep Learning) است که برای مسائل مختلف مانند  طبقه‌بندی (Calcification)، رگرسیون (Regression)، و پیش‌بینی مورد استفاده قرار می‌گیرد. کارایی این شبکه به شدت وابسته به تنظیم مناسب وزن‌ها، بایاس‌ها و ساختار آن است. استفاده از الگوریتم‌های فراابتکاری (Metaheuristic Algorithms) می‌تواند این فرآیند را خودکار کرده و به یافتن بهترین تنظیمات برای MLP کمک کند.

---

بهینه‌سازی با الگوریتم‌های فراابتکاری

1. پارامترهای بهینه‌سازی‌شده:

• وزن‌ها (Weights): تنظیم مناسب وزن‌های اتصالات بین نورون‌ها.
• بایاس‌ها (Biases): مقدار آفست در نورون‌ها برای بهبود یادگیری.

2. تعریف تابع هزینه (Objective Function):

تابع هزینه معمولاً بر اساس یکی از موارد زیر تعریف می‌شود:

• خطای میانگین مربعات (Mean Squared Error – MSE): برای مسائل رگرسیون.
• آنتروپی متقاطع (Cross-Entropy): برای مسائل طبقه‌بندی.
• دقت (Accuracy): برای ارزیابی عملکرد کلی شبکه.

3. مراحل ترکیب:

1. تعریف فضای جستجو (Search Space): وزن‌ها و بایاس‌ها در بازه‌ای مشخص تعریف می‌شوند.
2. اعمال الگوریتم فراابتکاری: الگوریتم‌های بهینه‌سازی برای جستجوی مقادیر بهینه اجرا می‌شوند.
3. ارزیابی مدل: کیفیت شبکه بر اساس تابع هزینه ارزیابی می‌شود.
4. انتخاب بهترین تنظیمات: بهترین ترکیب وزن‌ها و بایاس‌ها برای آموزش شبکه انتخاب می‌شود.

---

در ادامه لیستی از الگوریتم‌های فراابتکاری از ابتدا تا سال 2024 که برای بهینه سازی شبکه عصبی MLP میتوان استفاده کرد بیان شده است:

1. الگوریتم ژنتیک – Genetic Algorithm (GA) – 1975
2. الگوریتم تبرید شبیه‌سازی – Simulated Annealing (SA) – 1983
3. جستجوی تابو – Tabu Search (TS) – 1986
4. الگوریتم فرهنگی – Cultural Algorithm (CA) – 1991
5. بهینه‌سازی کلونی مورچه‌ها – Ant Colony Optimization (ACO) – 1992
6. بهینه‌سازی ازدحام ذرات – Particle Swarm Optimization (PSO) – 1995
7. تکامل تفاضلی – Differential Evolution (DE) – 1997
8. جستجوی هارمونی – Harmony Search (HS) – 2001
9. الگوریتم ازدحام ماهی – Fish Swarm (FS) – 2002
10. الگوریتم زنبورها – Bees Algorithms (BA) – 2005
11. کلونی زنبور عسل مصنوعی – Artificial Bee Colony (ABC) – 2005
12. الگوریتم قورباغه – Shuffled Frog Leaping Algorithm (SFLA) – 2006
13. الگوریتم رقابت استعماری –  Imperialist competitive algorithm ICA – 2007
14. الگوریتم کرم شب‌تاب – Firefly Algorithm (FA) – 2008
15. الگوریتم جغرافیای زیستی – Biogeography-based optimization (BBO) – 2009
16. الگوریتم جست و جوی گرانشی – Gravitational search algorithm (GSA) – 2009
17. جستجوی فاخته – Cuckoo Search (CS) – 2009
18. الگوریتم خفاش – Bat Algorithm (BA) – 2010
19. الگوریتم علف هرز –  Invasive weed optimization (IWO) – 2011
20. الگوریتم بهینه‌سازی ایده پردازی – Brain storm optimization algorithm (BSO) – 2011
21. الگوریتم بهینه سازی فاخته – Cuckoo Optimization Algorithm COA – 2011
22. الگوریتم آموزش و یادگیری – Teaching–learning-based optimization (TLBO) – 2011
23. الگوریتم سیاه چاله –Black Hole (BA) – 2013
24. بهینه‌سازی گرگ خاکستری – Grey Wolf Optimizer (GWO) – 2014
25. الگوریتم گرده‌افشانی گل – Flower Pollination Algorithm (FPA) – 2014
26. الگوریتم جستجوی فراکتال تصادفی (Stochastic Fractal Search – SFS) – 2015
27. الگوریتم شیر مورچه – Ant Lion Optimizer (ALO) – 2015
28. الگوریتم اژدها – Dragonfly Algorithm (DA) – 2015
29. الگوریتم پروانه شبنم – Moth-Flame Optimization (MFO) – 2015

30. الگوریتم بهینه‌سازی پروانه سلطنتی (Monarch Butterfly Optimization – MBO) – 2015

31. الگوریتم کلاغ – Crow Search Algorithm (SCA) – 2016
32. الگوریتم سینوس کسینوس – Sine cosine algorithm (SCA) – 2026
33. الگوریتم حستوجوی پروانه – Moth search algorithm – 2016
34. الگوریتم شعله پروانه – Moth Flame Optimization (MFO) – 2016
35. الگوریتم جایا – Jaya Algorithm (JA) – 2016
36. الگوریتم سنجاقک – Dragonfly algorithm (DA) – 2016
37. الگوریتم بهینه‌سازی پروانه‌ها – Glowworm Swarm Optimization (GSO) – 2016
38. الگوریتم شیر خاورمیانه – Lion Optimization Algorithm (LOA) – 2016
39. الگوریتم پشه – Mosquito Flying Optimization (MFO) – 2016
40. الگوریتم بهینه‌ساز چند-نظمی – Multi-verse Optimizer (MVO) – 2016
41. الگوریتم نهنگ – Whale Optimization Algorithm (WOA) – 2016
42. الگوریتم سالپ – Slap Swarm Algorithm (SSA) – 2017
43. الگوریتم بهینه‌ساز کفتار خالدار – Spotted hyena optimizer (SHO) – 2017
44. الگوریتم بهینه‌سازی پروانه و زنبور –  Butterfly Optimization Algorithm with Bee (BOAB) – 2017
45. الگوریتم ملخ – Grasshopper Optimization Algorithm (GOA) – 2017
46. الگوریتم رشد درخت (Tree Growth Algorithm – TGA) – 2018
47. الگوریتم شاهین هریس – Harris Hawks Optimization (HHO) – 2019
48. الگوریتم گوزن قرمز – Red Deer Algorithm (RDA) – 2019
49. الگوریتم بهینه‌سازی فقیر و غنی (Poor and Rich Optimization – PRO) – 2019
50. الگوریتم مسیریاب (Pathfinder Algorithm – PFA) – 2019
51. الگوریتم بهینه‌سازی اتم – Atom search optimization (BOA) – 2019
52. الگوریتم بهینه‌سازی ارشمیدس (Archimedes Optimization Algorithm – AOA) – 2020
53. الگوریتم کپک لجن – Slime Mould algorithm (MOA) – 2020
54. الگوریتم اسب وحشی – Wild Horse Optimizer Algorithm (WHOA) – 2020
55. الگوریتم سفره ماهی – Manta ray foraging optimization (MRFO) – 2020
56. الگوریتم عقاب طلایی – Golden Eagle Optimizer (GEO) – 2020
57. الگوریتم کانگورو – Kangaroo Optimization (KO) – 2020
58. الگوریتم بهینه‌سازی اکوسیستم مصنوعی Artificial Ecosystem-based Optimization (AEO)  – 2020
59. الگوریتم عنکبوت اجتماعی – Social Spider Optimization (SSO) – 2020
60. الگوریتم شکارچیان دریایی (Marine Predators Algorithm – MPA) – 2020
61. الگوریتم فیل – Elephant Herding Optimization (EHO) – 2021
62. الگوریتم عقاب – Bald Eagle Search Optimization (BES) – 2021
63. الگوریتم بهینه‌سازی خروس‌ها –Roosters Algorithm (RA) – 2021
64. الگوریتم بهینه‌سازی کرکس‌های آفریقایی (African Vultures Optimization Algorithm – AVOA) – 2021
65. بهینه‌سازی بازی آشوب – Chaos Game Optimization (CGO) – 2021
66.  الگوریتم حسابی The Arithmetic Optimization Algorithm – AOA – 2021
67. الگوریتم بهینه‌سازی گرادیان – Gradient Based Optimization (GBO) – 2021
68. الگوریتم مار – Snake Optimizer (SO) – 2022
69. الگوریتم بهینه‌سازی خرگوش‌ها – Artificial rabbits optimization (ARO) – 2022
70. الگوریتم بهینه‌سازی ازدحام گربه شنی (Sand Cat Swarm Optimization – SCSO) – 2022
71. الگوریتم بهینه‌سازی سوسک – Cockroach Swarm Optimization (CSO) – 2022
72. الگوریتم بهینه‌سازی زنبور عسل مصنوعی بهبود یافته – Improved Artificial Bee Colony Algorithm (IABC) – 2022
73. الگوریتم علی بابا و چهل دزد – Alibaba and the Forty Thieves (AFT) – 2022
74. الگوریتم بهینه‌سازی سارها (Starling Murmuration Optimizer – SMO) – 2022
75. الگوریتم بهینه‌سازی غزال کوهستان (Mountain Gazelle Optimizer – MGO) – 2022
76. الگوریتم جستجوی بهینه‌سازی ابولا (Ebola Optimization Search – EOS) – 2022
77. الگوریتم بهینه‌سازی درخت – Tree Optimization Algorithm (TOA) – 2022
78. الگوریتم گورکن عسل – Honey Badger Algorithm (HBA) – 2022
79. الگوریتم جست و جوی خزنده Reptile Search Algorithm – RSA – 2022
80. الگوریتم بهینه‌سازی دلفین‌ها – Dolphin Optimization Algorithm (DOA) – 2023
81. الگوریتم نهنگ بهبود شده  – Improved Whale Optimization Algorithm (IWOA) – 2023
82. الگوریتم بهینه‌سازی حافظه انسان – Human Memory Optimization Algorithm (HMOA) – 2023
83. الگوریتم بهینه‌سازی تیرانوسور (Tyrannosaurus Optimization Algorithm – TOA) – 2023
84. الگوریتم بهینه‌سازی شکار گوزن‌ها – Deer Hunting Optimization Algorithm (DHOA) – 2024
85. الگوریتم بهینه‌سازی اسب آبی (Hippopotamus Optimization Algorithm – HOA) – 2024
86. بهینه‌سازی گروه جوجه‌ها – Chickens Swarm Optimization (CSO) – 2024
87. الگوریتم بهینه‌سازی هجوم پرندگان – Bird Swarm Optimization Algorithm (BSOA) – 2024
88.  الگوریتم کروکدیل Crocodile optimization algorithm COA – 2024
89. الگوریتم نهنگ قاتل – Killer Whale Algorithm (KWA) – 2024
90. الگوریتم روباه قطبی – Arctic Fox Optimization (AFO) – 2025

---

نویسنده: حسن سعادتمند

• بیش از 250 دوره آموزشی در MATLAB و پایتون.
• بیش از 15 سال تجربه در زمینه مهندسی کنترل و بهینه‌سازی.

اطلاعات تماس:

• تلگرام: t.me/matlabanyone
• ایمیل: h.saadatmand22@yahoo.com
• یوتیوب: matlablearning.com
• تلفن: 09155137038