اولین کارهاي مربوط به شبکه‌هاي عصبی به سال 1943 برمیگردد، زمانی که یک فیزیولوژیست اعصاب به نام مک‌کلا و یک ریاضیدان به نام پیتس رساله خود را در مورد نحوه عملکرد احتمالی نرون‌ها در مغز منتشر کردند. از آن زمان تا سال حدود 1959 این موضوع مورد توجه مهندسین قرار نگرفت. اما در این سال از شبکه‌هاي عصبی به عنوان فیلتر تطبیقی در خطوط تلفن مورد استفاده قرار گرفت که اولین استفاده شبکه عصبی در دنیاي واقعی نیز بود. در سال 1962رزنبلات مفهوم پرسپترون تک لایه را به عنوان ابزاري مفید در دسته‌بندي مجموعه‌هاي از داده‌ها به دو کلاس معرفی و براي قانون آموزش پرسپترون، اثبات پایداري ارایه نمود. در سال 1969 ، مینسکی و پپرت در رساله‌اشان و کتابی به نام پرسپترون‌ها نشان دادند که شبکه عصبی (تک لایه) در جداسازي مجموعه داده‌هایی که به صورت غیرخطی جداپذیرند ضعیف عمل می‌کند. مینسکی و پپرت ضعف‌هاي دیگري از شبکه‌هاي عصبی را نیز نشان دادند. آنها همچنین به اشتباه اظهار داشتند که چندلایه کردن شبکه عصبی، تاثیري در حل محدودیت‌هاي گفته شده ندارد؛ هر چند در ادامه تاکید کردند که پژوهش در این زمینه ارزشمند میباشد. این امر موجب شد پژوهش وسرمایه‌گذاري در زمینه شبکه عصبی به شدت کاهش یابد. در سال1982 ، اتفاقات زیادي موجب علاقه دوباره به شبکه عصبی شد. از آن جمله می‌توان به ارایه مدلی توسط هپفیلد با اتصال دو طرفه نرون‌ها و برگزاري کنفرانس آمریکایی-ژاپنی با عنوان شبکه‌هاي عصبی همیاري- رقابتی در کیوتوي ژاپن نام برد. شبکه‌هاي عصبی از این شروع مجدد پژوهش‌ها تا به حال، پیشرفت‌هاي زیادي به چشم دیده است. مدل‌هاي مختلف و روش‌هاي آموزش متنوعی معرفی و توسعه داده شدند و شبکه‌هاي عصبی در کاربردهاي مختلفي براي تشخیص الگو، تقریب توابع و مدل‌سازي سیستم‌هاي دینامیکی خطی و غیرخطی و … مورد استفاده قرار گرفتند.
شبكه هاي عصبي تركيبي از عناصر ساده مي باشند كه به صورت موازي با يكديگر عمل مي كنند. اين عناصر از سيستم هاي عصبي زيستي الهام گرفته شده اند. همانند طبيعت اتصال موجود بين اين عناصر تا حد زيادي عملكرد شبكه را مشخص مي كند. با تنظيم مقادير مربوط به اين اتصال-ها (وزن ها ) مي توان شبكه را تعليم داد تا عمل خاصي را انجام دهد.
مغز انسان سامانة بسيار پيچيده‌اي است كه قادر به تفكر، يادآوري و حل مسائل است. تا-كنون تلاش هاي زيادي صورت گرفته است تا مدل‌هاي رايانه‌اي از عملكرد مغز تقليد نمايند. هرچند اين نتايج چشم‌گير بوده، ولي در مقايسه با عملكرد مغز انسان كاملاً كم‌رنگ است. نرون يك واحد سلولي از سامانة عصبي مغز است. نرون يك پردازشگر ساده است كه از طريق مسيرهاي ورودي به نام دندريت‌ها علائمي را از ساير اعصاب دريافت كرده و آنها را با هم تركيب مي‌كند. اگر اين علائم ورودي به اندازة كافي قوي باشد نرون به اصطلاح آتش مي‌كند و يك علامت خروجي را در طول آكسوني كه به دندريت ساير نرون ها متصل است ارسال مي‌كند.
در شکل (زیر) بخش هاي مختلف يك نرون مصنوعي و طبيعي با يكديگر مقايسه شده اند. هر علامتي كه به دندريت يك نرون وارد مي‌شود از يك سيناپس يا اتصال سيناپسي عبور مي‌كند. اين اتصال يك شكاف بسيار كوچك در دندريت است كه با نوعي مايع هادي عصبي پر شده است كه جريان بارهاي الكتريكي را تندتر يا كندتر مي‌كند. اين مايع الكتريكي علايمي را توليد مي‌كند و به سوي هسته نرون مي‌فرستد. تنظيم ميزان مقاومت يا هدايت الكتريكي اين فاصله سيناپسي، يك فرآيند بسيار مهم است. به علاوه همين تنظيم ميزان هدايت باعث حفظ كردن مطالب و يادگيري مي‌شود. يك نرون مصنوعي نيز مدلي است كه اجزاء آن شباهت مستقيمي به اجزاي واقعي دارند.
