؟Neural networksفي الـ Non-linear activation functions ليه بنحتاج

الهدف النهائي الى أنا عايزه من الـneural network هو انها تعبر بشكل تقريبي عن العلاقة ما بين $input \hspace{1mm} (X)$ و $target$ او $output \hspace{1mm} (y)$، بمعنى آخر أنا عايزها تـapproximate دالة $f$ حيث $f(x)=y$.

هل الـneural networks تقدر تحقق العلاقة دى؟

نظرية الـuniversal approximation بتقول إن اي neural network فيها hidden layer واحدة فقط فيها عدد معيّن من الـneurons، تقدر تعبر عن أي continuous function انت عايزها ولكن لازم تاخد في الاعتبار بعض الشروط، أحد الشروط دى هى الـnon linear activation function.

طيب ليه مش هقدر أحقق الـuniversal approximation من غير الـnon linear activation function؟

لإن من غيرها فكل الحسابات الى بتحصل داخل الـneural network ناتجة عن عمليات linear، كلها عمليات ضرب وجمع، لذلك المحصلة النهائية من كل ده هي إن الـneural network مش هتقدر تعبر عن أي حاجة اكتر تعقيداً من linear relationship.

طيب هل لو زودت أكتر من hidden layer واحدة هقدر أوصل لـnon linear relationship؟

إضافة hidden layer تانية كتير لا يعني إن انا بضيف non linearity في العلاقة، في الحقيقة كل الـhidden layers دى بتعمل linear transormations متتابعة مش أكتر، والمفاجأة إن كل الـhidden layers الى أنا ضفتها ممكن أستعوض عنهم بـhidden layer واحدة بس تؤدي كل الـlinear transformations دى مرة واحدة، والمفاجأة التانية هى إن كل الـneurons الموجودة في الـhidden layer الواحدة دى ممكن استعوض عنهم بـneuron واحد بس.

تفتكر كان إيه اسم الـmodel المكوّن من neuron واحد فقط ومفيش فيه non linear activation function؟ أيوة هو الـlinear regression.

فبالتالي أي neural network لا تستخدم activation function قدرتها لا تتعدى قدرة اي linear regression model بسيط.

لمزيد من المعلومات: