Manakah Fungsi Aktivasi yang Baik untuk Saya Gunakan?

Apa itu fungsi aktivasi pada Neural Network? mari kita pelajari disini dengan cermat. sebelum kita memahami apa itu aktivasi fungsi, mari pahami dulu apa itu aktivasi?. aktivasi itu hadalah angka, maksutnya?. pada semua ilmu pembelajaran mendalam (deep learning) memiliki persamaan dasar sebagai berikut y = w * x + b, naah setelah kita melakukan proses perhitungan menggunakan persamaan tersebut, yang dimaksut dengan fungsi aktivasi adalah peranan dari nilai y, jadi setiap kali perhitungan pada jaringan saraf (neural network) yang menghitung persamaan tersebut, akan memiliki nilainya sendiri-sendiri yaitu y. dan semua nilai itu disebut aktivasi. jadi memang tidak ada konsep kusus dari aktivasi, karena aktivasi adalah angka. 

        Naah dalam pengertiannya Fungsi aktivasi adalah suatu fungsi yang akan men-transformasi-kan suatu inputan menjadi suatu output tertentu, atau dalam pengertian lain fungsi aktivasi adalah operasi matematika yang dikenakan pada sinyal output y. fungsi ini digunakan untuk mengaktifkan atau menonaktifkan neuron, dan digunakan untuk menentukan hasil output dari suatu neuron.

Masih bingung? terus perhatikan yaa!. jaringan saraf pada dasarnya merupakan kombinasi dari beberapa fungsi linier dan non linier. yang ini tadi y=m*x + b adalah fungsi linier. Tetapi, jika kita hanya memiliki fungsi linier pada jaringan kita di semua lapisan (layer), maka jaringan tersebut hanya bertindak pada jaringan lapisan tunggal. disini lah letak kekurangnnya dimana jaringan tersebut tidak akan bisa belajar banyak.

        Itulah mengapa kita menggunakan fungsi aktivasi untuk menghasilkan output dari setiap proses di setiap lapisan (layer). ini lah dasar pengembangan kekuatan dari neural network dalam mempelajari masalah non linear.Sebenarnya ada banyak fungsi aktivasi, tetapi disini saya hanya akan menjelaskan 4 fungsi aktivasi paling populer yang dapat anda gunakan dalam penelitian kalian. 

1. Sigmoid () : fungsi aktivasi sigmoid berguna untuk mengubah nilai aktivasi menjadi nilai antara 0 sampai 1. ini berguna untuk masalah Klasifikasi Biner dan memang sebagian besar digunakan pada lapisan output dari masalah tersebut. 

2. Tanh () : fungsi aktivasi Tanh berguna untuk mengubah nilai aktivasi menjadi nilai antara -1 sampai 1. fungsi aktivasi ini lebih baik dari fungsi aktivasi sigmoid dalam banyak kasus karena nilai outputnya dinormalisasi. ini adalah fungsi aktivasi yang sangat populer yang digunakan dalam proses hidden layer. Secara matematis digambarkan sebagai berikut. 

tanh(z) = [exp(z) - exp(-z) ]/[exp(z) + exp(-z)]  

3. ReLU () : fungsi aktivasi ReLU ( Rectified Linear Unit) adalah fungsi aktivasi yang dapat digunakan di mana saja, walaupun pada prosesnya hanya mengubah nilai negatif menjadi 0. fungsi ini merupakan fungsi yang paling populer dan efektif pada proses hidder layer (lapisan tersembunyi). ini juga merupakan fungsi aktivasi yang paling sering digunakan, dan merupakan pilihan standard (default) untuk sebagian besar pada penggunakan lapisan jaring saraf (neural network layers).

ReLU(z) = max(0,z) 

4. Leaky ReLU () : mungkin dalam beberapa kasus kalian tidak dapat menerapkan metode ReLU, karena prosesnya yang menjadikan nilai negatif menjadi 0. naah, untuk mengatasinya kita dapat menggunakan Leaky ReLU. Leaky ReLU dapat memastikan nilai negatif tidak menjasi 0. Walaupun sebenarnya sebagian besar fungsi ReLU tidak menjadi masalah. 

Leaky_ReLU (z) = maks (0,01 * z, z)

Dari keempat proses tersebut, penggunaan ReLU dan Leaky ReLU memiliki keuntungan tersendiri pada proses algoritma pembelajarannya, karena algoritma akan belajar jauh lebih cepat jika dibandingkan dengan sigmoid atau Tanh. (ya karena semua nilai negatif dijadikan nilai 0).

Jadi manakah yang paling baik untuk saya gunakan? 

1. Jika kalian perlu memilih nilai antara 0 sampai 1, seperti pada masalah Klasifikasi Biner, maka gunakan fungsi aktivasi Sigmoid. selain memilih nilai antara 0 sampai 1, jangan gunakan metode ini.

2. ReLU adalah pilihan default untuk semua kasus baik biner maupun kasus lainnya.  tetapi beberapa kasus kalian dapat menggunakan tanh. atau cobalah untuk bermain di antara keduanya jika kalian tidak yakin mana yang ingin kalian gunakan. 

Naah sekian penjelasan tentang fungsi aktivasi, jika kalian memiliki saran atau kritik monggo berikan komentar kalian.