Pemilihan Fungsi Aktivasi Terbaik untuk Klasifikasi MNIST

Posted by JMII e-Journal on 05.45

Pemilihan Fungsi Aktivasi Terbaik untuk Klasifikasi MNIST

Siti Ratna Swari
Fakultas Teknik Informatika, Jurusan Teknik Informatika
Universitas Telkom
Jalan Telekomunikasi No 1, Bandung, Indonesia
sitiratnaswari@gmail.com

Muhammad Hilmy An Nabhany
Fakultas Teknik Informatika, Jurusan Teknik Informatika
Universitas Telkom
Jalan Telekomunikasi No 1, Bandung, Indonesia
annabhany@yahoo.co.id

 Abstrak

Convolutional Neural Network (CNN) adalah salah satu metode yang terdapat dalam deep learning yang banyak digunakan untuk menyelesaikan permasalahan yang berkaitan dengan pengenalan gambar (image recognition) dan klasifikasi. Salah satu klasifikasi yang menarik adalah klasifikasi mengenai pengenalan tulisan tangan. Pada penelitian ini penulis mencari fungsi aktivasi yang terbaik untuk klasifikasi MNIST.
Fungsi aktivasi yang dibandingkan adalah Rectified Linear Units(ReLU), Leaky ReLU(LReLU), dan Exponential Linear Unit(ELU). Selama ini, ELU dianggap sebagai fungsi aktifasi terbaik. Selain itu, ELU dan LeakyReLU mengatasi masalah dead neuron yang ada pada ReLU.
Dataset yang digunakan adalah dataset The MNIST Database of Handwritten Digit yang berjumlah 70000. Evaluasi hasil dilakukan dengan menggunakan Cross Entropi Loss untuk setiap epoch ReLU, LeakyReLU, dan ELU.
Kata kunci: Klasifikasi, fungsi aktivasi, deep learning.

Abstract

Convolutional Neural Network (CNN) is one of the methods found in deep learning that is widely used to solve problems related to image recognition and classification. One interesting classification is the classification of handwriting recognition. In this  study the author looks for the best activation function for MNIST classification.
The comparative activation functions are Rectified Linear Units (ReLU), Leaky ReLU (LReLU), and Exponential Linear Unit (ELU). During this time, ELU is considered as the best activation function. In addition, ELU and LeakyReLU overcome the dead neuron problem in ReLU.
The dataset used is the dataset of The MNIST Database of Handwritten Digits totaling 70000. The results evaluation is done by using Cross Entropy Loss for each epoch ReLU, LeakyReLU, and ELU.

Keywords :Classification, activation function, deep learning



Klik di sini untuk Download JMII VOL 2 No 3 2017