Implementasi Algoritma Penjadwalan untuk pengelolaan Big Data dengan Hadoop

Sidik Prabowo, Maman Abdurohman

Abstract


Paper ini mengusulkan skema scheduler hadoop pada penyelesaikan tipe job yang sesuai untuk peningkatan kinerja Hadoop. Kesesuaian jenis scheduler dan tipe job yang dikerjakan dapat meningkatkan throughput dan menurunkan waktu rata-rata penyelesaian job. Masalah utama pada eksekusi job adalah ketidaksesuaian antara scheduler dengan tipe job yang dikerjakan. Pada paper ini telah dilakukan pengujian terhadap beberapa algoritma scheduler Hadoop yaitu FIFO, Fair, SARS dan COSHH scheduler dengan beberapa jenis job yang ditangani dalam lingkungan hadoop. Jenis-jenis job yang diujikan adalah word count, random text writer dan grep. Pengujian dilakukan dua skenario, yaitu job homogen (satu jenis) dan heterogen (beberapa jenis job) dikerjakan bersama. Hasil pengujian menunjukan bahwa algoritma SARS cocok digunakan pada penyelesaian job yang sifatnya homogen. Sementara itu algoritma COSHH cocok digunakan pada penyelesaian job gabungan yang heterogen. 


Full Text:

PDF

References


D. Borthakur, “HDFS Architecture Guide,” 2008.

A. Rasooli and D. G. Down, “Guidelines for Selecting Hadoop Schedulers Based on System Heterogeneity,” J. Grid Comput., vol. 12, no. 3, pp. 499–519, Sep. 2014.

S. R. Pakize, “A Comprehensive View of Hadoop MapReduce Scheduling Algorithms,” Int. J. Comput. Networks Commun. Secur., vol. 2, no. 9, pp. 308–317, 2014.

M. Zaharia, D. Borthakur, J. Sen Sarma, K. Elmeleegy, and S. Shenker, “Job Scheduling for Multi-User MapReduce Clusters,” 2009.

Z. Tang, L. Jiang, J. Zhou, K. Li, and K. Li, “A self-adaptive scheduling algorithm for reduce start time,” Futur. Gener. Comput. Syst., vol. 43–44, pp. 51–60, 2015.

A. Rasooli and D. G. Down, “COSHH: A classification and optimization based scheduler for heterogeneous Hadoop systems,” Futur. Gener. Comput. Syst., vol. 36, no. 36, pp. 1–15, Jul. 2014.




DOI: http://dx.doi.org/10.21108/INDOJC.2017.2.2.189

Refbacks

  • There are currently no refbacks.


Copyright (c) 2017 Sidik Prabowo

Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.