Implementasi Algoritma Penjadwalan untuk pengelolaan Big Data dengan Hadoop

  • Sidik Prabowo School of Computing, Telkom University
  • Maman Abdurohman Telkom University
https://doi.org/10.21108/INDOJC.2017.2.2.189
Abstract views: 2640 , PDF downloads: 1454
Original Files downloads: 0

Abstract

Paper ini mengusulkan skema scheduler hadoop pada penyelesaikan tipe job yang sesuai untuk peningkatan kinerja Hadoop. Kesesuaian jenis scheduler dan tipe job yang dikerjakan dapat meningkatkan throughput dan menurunkan waktu rata-rata penyelesaian job. Masalah utama pada eksekusi job adalah ketidaksesuaian antara scheduler dengan tipe job yang dikerjakan. Pada paper ini telah dilakukan pengujian terhadap beberapa algoritma scheduler Hadoop yaitu FIFO, Fair, SARS dan COSHH scheduler dengan beberapa jenis job yang ditangani dalam lingkungan hadoop. Jenis-jenis job yang diujikan adalah word count, random text writer dan grep. Pengujian dilakukan dua skenario, yaitu job homogen (satu jenis) dan heterogen (beberapa jenis job) dikerjakan bersama. Hasil pengujian menunjukan bahwa algoritma SARS cocok digunakan pada penyelesaian job yang sifatnya homogen. Sementara itu algoritma COSHH cocok digunakan pada penyelesaian job gabungan yang heterogen. 

Downloads

Download data is not yet available.

References

D. Borthakur, “HDFS Architecture Guide,†2008.

A. Rasooli and D. G. Down, “Guidelines for Selecting Hadoop Schedulers Based on System Heterogeneity,†J. Grid Comput., vol. 12, no. 3, pp. 499–519, Sep. 2014.

S. R. Pakize, “A Comprehensive View of Hadoop MapReduce Scheduling Algorithms,†Int. J. Comput. Networks Commun. Secur., vol. 2, no. 9, pp. 308–317, 2014.

M. Zaharia, D. Borthakur, J. Sen Sarma, K. Elmeleegy, and S. Shenker, “Job Scheduling for Multi-User MapReduce Clusters,†2009.

Z. Tang, L. Jiang, J. Zhou, K. Li, and K. Li, “A self-adaptive scheduling algorithm for reduce start time,†Futur. Gener. Comput. Syst., vol. 43–44, pp. 51–60, 2015.

A. Rasooli and D. G. Down, “COSHH: A classification and optimization based scheduler for heterogeneous Hadoop systems,†Futur. Gener. Comput. Syst., vol. 36, no. 36, pp. 1–15, Jul. 2014.

Published
2017-11-20
How to Cite
Prabowo, S., & Abdurohman, M. (2017). Implementasi Algoritma Penjadwalan untuk pengelolaan Big Data dengan Hadoop. Indonesia Journal on Computing (Indo-JC), 2(2), 119-126. https://doi.org/10.21108/INDOJC.2017.2.2.189
Issue
Vol. 2 No. 2 (2017): September, 2017
Section
Information Technology

Copyright (c) 2017 Sidik Prabowo

Creative Commons License

This work is licensed under a Creative Commons Attribution 4.0 International License.

  • Manuscript submitted to IndoJC has to be an original work of the author(s), contains no element of plagiarism, and has never been published or is not being considered for publication in other journals. 
  • Copyright on any article is retained by the author(s). Regarding copyright transfers please see below.
  • Authors grant IndoJC a license to publish the article and identify itself as the original publisher.
  • Authors grant IndoJC commercial rights to produce hardcopy volumes of the journal for sale to libraries and individuals.
  • Authors grant any third party the right to use the article freely as long as its original authors and citation details are identified.
  • The article and any associated published material is distributed under the Creative Commons Attribution 4.0License