Logo des Repositoriums
 

Klassisches Multi-threading versus MapReduce zur Parallelisierung rechenintensiver Tasks in der Amazon Cloud

Kurzanzeige
dc.contributor.authorMandl, Peter
dc.contributor.authorDöschl, Alexander
dc.date.accessioned2021-03-25T10:40:36Z
dc.date.available2021-03-25T10:40:36Z
dc.date.issued2018
dc.description.abstractDer vorliegende Beitrag befasst sich mit dem Vergleich von rechenintensiven multi-threaded und MapReduce-Lösungen in einer Amazon Cloud unter Nutzung der Amazon AWS-Dienste EC2 und EMR. Als Fallbeispiel für unsere Experimente wurde ein einfaches, aber rechenintensives Geduldsspiel verwendet. Zur Ermittlung aller Lösungen mit der Brute-Force-Methode mussten 15! Permutationen ermittelt und jeweils auf die Lösungsregeln hin getestet werden. Die Implementierung unserer Experimentierlösung erfolgte in der Programmiersprache Java mit einem einfachen multi-threaded Algorithmus und alternativ mit einem MapReduce-Algorithmus. Die Lösungen wurden in Amazon-EC2/EMR-Clustern auf ihre Leistungsfähigkeit und Skalierbarkeit hin verglichen. Die Hadoop-Verarbeitungszeit skalierte annähernd linear (leicht sublinear). Für die Beurteilung der Skalierbarkeit sollten aber unseren Experimenten zufolge auch die Anzahl an Inputsplits, die Auslastung der Hardware und weitere Aspekte herangezogen werden. Der Vergleich der multi-threaded mit der MapReduce-Lösung unter Amazon EMR (Apache Hadoop) ergab, dass die Verarbeitungszeit gemessen in CPU-Minuten bei MapReduce um mehr als 30 % höher war. This article compares CPU-intensive multi-threaded with MapReduce solutions running in the Amazon Cloud using the AWS services EC2 and EMR. As a case study for our experiments a simple, but compute-intensive puzzle was used. In order to compute all solutions of the puzzle with a brute-force method, 15! permutations had to be calculated and tested against the rules of the puzzle. Java was used to implement our experimental solutions. We used a simple multi-threaded algorithm and a MapReduce algorithm alternatively. We compared our solutions concerning performance and scalability by using an Amazon ECR/EMR cluster. The processing time with Hadoop behaves approximately linear (slightly sublinear). In the assessment of scalability according to our experiments also the number of input splits, the hardware utilization and other aspects should be taken into account. The comparison based on Amazon EMR (Apache Hadoop) shows a 30 percent higher processing time of the MapReduce solution.de
dc.identifier.doi10.1365/s40702-017-0360-z
dc.identifier.pissn2198-2775
dc.identifier.urihttp://dx.doi.org/10.1365/s40702-017-0360-z
dc.identifier.urihttps://dl.gi.de/handle/20.500.12116/35840
dc.publisherSpringer
dc.relation.ispartofHMD Praxis der Wirtschaftsinformatik: Vol. 55, No. 2
dc.relation.ispartofseriesHMD Praxis der Wirtschaftsinformatik
dc.subjectAmazon EC2
dc.subjectAmazon EMR
dc.subjectApache Hadoop
dc.subjectCloud Computing
dc.subjectGame 30
dc.subjectLeistung
dc.subjectMapReduce
dc.subjectMulti-threading
dc.subjectParallel Scheduling
dc.subjectParallelisierung
dc.subjectPerformance
dc.subjectScaling
dc.subjectSkalierung
dc.subjectSpiel 30
dc.titleKlassisches Multi-threading versus MapReduce zur Parallelisierung rechenintensiver Tasks in der Amazon Cloudde
dc.typeText/Journal Article
gi.citation.endPage461
gi.citation.startPage445

Dateien

Sammlungen

HMD 55(2) - April 2018 - Digitale Geschäftsmodelle