Logo sq.boatexistence.com

Si funksionojnë hartuesit dhe reduktuesit?

Përmbajtje:

Si funksionojnë hartuesit dhe reduktuesit?
Si funksionojnë hartuesit dhe reduktuesit?

Video: Si funksionojnë hartuesit dhe reduktuesit?

Video: Si funksionojnë hartuesit dhe reduktuesit?
Video: Historia e Fatjones/ “Lufta ime me ankthin dhe depresionin, ia dola” - Rudina - 28 Nentor 2020 2024, Mund
Anonim

Dalja e një pune Mapper ose harte (çifte çelës-vlerë) është hyrje në Reduktues Reduktuesi merr çiftin çelës-vlerë nga punët e shumta të hartës. Më pas, reduktuesi grumbullon ato tuple të të dhënave të ndërmjetme (çift i ndërmjetëm çelës-vlerë) në një grup më të vogël tuplesh ose çiftesh çelës-vlerë që është dalja përfundimtare.

Çfarë bëjnë hartuesit dhe reduktuesit?

Hadoop Mapper është një funksion ose detyrë që përdoret për të përpunuar të gjitha të dhënat hyrëse nga një skedar dhe për të gjeneruar daljen që funksionon si hyrje për Reduktuesin Ai prodhon daljen duke kthyer të reja çiftet çelës-vlerë. … Hartuesi gjeneron gjithashtu disa blloqe të vogla të dhënash ndërsa përpunon të dhënat hyrëse si një çift çelës-vlerë.

Cili është ndryshimi midis hartës dhe reduktuesit?

Cili është ndryshimi kryesor ndërmjet hartuesit dhe reduktuesit? Detyra Mapper është faza e parë e përpunimit që përpunon çdo rekord hyrje (nga RecordReader) dhe gjeneron një çift të ndërmjetëm çelës-vlerë. Metoda e reduktimit thirret veçmas për çdo çift të listës së çelësave/vlerave.

Si e llogaritni numrin e hartuesve dhe reduktuesve?

Varet nga sa bërthama dhe sa memorie keni në secilin skllav. Në përgjithësi, një hartues duhet të të marrë 1 deri në 1,5 bërthama procesorë Pra, nëse keni 15 bërthama, atëherë mund të ekzekutoni 10 Hartë për nyje. Pra, nëse keni 100 nyje të dhënash në Hadoop Cluster, atëherë mund të ekzekutoni 1000 Mappers në një Cluster.

Si funksionon funksioni Mapper?

Mapper është një funksion i cili përpunon të dhënat hyrëse Hartëzuesi përpunon të dhënat dhe krijon disa pjesë të vogla të dhënash. Hyrja në funksionin e hartës është në formën e çifteve (çelës, vlerë), edhe pse hyrja në një program MapReduce është një skedar ose drejtori (i cili ruhet në HDFS).

Recommended: