Share to: share facebook share twitter share wa share telegram print page

Apache Hadoop

Apache Hadoop
Hadoop Logo
原作者Doug Cutting, Mike Cafarella
開發者Apache软件基金会
首次发布2006年4月1日,​18年前​(2006-04-01[1]
当前版本
  • 3.4.0(2024年3月17日)[2]
編輯維基數據鏈接
源代码库 編輯維基數據鏈接
编程语言Java
操作系统跨平台
类型大數據分佈式系統
许可协议Apache許可證 2.0
网站hadoop.apache.org

Apache Hadoop是一款支持數據密集型分佈式應用程序并以Apache 2.0許可協議發佈的開源軟體框架,有助于使用许多计算机组成的网络来解决数据、计算密集型的问题。基于MapReduce计算模型,它为大数据分布式存储与处理提供了一个软件框架。所有的Hadoop模块都有一个基本假设,即硬件故障是常见情况,应该由框架自动处理[3]

Apache Hadoop的核心模块分为存储和计算模块,前者被称为Hadoop分布式文件系统(HDFS),后者即MapReduce计算模型。Hadoop框架先将文件分成数据块并分布式地存储在集群的计算节点中,接着将负责计算任务的代码传送给各节点,让其能够并行地处理数据。这种方法有效利用了数据局部性,令各节点分别处理其能够访问的数据。与传统的超级计算机架构相比,这使得数据集的处理速度更快、效率更高[4][5]

Apache Hadoop框架由以下基本模块构成:

  • Hadoop Common – 包含了其他Hadoop 模块所需的库和实用程序;
  • Hadoop Distributed File System (HDFS) – 一种将数据存储在集群中多个节点中的分布式文件系统,能够提供很高的带宽;
  • Hadoop YARN – (于2012年引入) 一个负责管理集群中计算资源,并实现用户程序调度的平台[6][7]
  • Hadoop MapReduce – 用于大规模数据处理的MapReduce计算模型实现;
  • Hadoop Ozone – (于2020年引入) Hadoop的对象存储。

Hadoop 一词通常代指其基本模块和子模块以及生态系统[8],或可以安装在 Hadoop 之上的软件包的集合,例如Apache PigApache HiveApache HBaseApache PhoenixApache SparkApache ZooKeeperCloudera ImpalaApache FlumeApache SqoopApache OozieApache Storm[9]

Apache Hadoop的MapReduce和HDFS模块的灵感来源于GoogleMapReduceGoogle File System论文[10]

Hadoop 框架本身主要是用Java编程语言编写的,也包括了一些C语言编写的本机代码和Shell脚本编写的命令行实用程序。尽管MapReduce Java代码很常见,但任何编程语言都可以与Hadoop Streaming一起使用来实现用户程序的map和reduce部分[11]。Hadoop 生态系统中的其他项目实现了更为丰富的用户界面。

主要子项目

Hadoop小计算机集群用Cubieboard电脑。
  • Hadoop Common:在0.20及以前的版本中,包含HDFS、MapReduce和其他项目公共内容,从0.21开始HDFS和MapReduce被分离为独立的子项目,其余内容为Hadoop Common
  • HDFS:Hadoop分佈式文件系統(Distributed File System)-HDFS(Hadoop Distributed File System)
  • MapReduce:并行计算框架,0.20前使用org.apache.hadoop.mapred旧接口,0.20版本开始引入org.apache.hadoop.mapreduce的新API

相關项目

知名用戶

Hadoop在Yahoo!的應用

2008年2月19日,雅虎使用10,000個微處理器核心的Linux计算机集群運行一個Hadoop應用程式。[12]

其他用戶

其他知名用戶包括[13]

Hadoop與Sun Grid Engine

昇陽電腦的Sun Grid Engine可以用来调度Hadoop Job。[14][15]

Hadoop與Condor

威斯康辛大學麥迪遜分校的Condor計算機集群軟件也可以用作Hadoop Job的排程。[16]

參見

参考文献

  1. ^ Hadoop Releases. apache.org. Apache Software Foundation. [2019-04-28]. (原始内容存档于2019-04-28). 
  2. ^ Release 3.4.0 available. [2024年4月10日]. 
  3. ^ Welcome to Apache Hadoop!. hadoop.apache.org. [2016-08-25]. (原始内容存档于2017-09-23). 
  4. ^ Malak, Michael. Data Locality: HPC vs. Hadoop vs. Spark. datascienceassn.org. Data Science Association. 2014-09-19 [2014-10-30]. (原始内容存档于2017-09-10). 
  5. ^ Wang, Yandong; Goldstone, Robin; Yu, Weikuan; Wang, Teng. Characterization and Optimization of Memory-Resident MapReduce on HPC Systems. 2014 IEEE 28th International Parallel and Distributed Processing Symposium. IEEE. October 2014: 799–808. ISBN 978-1-4799-3800-1. S2CID 11157612. doi:10.1109/IPDPS.2014.87. 
  6. ^ Resource (Apache Hadoop Main 2.5.1 API). apache.org. Apache Software Foundation. 2014-09-12 [2014-09-30]. (原始内容存档于2014-10-06). 
  7. ^ Murthy, Arun. Apache Hadoop YARN – Concepts and Applications. hortonworks.com. Hortonworks. 2012-08-15 [2014-09-30]. (原始内容存档于2017-09-11). 
  8. ^ Continuuity Raises $10 Million Series A Round to Ignite Big Data Application Development Within the Hadoop Ecosystem. finance.yahoo.com. Marketwired. 2012-11-14 [2014-10-30]. (原始内容存档于2017-09-10). 
  9. ^ Hadoop-related projects at. Hadoop.apache.org. [2013-10-17]. (原始内容存档于2017-09-23). 
  10. ^ Data Science and Big Data Analytics: Discovering, Analyzing, Visualizing and Presenting Data. John Wiley & Sons. 2014-12-19: 300 [2015-01-29]. ISBN 9781118876220. 
  11. ^ nlpatumd; Adventures with Hadoop and Perl. Mail-archive.com. 2010-05-02 [2013-04-05]. (原始内容存档于2017-08-14). 
  12. ^ Yahoo! Launches World's Largest Hadoop Production Application (Hadoop and Distributed Computing at Yahoo!). [2008-09-04]. (原始内容存档于2008-05-14). 
  13. ^ PoweredBy. [2008-09-07]. (原始内容存档于2012-11-29). 
  14. ^ Creating Hadoop pe under SGE. Sun Microsystems. 2008-01-16 [2008-09-04]. (原始内容存档于2008-09-12). 
  15. ^ HDFS-Aware Scheduling With Grid Engine (PDF). Sun Microsystems. 2009-09-10. [永久失效連結]
  16. ^ Condor integrated with Hadoop's Map Reduce (PDF). 威斯康辛大學麥迪遜分校. 2010-04-15 [2011-03-15]. (原始内容存档 (PDF)于2011-04-01). 

外部連結

Read other articles:

Bombardir foto di Iowa City, 2010 Bombardir foto atau tunafoto (dari kata dasar tuna yang berarti rusak atau cacat dan foto) adalah tindakan sengaja menempatkan diri ke dalam tampilan foto, seringkali untuk memainkan lelucon praktis pada fotografer atau subjek.[1] Bombardir foto mendapat sorotan yang signifikan sejak 2009. [2] Dalam membahas gambar bombardir foto ikan pari yang menjadi populer, Andrea DenHoed berpendapat bahwa label bombardir foto menyiratkan narasi sabotase diam…

Artikel ini sebatang kara, artinya tidak ada artikel lain yang memiliki pranala balik ke halaman ini.Bantulah menambah pranala ke artikel ini dari artikel yang berhubungan atau coba peralatan pencari pranala.Tag ini diberikan pada Februari 2023. Artikel ini perlu dikembangkan dari artikel terkait di Wikipedia bahasa Inggris. (13 Desember 2022) klik [tampil] untuk melihat petunjuk sebelum menerjemahkan. Lihat versi terjemahan mesin dari artikel bahasa Inggris. Terjemahan mesin Google adalah …

Scissione binaria batterica. Quella della scissione, è la modalità di riproduzione asessuata più diffusa. La riproduzione asessuata ( o agametica, o vegetativa[1], o agamica, o più semplicemente agamia[2]) è il processo che consente la formazione di nuovi organismi da un singolo organismo, unicellulare o pluricellulare. Negli Eukaryota è basata fondamentalmente sulla mitosi e produce un insieme di discendenti, che costituiscono un clone, identici all'individuo generante. …

Artikel ini sebatang kara, artinya tidak ada artikel lain yang memiliki pranala balik ke halaman ini.Bantulah menambah pranala ke artikel ini dari artikel yang berhubungan atau coba peralatan pencari pranala.Tag ini diberikan pada Desember 2022. Kim Kwang-sunHangul김광선 Hanja金光善 Alih AksaraGim GwangseonMcCune–ReischauerKim Kwangsŏn Kim Kwang-sun (lahir 8 Juni 1964) adalah seorang petinju asal Korea Selatan. Kim memenangkan medali emas dalam kategori kelas terbang putra di Olimpiade …

Anne HathawayGambar ini karya Sir Nathaniel Curzon, bertahun 1708, dimaksudkan untuk menggambarkan Anne Hathaway, tetapi tidak ada bukti yang menunjukkan bahwa potret itu sebenarnya menggambarkan Hathaway.[1]Lahir1556Shottery, Swindon, InggrisMeninggal6 Agustus 1623(1623-08-06) (umur 66–67)Stratford-upon-Avon, Warwickshire, InggrisSuami/istri William Shakespeare ​ ​(m. 1582; meninggal dunia 1616)​AnakSusanna HallHamnet ShakespeareJud…

1900 murder in Saugus, Massachusetts Drawing on the front page of The Boston Globe on October 19, 1900 The murder of George E. Bailey occurred on October 8, 1900, at Breakheart Hill Farm in Saugus, Massachusetts. Bailey's employee, John C. Best, was subsequently convicted of the murder and executed. George E. Bailey Bailey Bailey was born in Whitefield, Maine.[1] He married a woman in Lynn, Massachusetts, and the couple moved to Alna, Maine. They had two children before her death. Bailey…

Radio station in Grand Rapids, Michigan For the FM radio station in Hillsboro, Ohio that held the call sign WSRW-FM from 1979 to 2009, see WQLX. WSRW-FMGrand Rapids, MichiganBroadcast areaGrand Rapids metropolitan area - West MichiganFrequency105.7 MHz (HD Radio)BrandingStar 105.7ProgrammingFormatAdult contemporaryAffiliationsPremiere NetworksOwnershipOwneriHeartMedia(iHM Licenses, LLC)Sister stationsWBCT, WBFX, WMAX-FM, WOOD, WSNX-FM, WTKGHistoryFirst air dateFebruary 26, 1962 (as WOOD-FM)Forme…

Indrata Nur Bayuaji Bupati Pacitan ke-30PetahanaMulai menjabat 26 April 2021PresidenJoko WidodoGubernurKhofifah Indar ParawansaWakilGagarin PendahuluIndartatoPenggantiPetahanaKetua DPRD Kabupaten PacitanMasa jabatan3 Oktober 2019 – 24 September 2020PresidenJoko WidodoGubernurKhofifah Indar ParawansaBupatiIndartato PendahuluRonny WahyonoPenggantiEko Setyoranu (Plt.)Ronny Wahyono Informasi pribadiLahir16 Desember 1978 (umur 45)Pacitan, Jawa TimurKebangsaanIndonesiaPartai po…

Pagan metalPrimordial 2016 di festival Rockharz, JermanSumber aliran Metal ekstrim black metal lagu daerah folk metal Viking metal Sumber kebudayaanAwal 1990an, Eropa UtaraTopik lainnya Celtic metal pagan rock agama rakyat paganisme modern neofolk Pagan metal adalah genre musik heavy metal yang memadukan metal ekstrim dengan tradisi pra-Kristen dari budaya atau wilayah tertentu melalui konsep tematik, melodi pedesaan, instrumen yang tidak biasa atau bahasa kuno,[1][2] biasanya me…

Keuskupan OzieriDioecesis Octeriensis o OthierensisKatolik Katedral OzieriLokasiNegaraItaliaProvinsi gerejawiSassariStatistikLuas2.269 km2 (876 sq mi)Populasi- Total- Katolik(per 2004)58.00057,000 (98.3%)Paroki30InformasiDenominasiGereja KatolikRitusRitus RomaPendirian9 Maret 1804KatedralCattedrale della Immacolata ConcezioneKepemimpinan kiniPausFransiskusUskupSede vacanteEmeritusSergio PintorSitus webwww.diocesiozieri.it Keuskupan Ozieri (bahasa Latin: Dio…

Chromium(II) iodide Names Other names chromous iodide Identifiers CAS Number 13478-28-9 3D model (JSmol) Interactive image ChemSpider 13318420 PubChem CID 18626753 CompTox Dashboard (EPA) DTXSID20595261 InChI InChI=1S/Cr.2HI/h;2*1H/q+2;;/p-2Key: BMSDTRMGXCBBBH-UHFFFAOYSA-L SMILES [Cr+2].[I-].[I-] Properties Chemical formula CrI2 Molar mass 305.8050 g·mol−1 Appearance black deliquescent solid Density 5.196 g/cm3 Except where otherwise noted, data are given for materials in the…

Gopinath MohantyGopinath Mohanty di Bhubaneswar pada 80anLahir(1914-04-20)20 April 1914Nagabali, CuttackMeninggal20 Agustus 1991(1991-08-20) (umur 77)San Jose, CaliforniaKebangsaanIndiaPendidikanM.A.AlmamaterKolese Ravenshaw Universitas PatnaPekerjaanAdministrator, profesorPenghargaanPenghargaan JnanpithPadma Bhushan Gopinath Mohanty (20 April 1914 – 20 Agustus 1991) adalah pemenang Penghargaan Jnanpith[1] dan novelis Odia pertengahan abad ke-20 yang dianggap sebagai…

For other uses, see Slippery When Wet (disambiguation). Raise Your Hands (song) redirects here. For the Devo song, see Something for Everybody (Devo album) § Something Else for Everybody. For the Krokus song, see Rock the Block. 1986 studio album by Bon JoviSlippery When WetStudio album by Bon JoviReleasedAugust 18, 1986 (1986-08-18)Recorded1985StudioLittle Mountain, Vancouver, CanadaGenreGlam metal[1][2]pop metal[3]pop rock[4][5&#…

Bahasa Lak лакку маз (lakku maz) Dituturkan diRusiaWilayahDagestan SelatanPenutur152,050 (2010)[1] Rincian data penutur Jumlah penutur beserta (jika ada) metode pengambilan, jenis, tanggal, dan tempat.[2] 154.820 (2010) Rumpun bahasaKaukasia Timur Laut Lak Sistem penulisanKirilStatus resmiBahasa resmi di DagestanKode bahasaISO 639-3lbeGlottologlakk1252[3] Status pemertahanan Punah EXSingkatan dari Extinct (Punah)Terancam CRSingkatan dari Critic…

City in Oklahoma, United StatesBixby, OklahomaCityNickname: The Garden Spot of OklahomaMotto: A Community Of ChoiceLocation of within Tulsa County, and the state of OklahomaBixby, OklahomaLocation in the United StatesCoordinates: 35°57′39″N 95°52′42″W / 35.96083°N 95.87833°W / 35.96083; -95.87833CountryUnited StatesStateOklahomaCountiesTulsa, WagonerGovernment • TypeCouncil–manager[1] • City managerJared Cottle[2…

فؤاد حسن حجازي صورة لفؤاد حجازي معلومات شخصية تاريخ الميلاد سنة 1904   تاريخ الوفاة سنة 1930 (25–26 سنة)  الحياة العملية المدرسة الأم الجامعة الأميركية في بيروت  تعديل مصدري - تعديل     هذه المقالة عن المناضل الفلسطيني فؤاد حجازي. لمعانٍ أخرى، طالع فؤاد حجازي. فؤاد …

American animated television series (1994–1999) Not to be confused with Where in the World Is Carmen Sandiego? (game show) or Where on Google Earth is Carmen Sandiego?. Where on Earth Is Carmen Sandiego?Genre Action-adventure Comedy Edutainment Developed bySean RocheDirected by Joe Barruso Stan Phillips Voices of Rita Moreno[1] Jennifer Hale Scott Menville Rodger Bumpass ComposerTom WorrallCountry of originUnited StatesOriginal languageEnglishNo. of seasons4No. of episodes40 (list of e…

拉吉夫·甘地राजीव गांधीRajiv Gandhi1987年10月21日,拉吉夫·甘地在阿姆斯特丹斯希普霍尔机场 第6任印度总理任期1984年10月31日—1989年12月2日总统吉亞尼·宰爾·辛格拉马斯瓦米·文卡塔拉曼前任英迪拉·甘地继任維什瓦納特·普拉塔普·辛格印度對外事務部部長任期1987年7月25日—1988年6月25日前任Narayan Dutt Tiwari(英语:Narayan Dutt Tiwari)继任納拉辛哈·拉奥任期1984年10月31…

Publishing company owned by Lutheran Church-Missouri Synod Concordia Publishing HouseFounded1869Country of originUnited StatesHeadquarters locationSt Louis, Missouri, US38°35′25″N 90°13′32″W / 38.5902°N 90.2255°W / 38.5902; -90.2255Key peopleJonathan D. Schultz (President & CEO)Publication typesBooks, magazines, sheet musicNonfiction topicsLutheranismOwner(s)Lutheran Church–Missouri SynodNo. of employees250Official websitewww.cph.org Concordia Publishing…

Coppa del Mondo di sci alpino 2004 Uomini Donne Vincitori Generale Hermann Maier Anja Pärson Discesa libera Stephan Eberharter Renate Götschl Supergigante Hermann Maier Renate Götschl Slalom gigante Bode Miller Anja Pärson Slalom speciale Rainer Schönfelder Anja Pärson Dati manifestazione Tappe 18 16 Gare individuali 39 35 2003 2005 La Coppa del Mondo di sci alpino 2004 fu la trentottesima edizione della manifestazione organizzata dalla Federazione Internazionale Sci; ebbe inizio il 25 ott…

Kembali kehalaman sebelumnya