資訊中心 Info
當前位置:愛尚教育 > 資訊中心 >
hadoop
發布日期:2020-05-12 閱讀次數:
一.hadoop是什么
Hadoop被公認是一套行業大數據標準開源軟件,在分布式環境下提供了海量數據的處理能力。幾乎所有主流廠商都圍繞Hadoop開發工具、開源軟件、商業化工具和技術服務。今年大型IT公司,如EMC、Microsoft、Intel、Teradata、Cisco都明顯增加了Hadoop方面的投入。
 
 
 
二 .hadoop能干什么
hadoop擅長日志分析,facebook就用Hive來進行日志分析,2009年時facebook就有非編程人員的30%的人使用HiveQL進行數據分析;淘寶搜索中的自定義篩選也使用的Hive;利用Pig還可以做高級的數據處理,包括Twitter、LinkedIn 上用于發現您可能認識的人,可以實現類似Amazon.com的協同過濾的推薦效果。淘寶的商品推薦也是!在Yahoo!的40%的Hadoop作業是用pig運行的,包括垃圾郵件的識別和過濾,還有用戶特征建模。(2012年8月25新更新,天貓的推薦系統是hive,少量嘗試mahout!)
 
 
 
三.hadoop的核心
1.HDFS: Hadoop Distributed File System  分布式文件系統
 
2.YARN: Yet Another Resource Negotiator   資源管理調度系統
 
3.Mapreduce:分布式運算框架
 
 
 
四.HDFS的架構
主從結構
 
       •主節點, namenode
 
        •從節點,有很多個: datanode
 
namenode負責:
 
         •接收用戶操作請求
 
         •維護文件系統的目錄結構
 
         •管理文件與block之間關系,block與datanode之間關系
 
datanode負責:
 
         •存儲文件
 
         •文件被分成block存儲在磁盤上
 
         •為保證數據安全,文件會有多個副本
 
 
 
Secondary NameNode負責:
 
           合并fsimage和edits文件來更新NameNode的metedata
 
 
 
五.Hadoop的特點
擴容能力(Scalable):能可靠地(reliably)存儲和處理千兆字節(PB)數據。
 
成本低(Economical):可以通過普通機器組成的服務器群來分發以及處理數據。這些服務器群總計可達數千個節點。
 
高效率(Efficient):通過分發數據,hadoop可以在數據所在的節點上并行地(parallel)處理它們,這使得處理非常的快速。
 
可靠性(Reliable):hadoop能自動地維護數據的多份副本,并且在任務失敗后能自動地重新部署(redeploy)計算任務。
 
 
 
六.NameNode
1.簡介
namenode是整個文件系統的管理節點。他維護著整個文件系統的文件目錄樹,文件/目錄的元信息和每個文件對應的數據塊列表。接收用戶的操作請求。
 
文件包括:
 
fsimage:元數據鏡像文件。存儲某一時段NameNode內存元數據信息。
 
edits:操作日志文件。
 
fstime:保存最近一次checkpoint的時間。
 
 
 
2.NameNode的工作特點
NameNode始終在內存中保存metedata,用于處理“讀請求”,到有“寫請求”到來時,NameNode首先會寫editlog到磁盤,即向edits文件中寫日志,成功返回后,才會修改內存,并且向客戶端返回。
 
Hadoop會維護一個人fsimage文件,也就是NameNode中metedata的鏡像,但是fsimage不會隨時與NameNode內存中的metedata保持一致,而是每隔一段時間通過合并edits文件來更新內容。Secondary NameNode就是用來合并fsimage和edits文件來更新NameNode的metedata的。
 
 
 
3.什么時候checkpoint
fs.checkpoint.period 指定兩次checkpoint的最大時間間隔,默認3600秒。 
fs.checkpoint.size    規定edits文件的最大值,一旦超過這個值則強制checkpoint,不管是否到達最大時間間隔。默認大小是64M。
 
 
 
 
 
 
 
七.SecondaryNameNode
1.簡介
HA的一個解決方案。但不支持熱備。配置即可。
執行過程:從NameNode上下載元數據信息(fsimage,edits),然后把二者合并,生成新的fsimage,在本地保存,并將其推送到NameNode,替換舊的fsimage.
默認在安裝在NameNode節點上,但這樣...不安全!
 
2.工作流程
(1)secondary通知namenode切換edits文件;
(2)secondary從namenode獲得fsimage和edits(通過http);
(3)secondary將fsimage載入內存,然后開始合并edits;
(4)secondary將新的fsimage發回給namenode;
(5)namenode用新的fsimage替換舊的fsimage;
 
 
 
八.DataNode
提供真實文件數據的存儲服務。
文件塊(block):最基本的存儲單位。對于文件內容而言,一個文件的長度大小是size,那么從文件的0偏移開始,按照固定的大小,順序對文件進行劃分并編號,劃分好的每一個塊稱一個Block。HDFS默認Block大小是128MB,以一個256MB文件,共有256/128=2個Block.
dfs.block.size
不同于普通文件系統的是,HDFS中,如果一個文件小于一個數據塊的大小,并不占用整個數據塊存儲空間;
Replication:多復本。默認是三個。
 
 
 
九.HDFS
(1)讀過程
1.初始化FileSystem,然后客戶端(client)用FileSystem的open()函數打開文件
 
2.FileSystem用RPC調用元數據節點,得到文件的數據塊信息,對于每一個數據塊,元數據節點返回保存數據塊的數據節點的地址。
 
3.FileSystem返回FSDataInputStream給客戶端,用來讀取數據,客戶端調用stream的read()函數開始讀取數據。
 
4.DFSInputStream連接保存此文件第一個數據塊的最近的數據節點,data從數據節點讀到客戶端(client)
 
5.當此數據塊讀取完畢時,DFSInputStream關閉和此數據節點的連接,然后連接此文件下一個數據塊的最近的數據節點。
 
6.當客戶端讀取完畢數據的時候,調用FSDataInputStream的close函數。
 
7.在讀取數據的過程中,如果客戶端在與數據節點通信出現錯誤,則嘗試連接包含此數據塊的下一個數據節點。
 
8.失敗的數據節點將被記錄,以后不再連接。
 
 
 
 
 
(2)寫過程
1.初始化FileSystem,客戶端調用create()來創建文件
 
2.FileSystem用RPC調用元數據節點,在文件系統的命名空間中創建一個新的文件,元數據節點首先確定文件原來不存在,并且客戶端有創建文件的權限,然后創建新文件。
 
3.FileSystem返回DFSOutputStream,客戶端用于寫數據,客戶端開始寫入數據。
 
4.DFSOutputStream將數據分成塊,寫入data queue。data queue由Data Streamer讀取,并通知元數據節點分配數據節點,用來存儲數據塊(每塊默認復制3塊)。分配的數據節點放在一個pipeline里。Data Streamer將數據塊寫入pipeline中的第一個數據節點。第一個數據節點將數據塊發送給第二個數據節點。第二個數據節點將數據發送給第三個數據節點。
 
5.DFSOutputStream為發出去的數據塊保存了ack queue,等待pipeline中的數據節點告知數據已經寫入成功。
 
6.當客戶端結束寫入數據,則調用stream的close函數。此操作將所有的數據塊寫入pipeline中的數據節點,并等待ack queue返回成功。最后通知元數據節點寫入完畢。
 
7.如果數據節點在寫入的過程中失敗,關閉pipeline,將ack queue中的數據塊放入data queue的開始,當前的數據塊在已經寫入的數據節點中被元數據節點賦予新的標示,則錯誤節點重啟后能夠察覺其數據塊是過時的,會被刪除。失敗的數據節點從pipeline中移除,另外的數據塊則寫入pipeline中的另外兩個數據節點。元數據節點則被通知此數據塊是復制塊數不足,將來會再創建第三份備份。
 
 
課程體系
通知公告
富二代app破解版下载