在大數據分析和計算領域，那必須是Hadoop的天下啊！經過多年的發展，Hadoop家族也在不斷的壯大、完善、成熟，現已包含HDFS、MapReduce、Zookeeper、HBase、Hive、Pig、Mahout、Sqoop、Flume、Ambari等組件。

HDFS是分布式文件系統，負責超大數據的存儲；HBase是提供高可靠、高性能、實時讀寫的分布式列式數據庫，主要存儲非結構化數據（底層依托HDFS）；MapReduce是數據計算模型，負責海量的、負責的數據計算任務處理；Hive是數據倉庫，以MapReduce為底層能力進行數據計算分析；Zookeeper是分布式服務協調框架，用于分布式應用構建和管理；Ambrari負責Hadoop集群的安裝、配置、部署管理；Flume提供高可用、高可靠、分布式的日志采集。

總而言之，Hadoop家族真的是非常強大啊，各種各樣的技術組件都有，這些技術組件拆開在各個領域，都是一等一的高手，每個組件都有自己的資源調度系統管理自己任務的資源分配，為業務解決著各種各樣的問題，日子過的風生水起。

但是當這些高手們都聚集在一起時，問題就出現了，有的組件可能申請不到資源，有的組件可能申請了過多資源不用，從而導致有的服務不能運轉、有的服務資源過度浪費。不過姜還是老的辣，我們一起來看看Hadoop是如何解決這場家族危機的吧？

Yarn（YetAnother Resource Negotiator）是Hadoop的集群資源調度框架，提供資源管理和任務調度兩大能力，為上層服務提供統一的資源管理和調度，提供資源利用率。

在介紹YARN之前，我們先來看看相關的名詞解釋。在YARN中有四個名詞，即ResourceManager、ApplicationMaster、NodeManager、Container，ResourceManager是全局的資源管理器（大管家），負責管理整個Hadoop集群的基礎資源（比如CPU、內存），根據容量、隊列等情況，將資源分配給到各個正在運行當中的應用程序；ApplicationMaster是具體應用程序運行時的管控者（小管家），它協調來自大管家的資源，分配資源給到應用程序內部使用，在任務運行時進行監控，任務執行失敗時重新申請資源并啟動任務；NodeManager是應用程序中具體實例的資源管理（小小管家），它負責管理自己節點的整個生命運行周期，接受來自小管家的安排（如啟動、停止）；Container負責具體實例的運行（長工），在負責運行每個一個實例任務，比如Spark計算任務，同時接受小小管家的安排。

YARN是一個非常強大、非常可靠的資源共享型平臺，它的應用場景也很多，比如用于Spark任務調度，接收spark的任務并處理，比如用于MapReduce任務的生命周期管理，我們以Spark任務調度為例，來看看YARN的工作流程是怎么樣呢？

現在我們要執行一個Spark計算任務，Spark客戶端向YARN提交計算任務的應用程序申請；YARN的ResourceManager大管家收到請求之后，在整個資源池中尋找是否有資源可用，找到之后生成一個Container長工，并分配NodeManager小小管家進行管理，同時啟動應用程序的ApplicationMaster小管家；小管家在執行應用程序的任務之前，先把自己在大管家進行報備，這樣用戶就可以在大管家那里查看應用程序的運行狀態并進行管理了。

在長工Container的任務開始執行后，小管家通過輪詢的方式不斷向大管家申請資源，并且把申請到的資源又分配給小小管家，安排它為長工準備好工作環境、隨時恭候干活，在干活的過程中，大管家、小管家、小小管家不斷的進行通信交流，隨時知道各個長工的工作狀態、任務完成情況，在出現問題時及時出手進行解決，保障任務的順利完成。任務完成之后，小管家向大管家會報工作，釋放資源。

YARN不止聚焦于Hadoop家族內的資源管理，為了使自己變得更加強大，它還開放了ApplicationMaster小管家的能力。通過上面的運行流程我們也能看到，大管家、小小管家、長工都和業務沒關系，只是任務執行流水線上的一環，只有小管家才和業務緊密管理。YARN允許第三方框架集成ApplicationMaster，支持了更多的業務類型，擴展了自己的范圍。我們常看到的MapReduceOn YARN、SparkOn YARN、StormOn YARN等解決方案便是在YARN原生能力的集成擴展。

所謂沒有規矩，不成方圓。在一個技術生態出現之后，必然有對應的管理體系出現，正如Docker容器出現之后，容器調度系統DockerSwarm、Kubernetes就出現了一樣，Hadoop生態系統出現壯大后，YARN也隨之應運而生，一切都是為了更好的服務于業務。通過本文的講解，你明白了YARN是啥？如何工作？如何管控整個Hadoop家族了嗎？

如果你想實現自己的IT技能夢想，那就趕緊早計劃，早行動，你的努力成果也會早一步到達~

全面的標準化教學模式

嚴謹的校園管理制度

希望熱愛互聯網專業的小伙伴們能夠走進我們的校園

一起度過愉快的求學歷程，共同擁抱更美好的未來！

    運城北大青鳥，期待與您相遇！

2023年春季招生預報名正在進行中，0359-2088100