Hadoop & Spark´óÊý¾Ý¿ª·¢ÊµÕ½

Ç°ÑÔ¹ØÓÚÒýÓÃ×÷Æ·°æȨ˵Ã÷µÚ1Õ ³õʶHadoop ±¾ÕÂÈÎÎñ ÈÎÎñ1 ´óÊý¾Ý¸ÅÊö ¡­¡­¡­¡­¡­¡­¡­ 1.1.1 ´óÊý¾Ý»ù±¾¸ÅÄî 1.1.2 ´óÊý¾Ý¶ÔÓÚÆóÒµ´øÀ´µÄÌôÕ½¡­¡­ ÈÎÎñ2 Hadoop¸ÅÊö¡­¡­¡­ ¡­¡­ 1.2.1 Hadoop¼ò½é ¡­¡­ 1.2.2 HadooDÉú̬ϵͳ ¡­¡­¡­ 1.2.3 ´óÊý¾ÝÓ¦Óð¸Àý ¡­¡­¡­ ÈÎÎñ3 Hadoop»·¾³´ë½¨¡­ ¡­¡­ 1.3.1 ÐéÄâ»ú°²×° ¡­ ¡­ ¡­ 1.3.2 Linuxϵͳ°²×° ¡­¡­ 1.3.3 Hadoopα·Ö²¼Ê½»·¾³´î½¨ ¡­¡­ ±¾ÕÂ×Ü½á ¡­¡­ ¡­¡­¡­¡­¡­¡­¡­¡­ ±¾ÕÂ×÷Òµ ¡­¡­¡­¡­ µÚ2Õ ·Ö²¼Ê½ÎļþϵͳHDFS ±¾ÕÂÈÎÎñ ¡­¡­ ¡­¡­ ¡­¡­¡­¡­ ÈÎÎñ1 ³õʶHDFS ¡­¡­¡­¡­¡­¡­¡­ 2.1.1 HDFS¸ÅÊö ¡­¡­¡­ 2.1.2 HDFS»ù±¾¸ÅÄî¡­¡­¡­¡­¡­¡­ 2.1.3 HDFSÌåϵ½á¹¹¡­ ¡­ ¡­¡­ ÈÎÎñ2 HDFS²Ù×÷ ¡­¡­¡­¡­¡­¡­ 2.2.1 HDFS shell·ÃÎÊ ¡­¡­¡­ 2.2.2 Java API·ÃÎÊ¡­¡­¡­ ¡­¡­ ÈÎÎñ3 HDFSÔËÐлúÖÆ¡­¡­¡­¡­¡­ 2.3.1 HDFSÎļþ¶ÁдÁ÷³Ì ¡­¡­¡­ 2.3.2 HDFS¸±±¾»úÖÆ ¡­¡­¡­¡­ 2.3.3 Êý¾Ý¸ºÔؾùºâ¡­¡­ ¡­¡­¡­ 2.3.4 »ú¼Ü¸ÐÖª ¡­ ¡­ ÈÎÎñ4 HDFS½ø½×¡­¡­¡­¡­¡­¡­ 2.4.1 HadoopÐòÁл¯ ¡­ 2.4.2 »ùÓÚÎļþµÄÊý¾Ý½á¹¹SequenceFile 2.4.3 »ùÓÚÎļþµÄÊý¾Ý½á¹¹MapFile ±¾ÕÂ×Ü½á ¡­ ¡­¡­¡­¡­ ±¾ÕÂ×÷Òµ¡­¡­¡­¡­¡­ ¡­¡­ ¡­¡­¡­ µÚ3Õ ·Ö²¼Ê½¼ÆËã¿ò¼ÜMapReduce¡­ ±¾ÕÂÈÎÎñ¡­¡­¡­¡­¡­¡­ ¡­ ¡­¡­¡­ ÈÎÎñ1 MapReduce±à³ÌÄ£ÐÍ¡­¡­¡­ 3.1.1 MapReduce¸ÅÊö¡­ 3.1.2 MapReduce±à³ÌÄ£ÐÍ ¡­ 3.1.3 MapReduce Woracount±à³ÌʵÀý ÈÎÎñ2 MapReduce½ø½×¡­¡­¡­¡­¡­ 3.2.1 MapReduceÀàÐÍ¡­¡­ 3.2.2 MapReduceÊäÈë¸ñʽ¡­¡­ 3.2.3 MapReduceÊä³ö¸ñʽ 3.2.4 Combiner ¡­ 3.2.5 Partitioner ¡­ 3.2.6 RecordReader ¡­ ¡­ ÈÎÎñ3 MapReduce¸ß¼¶±à³Ì¡­¡­ 3.3.1 JoinµÄMapReduceʵÏÖ¡­ 3.3.2 ÅÅÐòµÄMapReduceʵÏÖ¡­¡­ 3.3.3 ¶þ´ÎÅÅÐòµÄMapReduceʵÏÖ¡­¡­ 3.3.4 ºÏ²¢Ð¡ÎļþµÄMapReduceʵÏÖ ±¾ÕÂ×ܽᡭ¡­ ¡­¡­¡­¡­¡­ ¡­¡­ ±¾ÕÂ×÷Òµ¡­¡­¡­ ¡­¡­ ¡­¡­ µÚ4Õ YARNÓëHadoopÐÂÌØÐÔ ±¾ÕÂÈÎÎñ¡­¡­¡­¡­¡­¡­ ¡­¡­¡­ ÈÎÎñ1 ³õʶ×ÊÔ´µ÷¶È¿ò¼ÜYARN¡­ 4.1.1 YARN²úÉú±³¾° 4.1.2 ³õʶYARN 4.1.3 YARNÔËÐлúÖÆ ÈÎÎñ2 HDFSÐÂÌØÐÔ 4.2.1 HDFS NameNOde HA 4.2.2 HDFS NameN0de Federation 4.2.3 HDFSSnaoshots 4.2.4 WebHOFS RESTAPI 4.2.5 DistCp ÈÎÎñ3 YARNÐÂÌØÐÔ ¡­ 4.3.1 ResourceManager Restart 4.3.2 ResourceManager HA ±¾ÕÂ×Ü½á ¡­ ¡­ ¡­ ±¾ÕÂ×÷Òµ ¡­ ¡­ ¡­¡­ µÚ5Õ ´óÊý¾ÝÊý¾Ý²Ö¿âHive ±¾ÕÂÈÎÎñ ¡­ ¡­ ÈÎÎñ1 ³õʶHive ¡­ ¡­ 5.1.1 Hiye¼ò½é 5.1.2 Hiye¼Ü¹¹ 5.1.3 HiyeÓëHadoopµÄ¹Øϵ 5.1.4 HiveÓ봫ͳ¹ØϵÐÍÊý¾Ý¿â¶Ô±È 5.1.5 HiveÊý¾Ý´æ´¢ 5.1.6 Hive»·¾³²¿Êð ÈÎÎñ2 Hive»ù±¾²Ù×÷¡­ ¡­ 5.2.1 DDL²Ù×÷ 5.2.2 DML²Ù×÷ 5.2.3 Hive shell²Ù×÷ ÈÎÎñ3 Hive½ø½× ¡­ ¡­ 5.3.1 Hiveº¯Êý 5.3.2 Hive³£Óõ÷ÓŲßÂÔ ±¾ÕÂ×Ü½á ¡­ ¡­¡­¡­ ±¾ÕÂ×÷Òµ¡­¡­¡­ ¡­ µÚ6Õ ÀëÏß´¦Àí¸¨Öúϵͳ ±¾ÕÂÈÎÎñ¡­ ¡­ ¡­ ÈÎÎñ1 ʹÓÃSqoopÍê³ÉÊý¾ÝǨÒÆ 6.1.1 Sqoop¼ò½é 6.1.2 µ¼ÈëMysQLÊý¾Ýµ½HDFS 6.1.3 µ¼³öHOFSÊý¾Ýµ½MySQL 6.1.4 µ¼ÈëMySQLÊý¾Ýµ½Hive 6.1.5 SqoopÖÐJobµÄʹÓà ÈÎÎñ2 ¹¤×÷Á÷µ÷¶È¿ò¼ÜAzkaban 6.2.1 Azkaban¼ò½é 6.2.2 Azkaban²¿Êð 6.2.3 Azkabanʵս ±¾ÕÂ×Ü½á ±¾ÕÂ×÷ÒµµÚ7Õ SparkÈëÃÅ ±¾ÕÂÈÎÎñ ¡­¡­ ¡­¡­ ÈÎÎñ1 ³õʶSpark ¡­¡­¡­ 7.1.1 Spark¸ÅÊö 7.1.2 SparkÓŵã 7.1.3 SparkÉú̬ϵͳBDAs ÈÎÎñ2 ScalaÈëÃÅ¡­ 7.2.1 Scala½éÉÜ 7.2.2 Scalaº¯Êý 7.2.3 ScalaÃæÏò¶ÔÏó 7.2.4 Scala¼¯ºÏ 7.2.5 Scala½ø½× ÈÎÎñ3 »ñÈ¡SparkÔ´Âë²¢½øÐбàÒë 7.3.1 »ñÈ¡SparkÔ´Âë 7.3.2 SparkÔ´Âë±àÒë ÈÎÎñ4 µÚ´ÎÓëSparkÇ×ÃܽӴ¥¡­ 7.4.1 Spark»·¾³²¿Êð 7.4.2 SparkÍê³É´ÊƵͳ¼Æ·ÖÎö ±¾ÕÂ×Ü½á ¡­¡­ ¡­ ±¾ÕÂ×÷Òµ ¡­ ¡­ µÚ8Õ SparkCore¡­¡­¡­¡­¡­ ±¾ÕÂÈÎÎñ ¡­¡­ ¡­¡­¡­¡­ ÈÎÎñ1 SparKµÄ»ùʯRDD ¡­ 8.1.1 RDD¸ÅÊö 8.1.2 RDD³£Óô´½¨·½Ê½¡­ 8.1.3 RDDµÄת»» 8.1.4 RODµÄ¶¯×÷ 8.1.5 RDDµÄÒÀÀµ ÈÎÎñ2 RDD½ø½× ¡­ 8.2.1 RDD»º´æ 8.2.2 ¹²Ïí±äÁ¿(Shared Variables) 8.2.3 SparkºËÐĸÅÄî 8.2.4 SparkÔËÐмܹ¹ ÈÎÎñ3 »ùÓÚRDDµÄSpark±à³Ì 8.3.1 ¿ª·¢Ç°ÖÃ×¼±¸ 8.3.2 ʹÓÃSparkCore¿ª·¢´ÊƵ¼ÆÊýWordCount 8.3.3 ʹÓÃSparkCore½øÐÐÄêÁäͳ¼Æ ±¾ÕÂ×Ü½á ±¾ÕÂ×÷ÒµµÚ9Õ Spark SQL ±¾ÕÂÈÎÎñ ÈÎÎñ1 SparkSQLÇ°ÊÀ½ñÉú 9.1.1 ΪʲôÐèÒªSQL 9.1.2 ³£ÓõÄSQL on Hadoop¿ò¼Ü 9.1.3 Spark SQL¸ÅÊö ÈÎÎñ2 Spark SQL±à³Ì 9.2.1 SparkSQL±à³ÌÈë¿Ú 9.2.2 DataFrameÊÇʲô 9.2.3 DataFrame±à³Ì ÈÎÎñ3 SparkSQL½ø½× 9.3.1 Spark SQLÍⲿÊý¾ÝÔ´²Ù×÷ 9.3.2 SparkSQLº¯ÊýµÄʹÓà 9.3.3 Spark SQL³£Óõ÷ÓÅ ±¾ÕÂ×Ü½á ±¾ÕÂ×÷ÒµµÚ10Õ Spark Streaming ±¾ÕÂÈÎÎñ ÈÎÎñ1 ³õʼÁ÷´¦Àí¿ò¼Ü¼°Spark Streaming 10.1.1 Á÷´¦Àí¿ò¼Ü¸ÅÊö 10.1.2 Spark Streaming¸ÅÊö ÈÎÎñ2 Spark Streaming±à³Ì 10.2.1 Spark StreamingºËÐĸÅÄî 10.2.2 ʹÓÃSpark Streaming±à³Ì ÈÎÎñ3 Spark Streaming½ø½× 10.3.1 Spark StreamingÕûºÏFlume 10.3.2 Spark StreamingÕûºÏKafka 10.3.3 Spark Streaming³£ÓÃÓÅ»¯²ßÂÔ ±¾ÕÂ×Ü½á ±¾ÕÂ×÷Òµ