Hadoop´óÊý¾Ý¼¼ÊõÏîÄ¿»¯½Ì³Ì

ÏîÄ¿ 1? ÔƼÆËãºÍ´óÊý¾Ý»ù´¡¸ÅÂÛ ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 1
ÈÎÎñ 1 ÈÏʶÔƼÆËã ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 1
ÈÎÎñ 2 ÔƼÆËãÖеÄÐéÄ⻯¼¼Êõ ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 7
ÈÎÎñ 3 ÔƼÆËãÓë´óÊý¾Ý ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­13
ÈÎÎñ 4 ´óÊý¾ÝµÄ¼¼Êõ¼Ü¹¹ ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­16
ÈÎÎñ 5 ´óÊý¾ÝµÄÓ¦ÓÃÇ°¾° ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­18
ÈÎÎñ 6 ´óÊý¾ÝµÄ·¢Õ¹Àú³Ì¼°ÆäÃæÁÙµÄÌôÕ½ ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­22
ÏîÄ¿ 2? CentOS µÄ°²×°ÓëÍøÂçÅäÖà ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 27
ÈÎÎñ 1 Linux ²Ù×÷ϵͳ¸ÅÊö ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­27
ÈÎÎñ 2 ʹÓà VMware ÐéÄâ»ú°²×° CentOS ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­32
ÈÎÎñ 3 CentOS ÍøÂç»·¾³ÅäÖà ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­54
ÈÎÎñ 4 yum Ô´ÉèÖü°Ê¹Óà ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­62
ÏîÄ¿ 3? MPI ¼¯Èº²¿Êð¼°Ó¦Óà ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 72
ÈÎÎñ 1 NTP ʱ¼äͬ²½ÉèÖà ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­72
ÈÎÎñ 2 SSH Ö¤ÊéµÇ¼¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­78
ÈÎÎñ 3 ʹÓà NFS ÉèÖù²ÏíĿ¼ ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­82
ÈÎÎñ 4 MPI µÄ°²×°¼°²âÊÔ ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­86
ÈÎÎñ 5 MPI ±à³Ìʵս ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­91
ÏîÄ¿ 4? Hadoop ¼¯Èº²¿Êð¼°Ó¦Óà ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 100
ÈÎÎñ 1 Hadoop ¼¯Èº²¿ÊðÇ°µÄ×¼±¸¹¤×÷ ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 100
ÈÎÎñ 2 Hadoop µÄ°²×° ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 106
ÈÎÎñ 3 Hadoop α·Ö²¼Ê½²¿Êð¼°Ó¦Óà ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 110
ÈÎÎñ 4 Hadoop ·Ö²¼Ê½²¿Êð¼°Ó¦Óà ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 114
ÏîÄ¿ 5? MapReduce »ù±¾Ô­Àí¼°Ó¦Óà ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 122
ÈÎÎñ 1 MapReduce ¹¤×÷Ô­Àí¼°¹¤×÷Á÷³Ì ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 122
ÈÎÎñ 2 ´ÊƵͳ¼Æ±à³Ìʵ¼ù ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 125
ÈÎÎñ 3 Êý¾ÝºÏ²¢È¥Öرà³Ìʵ¼ù ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 136
ÈÎÎñ 4 Êý¾ÝÅÅÐò±à³Ìʵ¼ù ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 140
ÏîÄ¿ 6? HBase Êý¾Ý¿âµÄ´î½¨¼°Ê¹Óà ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 146
ÈÎÎñ 1 HBase °²×°¼°Î±·Ö²¼Ê½²¿Êð ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 146
ÈÎÎñ 2 HBase ÍêÈ«·Ö²¼Ê½²¿Êð ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 150
ÈÎÎñ 3 HBase ²Ù×÷ʵ¼ù ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 156
ÈÎÎñ 4 HBase ±à³Ìʵ¼ù ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 163
ÏîÄ¿ 7? Hive Êý¾Ý²Ö¿âµÄ°²×°¼°Ó¦Óà ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 175
ÈÎÎñ 1 Hive »ù±¾¸ÅÄî¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 175
ÈÎÎñ 2 Hive °²×°¼°²¿Êð¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 178
ÈÎÎñ 3 Hive »ù±¾ÃüÁîºÍÓ¦Óá­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 190
ÏîÄ¿ 8? Pig Êý¾Ý·ÖÎö ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 208
ÈÎÎñ 1 Pig »ù±¾¸ÅÄî ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 208
ÈÎÎñ 2 Pig °²×°¼°²¿Êð ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 211
ÈÎÎñ 3 Pig ÃüÁîÓï·¨ºÍʹÓà ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 216
ÈÎÎñ 4 Pig ¼òµ¥±à³Ì ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 235
ÏîÄ¿ 9? Sqoop Êý¾ÝǨÒÆ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 244
ÈÎÎñ 1 Sqoop »ù±¾¸ÅÄî ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 244
ÈÎÎñ 2 Sqoop °²×°¼°²¿Êð ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 247
ÈÎ Îñ 3 Àû Óà Sqoop ¹¤¾ßʵÏÖ MySQL Óë
HDFS Ö®¼äÊý¾ÝǨÒÆ ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 254
ÈÎÎñ 4 ÀûÓà Sqoop ¹¤¾ßʵÏÖ MySQL Óë Hive/HBase Ö®¼äÊý¾ÝǨÒÆ¡­¡­¡­¡­¡­¡­ 265
ÏîÄ¿ 10? Flume ÈÕÖ¾ÊÕ¼¯ÏµÍ³ ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 278
ÈÎÎñ 1 Flume ϵͳ¸ÅÊö ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 278
ÈÎÎñ 2 Flume °²×°ºÍ²¿Êð ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 282
ÈÎÎñ 3 Flume Ó¦Óð¸Àý ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 291
ÏîÄ¿ 11? Spark ²¿Êð¼°Êý¾Ý·ÖÎö ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 305
ÈÎÎñ 1 Spark »ù±¾¸ÅÄî ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 305
ÈÎÎñ 2 Spark °²×°¼°²¿Êð ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 308
ÈÎÎñ 3 Spark Êý¾Ý·ÖÎö ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 317
ÈÎÎñ 4 Spark Ó¦Óð¸Àý ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 332
ÏîÄ¿ 12? ´óÊý¾Ý¼¼Êõ±à³ÌʵÀý ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 347
ÈÎÎñ 1 ÄܺÄÊý¾Ý·ÖÎö¼°´¦Àí ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 347
ÈÎÎñ 2 ²ÍÒû´óÊý¾Ý·ÖÎö¼°´¦Àí ¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 360
²Î¿¼ÎÄÏס­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­¡­ 371