当前位置: 首页 > >

·Ö²¼Ê½´æ´¢ HDFSÔ­Àí

发布时间:

˼άµ¼Í¼£º




·Ö²¼Ê½´æ´¢


Ò»¡¢NameNode

1½ÓÊÕ¿Í»§¶ËµÄÇëÇó


    ¹ÜÀíÔªÊý¾Ý£¨ÎļþÉÏ´«Ê±¼ä¡¢ÎļþȨÏÞ¡¢ÎļþÊôÖ÷¡¢´óÎļþµÄblockÊý¼°blockIdºÅ£©

    ¹ÜÀí¼¯Èº


¶þ¡¢SecondaryNameNode

³Ö¾Ã»¯ÄÚ´æÖеÄÔªÊý¾Ý¡£


ÒòΪÄÚ´æ²»Îȶ¨£¬¿ÉÒÔ½«Êý¾Ý³Ö¾Ã»¯µ½´ÅÅÌÉÏ¡£


³Ö¾Ã»¯µÄÏêϸ¹ý³Ì£º


NameNodeÆô¶¯µÄʱºò»á´´½¨Á½¸öÎļþ£ºedit£¨ÈÕÖ¾Îļþ£©ºÍfsimage


´¥·¢ºÏ²¢Ìõ¼þºó£¬½«editºÍfsimageÀ­µ½secondNameNodeÖУ¬Ö®ºó»á¸ù¾ÝeditÀïÃæµÄ²Ù×÷½øÐÐÖØÑÝ£¨²úÉúÏàͬµÄÔªÊý¾Ý£©£¬ÖØÑÝÖ®ºó½«ÔªÊý¾ÝдÔÚfsimageÖУ¬²úÉúµÄfsimageckptÍƸønamenode¡£


ΪÁË·ÀÖ¹³Ö¾Ã»¯µÄÊý¾Ý¶ªÊ§£¬ÔÚÖØÑݹý³ÌÖжÔeditÎļþµÄ¸Ä±äдµ½edit.newÖС£ÖØÑݽáÊøºó£¬edit.new¸ÄÃûΪedit


ºÏ²¢´¥·¢»úÖÆ£º1¡¢³¬¹ý3600ºÁÃë


? ? ? ? ? ? ? ? ? ? ? ? ?2¡¢editÎļþ³¬¹ý64m


²¢²»ÊÇËùÓеÄÔªÊý¾Ý¶¼»á³Ö¾Ã»¯£º


³ýÁËblockµÄλÖÃÐÅÏ¢£¬ÆäËûµÄÔªÊý¾Ý¶¼»á³Ö¾Ã»¯£¨blockµÄλÖñ䶯ƵÂʸߡ¢±ä¶¯´ó£©


ÕâÑùµÄ»°£¬µ±HDFS¼¯ÈºÖ*ô£¬namenodeÖеÄÔªÊý¾Ý¾Í»áÓÐËùȱʧÎÞ·¨¶ÔÍâÌṩ·þÎñ


½â¾ö·½°¸£ºHDFSÆô¶¯µÄʱºò£¬ËùÓеÄDN¶¼»áÏòNN»ã±¨µ±Ç°½ÚµãµÄblockÐÅÏ¢


ʹÓÃSecondaryNameNodeµÄÔ­Òò£º


Ò»µ©namenodeå´»ú£¬ÓÃÓÚ»Ö¸´µÄfsiamgeÊý¾ÝºÜ¾É£¬»áÔì³É´óÁ¿Êý¾ÝµÄ¶ªÊ§¡£


ÒòΪÐèÒªºÏ²¢´óÁ¿µÄeditsÎļþÉú³Éfsimage£¬µ¼ÖÂnamenodeÖ*ôʱ¼ä¹ý³¤¡£?


ÈônameNode½øÐг־û¯£¬»áÔì³ÉnameNode¸ºÔØÌ«¸ß£¬¼¯Èº²»¿ÉÓá£ËùÒÔ½«³Ö¾Ã»¯µÄ¹¤×÷½»¸øSecondaryNameNode£¨NameNodeµÄÖúÀí£©È¥×ö¡£


Èý¡¢DataNode
    ´æ´¢Ô´Êý¾Ý£¬ÒÔblock¿éµÄÐÎʽ´æ´¢½ÓÊÕ¿Í»§¶ËµÄ¶ÁÇëÇó

ËÄ¡¢Ð´µÄÁ÷³Ì

? ? ? 1¡¢Èç¹ûÒªÉÏ´«Ò»¸ö´óÎļþ£¬client½øÐÐÇи¼ÆËã´óÎļþµÄblockÊý


? ? ??2¡¢Client¶ÔnameNode½øÐл㱨£º


? ? ? ? ? ? 1£©¡¢µ±Ç°´óÊý¾ÝÎļþµÄblockÊý


? ? ? ? ? ?2£©¡¢È¨ÏÞ


? ? ? ? ? ?3£©¡¢ÉÏ´«Ê±¼ä


for(Block block:blocks){


? ? ? 3¡¢clientÇиî³öÀ´Ò»¸öblock


? ? ? 4¡¢ClientÇëÇóblock¿éµÄidºÅ¼°µØÖ·


? ? ? 5¡¢ÒòΪnameNodeÄܹ»ÕÆ¿ØÈ«¾Ö¡¢ÄÇôËû½«¸ºÔز»¸ßµÄDataNodeµØÖ··µ»Ø¸øclient


? ? ? 6¡¢ClientÄõ½µØÖ·ºóÈ¥ÕÒµ½¸ÃDataNode£¬ÉÏ´«¸ÃblockµÄÊý¾Ý£¨ÏÂÃæÓÐclientÏòdataNode´«Êý¾ÝµÄÏêϸÁ÷³Ì£©


? ? ? 7¡¢DataNode½«block´æ´¢Íê³Éºó»áÏënameNode»ã±¨´æ´¢Çé¿ö


}


?


? ? ? ? ClientÏòDataNodeдÊý¾ÝµÄÏêϸÁ÷³Ì


? ? ? 1¡¢¿Í»§¶Ë·¢ËÍÇëÇóµ½namenode£¬¸æËßnamenodeÉÏ´«ÎļþµÄÎļþÃû¡¢Îļþ´óС¡¢ÎļþÓµÓÐÕß¡£


? ? ? 2¡¢namenode¸ù¾ÝÒÔÉÏÐÅÏ¢Ëã³öÎļþÐèÒªÇгɶàÉÙ¿éblock£¬ÒÔ¼°blockÒª´æ·ÅÔÚÄĸödatanodeÉÏ£¬²¢½«ÕâЩÐÅÏ¢·µ»Ø¸ø¿Í»§¶Ë¡£


? ? ? 3¡¢¿Í»§¶ËÊ×ÏȽ«ÆäÖÐÒ»¸öblockдÔÚdatanodeÉÏ£¬Ã¿Ò»¸öblockĬÈ϶¼ÓÐ3¸ö¸±±¾£¬²¢²»ÊÇÓÉ¿Í»§¶Ë·Ö±ðÍù3¸ödatanodeÉÏд3·Ý£¬¶øÊÇÓÉÒѾ­ÉÏ´«ÁËblockµÄdatanode²úÉúеÄỊ̈߳¬ÓÉÕâ¸önamenode°´ÕÕ·ÅÖø±±¾¹æÔòÍùÆäËüdatanodeд¸±±¾£¬ÕâÑùµÄÓÅÊƾÍÊÇ¿ì¡£


? ? ? 4¡¢Ð´Íêºó·µ»Ø¸ø¿Í»§¶ËÒ»¸öÐÅÏ¢£¬È»ºó¿Í»§¶ËÔÚ½«ÐÅÏ¢·´À¡¸ønamenode¡£


? ? ? 5¡¢ÐèҪעÒâµÄÊÇÉÏ´«ÎļþµÄÓµÓÐÕß¾ÍÊÇ¿Í»§¶ËÉÏ´«ÎļþµÄÓû§Ãû£¬¾Ù¸öÀý×ÓÓÃwindows¿Í»§¶ËÉÏ´«Îļþ£¬ÄÇôÕâ¸öÎļþµÄÓµÓÐÕß¾ÍÊÇadministrator£¬ºÍlinuxÉϵÄϵͳÓû§Ãû²»ÊÇÒ»ÑùµÄ¡£


?


Îå¡¢¶ÁµÄÁ÷³Ì

? ? ? 1¡¢¿Í»§¶Ë·¢ËÍÇëÇóµ½Namenode£¬»ñµÃblockµÄλÖÃÐÅÏ¢£¬ÒòΪÕæÕýµÄblockÊÇ´æÔÚDatanode½ÚµãÉϵģ¬¶ønamenodeÀï´æ·ÅÁËblockλÖÃÐÅÏ¢µÄÔªÊý¾Ý¡£


? ? ? 2¡¢Namenode·µ»ØËùÓÐblockµÄλÖÃÐÅÏ¢£¬²¢½«ÕâЩÐÅÏ¢·µ»Ø¸ø¿Í»§¶Ë¡£


? ? ? 3¡¢¿Í»§¶ËÄõ½blockµÄλÖÃÐÅÏ¢ºóͨ¹ý¹ÜµÀ²¢ÐеĶÁÈ¡blockÐÅÏ¢£¬blockĬÈÏÓÐ3¸ö¸±±¾£¬Ã¿Ò»¸öblockÖ»ÐèÒª´ÓÒ»¸ö¸±±¾¶ÁÈ¡¾Í¿ÉÒÔ¡£


? ? ? 4¡¢datanode·µ»Ø¸ø¿Í»§¶Ë¡£


?


Áù¡¢±¸·Ý»úÖÆ

? ? ? ?¼¯ÈºµÄdataNode½ÚµãÊýÒª´óÓÚµÈÓÚ¸±±¾Êý+1¡£


? ? ? ?¼¯ÈºÍâÌá½»£º¿Í»§¶Ë£¬ÊÇÍâÈË¡£¼¯ÈºÄÚÌá½»£ºdataNode½Úµã×÷Ϊ¿Í»§¶Ë½øÐÐÌá½»£¨²»Ìᳫ£¬ÓÐÍøÂçioÎÊÌ⣩


? ? ? ? ? ? ?1¡¢µÚÒ»¸öblock´æ´¢ÔÚÒ»¸ö¸ºÔز»ÊǺܸߵķþÎñÆ÷ÉÏ¡£


? ? ? ? ? ? ?2¡¢µÚÒ»¸ö±¸·Ý´æ´¢ÔÚÓëµÚÒ»¸öblock²»Í¬»ú¼ÜµÄËæ»úµÄÒ»¸ö·þÎñÆ÷ÉÏ


? ? ? ? ? ? ?3¡¢µÚ¶þ¸ö±¸·Ý´æ´¢ÔÚÓëµÚÒ»¸ö±¸·ÝÏàͬµÄ»ú¼ÜµÄËæ»ú·þÎñÆ÷ÉÏ¡£


? ? ? ? ? ? ?4¡¢? ÆäËû±¸·Ý¿ÉÒÔËæ»ú


Æß¡¢È¨ÏÞ

? ? ? ?ÒÀ¾ÝϵͳµÄÓû§ÏµÍ³£¬·À¾ý×Ó


°Ë¡¢°²È«Ä£Ê½

? ? ?1¡¢¼ÓÔØfsimage£¬¼ÓÔص½ÄÚ´æÖÐ


? ? ?2¡¢Èç¹ûeditsÎļþ²»Îª¿Õ£¬ÄÇônameNode×Ô¼ºÀ´ºÏ²¢


? ? ?3¡¢¼ì²éDataNodeµÄ½¡¿µ×´¿ö


? ? ?4¡¢Èç¹ûÓÐDataNode¹ÒµôÁË£¬Ö¸»Ó×ö±¸·Ý


¾Å¡¢´óÊý¾Ý¸ÅÊö

? ? ?´óÊý¾Ý¼ò½é£º¶Ìʱ¼äÄÚ¿ìËٵIJúÉúº£Á¿µÄ¸÷ÖÖ¸÷ÑùµÄÓмÛÖµµÄÊý¾Ý¡£


? ? ?´óÊý¾Ý¼¼Êõ£º


? ? ? ? ? ? ? 1¡¢·Ö²¼Ê½´æ´¢


? ? ? ? ? ? ? 2¡¢·Ö²¼Ê½¼ÆËã


? ? ? ? ? ? ? ? ? ? ?·Ö²¼Ê½Åú´¦Àí£¨ÔÜÒ»¶Îʱ¼äµÄÊý¾Ý£¬ÔÚij¸öʱ¼äͳһ´¦Àí£©


? ? ? ? ? ? ? ? ? ? ?·Ö²¼Ê½Á÷´¦Àí£¨Ã¿²úÉúÒ»ÌõÊý¾Ý£¬Á¢¼´´¦Àí£©


? ? ? ? ? ? ?3¡¢»úÆ÷ѧ*£¨Ô¤²âÀàµÄÐèÇóÐèÒªÓõ½»úÆ÷ѧ*£©


Ê®¡¢ÖªÊ¶µã¼¯½õ

? ? ? ?nameNodeÔªÊý¾Ý£º


? ? ? ? ? ? ½ÇÉ«ÔÚ¼¯ÈºÖж¼ÊÇÓɽø³ÌÀ´±íÏֵģ¨Ò»¸ö½ÚµãÓɶà¸ö½ø³Ì£©¡£ÒòΪÔÚnode01½ÚµãÉÏÆô¶¯ÁËnameNode½ø³Ì£¬ËùÒÔ³Ænode01ΪnameNode¡£


? ? ? ?Client£º


? ? ? ? ? ? ?½«Êý¾ÝÇиî³Én¸öblock¿é£¨Ä¬ÈÏblock¿é´óС£º128M£©¡£


? ? ? ? ? ? ?ÒÔ¶ÁÈ¡×ֽڵķ½Ê½ÔÚ¿Í»§¶Ë¶ÁÈ¡¸Ã´óÎļþ¡£¶Áµ½128Mʱ£¬ÐγÉÒ»¸öBlock¿é£¬ÏònameNode½øÐл㱨¡££¨blockµÄÊýÁ¿=´óÎļþµÄ´óС/128M£©


? ? ? ?ΪʲôҪʹÓùܵÀ´«Ê䣿ΪʲôҪ½«blockÇиî³ÉÒ»¸ö¸öµÄpacket£¿


? ? ? ? ? ? ? ?²¢Ðд洢


? ? ? ´¦ÓÚ°²È«fsimageÒѾ­¼ÓÔص½ÄÚ´æÖУ¬¿ÉÒԲ鿴µ½ÎļþĿ¼£¬µ«ÊÇÎÞ·¨¶ÁÈ¡¡£


? ? ? HDFS¼¯Èº²»ÔÊÐíÐ޸ģ¬ÎļþÒ»µ©ÉÏ´«³É¹¦¾Í²»ÄÜÐÞ¸Äblock¿é´óС¡£½ûµôÊÇΪÁË·ÀÖ¹¼¯Èº·ºÀÄ¡£


ʮһ¡¢´î½¨¼¯Èº

? ? ?½ÇÉ«=½ø³Ì


? ? ?ģʽ£º


? ? ? ? ? 1¡¢Î±·Ö²¼Ê½


? ? ? ? ? ? ? ? ?ÔÚһ̨·þÎñÆ÷ÉÏ£¬Æô¶¯¶à¸ö½ø³Ì£¬·Ö±ð±íʾ¸÷¸ö½ÇÉ«


? ? ? ? ?2¡¢ÍêÈ«·Ö²¼Ê½


? ? ? ? ? ? ? ? ÔÚ¶ą̀·þÎñÆ÷ÉÏ£¬Ã¿Ì¨·þÎñÆ÷Æô¶¯²»Í¬½ÇÉ«µÄ½ø³Ì£¬Ê¹Óöą̀·þÎñÆ÷×é³ÉHDFS¼¯Èº


? ? ? ? ? ? ? ?Node01£ºnamenode


? ? ? ? ? ? ? ?Node02£ºsecondarynamenode ??datanode


? ? ? ? ? ? ? ?Node03£ºdatanode


? ? ? ? ? ? ? ?Node04£ºdatanode


? ? ? ? 3¡¢¸ß¿ÉÓõݲȫ·Ö²¼Ê½


? ? ? ? ? ? ? Node01£ºnamenode


? ? ? ? ? ? ? Node02£ºsecondarynamenode ??datanode


? ? ? ? ? ? ? Node03£ºdatanode ?namenode


? ? ? ? ? ? ? Node04£ºdatanode


?



友情链接: 传奇百科网 招聘百科网 非凡百科网 游艇百科网 口红百科网 创业百科网 软木百科网