একটি হডোপ ক্লাস্টারে নোডগুলি কমিশন এবং ডিকমোমিশনিং

আপনি কি জানেন কীভাবে একটি হডোপ ক্লাস্টারে নোড যুক্ত করতে বা সরান? আপনার করার জন্য একটি ব্লগ পোস্ট এখানে দেওয়া হয়েছে - একটি হডুপ ক্লাস্টারে নোড চালু করা এবং ডিকমোমিশনিং করা।

হাদুপ কাঠামোর অন্যতম আকর্ষণীয় বৈশিষ্ট্য এটি পণ্য হার্ডওয়্যার ব্যবহার । তবে এটি হ্যাডোপ ক্লাস্টারে ঘন ঘন ডেটানোড ক্র্যাশ করে। হাদুপ ফ্রেমওয়ার্কের আর একটি আকর্ষণীয় বৈশিষ্ট্য হ'ল ডেটা ভলিউমের দ্রুত বৃদ্ধি অনুসারে স্কেল সহজেই scale । এই দুটি কারণে হ্যাডোপ প্রশাসকের সবচেয়ে সাধারণ কাজ হ'ল to কমিশন (অ্যাড) এবং ক্ষয় (সরান) একটি হডুপ ক্লাস্টারে ডেটা নোড।



ঝকঝকে প্রসঙ্গ ফিল্টার কি

একটি হডোপ ক্লাস্টারে নোডগুলি কমিশন এবং ডিকোমিশনিং:

একটি হডোপ ক্লাস্টারে ডেটা নোডগুলি ডিকোমেশনেশন (অপসারণ)

উপরের চিত্রটি ক্লাস্টারে একটি ডাটানোডকে বাতিল করতে ধাপে ধাপে প্রক্রিয়া দেখায়।

প্রথম কাজটি হ'ল 'আপডেট করা' বাদ দিন ‘দুজনের জন্যই ফাইল এইচডিএফএস (hdfs-site.xML) এবং মানচিত্র কমাতে (ম্যাপ্রেড-সাইট.xML)।



‘বাদ দিন’ ফাইলটি:

  • চাকরির জন্য হোস্টগুলির তালিকা রয়েছে যা জবট্র্যাকার দ্বারা বাদ দেওয়া উচিত। মানটি খালি থাকলে কোনও হোস্ট বাদ যায় না।
  • নামনোডের জন্য হোস্টগুলির একটি তালিকা রয়েছে যা নামনোডের সাথে সংযুক্ত হওয়ার অনুমতিপ্রাপ্ত নয়।

Hdfs-site.xML এবং mapred-site.xML এ ফাইল বাদ না দেওয়ার জন্য নমুনা কনফিগারেশনটি এখানে রয়েছে:

hdfs-site.xML




dfs.hosts.excolve
/ home / hadoop / বাদ দেয়
সত্য

mapred-site.xml


mapred.hosts.excolve
/ home / hadoop / বাদ দেয়
সত্য

বিঃদ্রঃ: ফাইলগুলির পুরো পথের নামটি অবশ্যই নির্দিষ্ট করতে হবে।

একইভাবে, আমাদের কাছে 'অন্তর্ভুক্ত' ফাইল রয়েছে:

  • চাকরির জন্য নোডগুলির তালিকা রয়েছে যা জোবট্র্যাকার সাথে সংযুক্ত হতে পারে। মানটি ফাঁকা থাকলে, সমস্ত হোস্টকে অনুমতি দেওয়া হয়।
  • নামনোডের জন্য হোস্টগুলির একটি তালিকা রয়েছে যা নামনোডের সাথে সংযুক্ত হওয়ার অনুমতিপ্রাপ্ত। মানটি ফাঁকা থাকলে, সমস্ত হোস্টকে অনুমতি দেওয়া হয়।

দ্য ' dfsadmin ' এবং ' mradmin ’কমান্ডগুলি নতুন নোড সম্পর্কে তাদের সচেতন করতে পরিবর্তনের মাধ্যমে কনফিগারেশনকে রিফ্রেশ করে।

দ্য ' দাস মাস্টার সার্ভারে থাকা ফাইলটিতে সমস্ত ডেটা নোডের তালিকা থাকে। ভবিষ্যতে ডিডমোন শুরু / থামাতে কোনও সমস্যা নিশ্চিত করার জন্য এটিও আপডেট করতে হবে।

ডেটা নোড কমিশন প্রক্রিয়াটির গুরুত্বপূর্ণ পদক্ষেপ হ'ল ক্লাস্টার ব্যালেন্সার চালানো।

> হ্যাডোপ ব্যালান্সার-থ্রেশহোল্ড 40

ব্যালান্সার পুরানো নোডগুলি থেকে নতুন কমিশন করা নোডগুলিতে ব্লক ডেটা অনুলিপি করে ডেটা নোডগুলির মধ্যে একটি নির্দিষ্ট প্রান্তিকের ভারসাম্য সরবরাহ করার চেষ্টা করে।

সুতরাং, আপনি এইভাবে করতে পারেন - সম্পাদন এবং ডিসকোমিশনিং একটি হডোপ ক্লাস্টারে নোড।

আমাদের জন্য একটি প্রশ্ন আছে? দয়া করে মন্তব্য বিভাগে এটি উল্লেখ করুন এবং আমরা আপনার কাছে ফিরে আসব।

সম্পর্কিত লিংক: