অ্যাপাচি পিগে অপারেটরগুলি: পার্ট 1- রিলেশনাল অপারেটর

এই পোস্টে অ্যাপাচি পিগের অপারেটরদের সম্পর্কে বর্ণনা করা হয়েছে। অ্যাপাচি পিগে অপারেটরদের জন্য এই পোস্টটি একবার দেখুন: পর্ব 1 - রিলেশনাল অপারেটরগুলি।

এই পোস্টটি অ্যাপাচি পিগের অপারেটরদের সম্পর্কে।অ্যাপাচি পিগ জাভা জ্ঞান ছাড়াই জটিল ডেটা ট্রান্সফর্মেশন লিখতে সক্ষম করে, যা এটির জন্য সত্যই গুরুত্বপূর্ণ করে তোলে অপারেটরদের দিকে যাবার আগে পিগ এবং পিগ ল্যাটিন কী এবং কীভাবে বিভিন্ন পদ্ধতিতে সেগুলি পরিচালনা করা যেতে পারে সে সম্পর্কে এক ঝলক দেখে নেওয়া যাক।



আপাচি পিগ কী?

হ্যাডোপ এবং মানচিত্র হ্রাস প্ল্যাটফর্ম ব্যবহার করে বড় ডেটা সেট অনুসন্ধানের জন্য অ্যাপাচি পিগ একটি উচ্চ-স্তরের প্রক্রিয়াজাতীয় ভাষা। এটি একটি জাভা প্যাকেজ, যেখানে স্ক্রিপ্টগুলি JVM- এ চলমান যে কোনও ভাষা প্রয়োগ থেকে কার্যকর করা যেতে পারে। এটি পুনরাবৃত্ত প্রক্রিয়াগুলিতে ব্যাপকভাবে ব্যবহৃত হয়।

অ্যাপাচি পিগ একটি বিতরণকৃত ডেটাসেটে এসকিউএল-এর মতো কোয়েরিগুলিকে মঞ্জুরি দিয়ে হ্যাডোপের ব্যবহারকে সহজতর করে এবং দ্রুত এবং কার্যকরভাবে বৃহত পরিমাণে ডেটা প্রক্রিয়া করার জন্য জটিল কাজগুলি তৈরি করা সম্ভব করে। পিগের সেরা বৈশিষ্ট্যটি হ'ল, এটি যোগদান, গোষ্ঠী এবং সমষ্টিগত মতো অনেকগুলি সম্পর্কিত বৈশিষ্ট্যকে ব্যাক করে।

আমি জানি পিগ অনেক বেশি ইটিএল সরঞ্জামের মতো শোনায় এবং এটিতে ইটিএল সরঞ্জামগুলির সাথে অনেকগুলি বৈশিষ্ট্য রয়েছে। তবে পিগ ওভার ইটিএল সরঞ্জামগুলির সুবিধা হ'ল এটি একই সাথে অনেকগুলি সার্ভারে চলতে পারে।



অ্যাপাচি পিগ ল্যাটিন কী?

অ্যাপাচি পিগ ল্যাটিন নামক হ্যাডোপ অ্যাপ্লিকেশনগুলির জন্য আরও স্ট্রাকচার্ড ক্যোয়ারী ল্যাঙ্গুয়েজ (এসকিউএল) -র মতো ইন্টারফেস উন্মুক্ত করতে মানচিত্র হ্রাসের উপরে অ্যাপাচি পিগ একটি সহজ পদ্ধতিগত ভাষার বিমূর্ততা তৈরি করে, তাই আলাদা মানচিত্র হ্রাস অ্যাপ্লিকেশন লেখার পরিবর্তে আপনি অ্যাপাচে একটি স্ক্রিপ্ট লিখতে পারেন পিগ ল্যাটিন যা স্বয়ংক্রিয়ভাবে সমান্তরালভাবে এবং একটি ক্লাস্টারে জুড়ে বিতরণ করা হয়। সাধারণ কথায়, পিগ ল্যাটিন, একটি সরল বিবৃতিগুলির একটি অনুক্রম যা ইনপুট নেয় এবং আউটপুট উত্পাদন করে। ইনপুট এবং আউটপুট ডেটা ব্যাগ, মানচিত্র, টিপলস এবং স্কেলারের সমন্বয়ে গঠিত।

অ্যাপাচি পিগ এক্সিকিউশন মোড:

অ্যাপাচি পিগের দুটি কার্যকর করার পদ্ধতি রয়েছে:

  • স্থানীয় মোড

‘লোকাল মোডে’, উত্স ডেটা আপনার কম্পিউটার সিস্টেমের স্থানীয় ডিরেক্টরি থেকে নেওয়া হবে। ‘পিগ এক্সএক্স লোকাল’ কমান্ড ব্যবহার করে মানচিত্রের মোড নির্দিষ্ট করা যেতে পারে।



অ্যাপাচি পিগ-এ অপারেটররা 1

  • মানচিত্রে মোড:

মানচিত্রের মোডে পিগ চালনা করতে আপনার হ্যাডোপ ক্লাস্টার এবং এইচডিএফএস ইনস্টলেশন অ্যাক্সেস দরকার need ‘পিগ’ কমান্ড ব্যবহার করে মানচিত্রের মোড নির্দিষ্ট করা যেতে পারে।

জাভাতে কখন এটি ব্যবহার করবেন

অ্যাপাচি পিগ অপারেটর:

হ্যাডোপ এবং মানচিত্র হ্রাস প্ল্যাটফর্ম ব্যবহার করে বড় ডেটা সেটগুলির অনুসন্ধানের জন্য অ্যাপাচি পিগ অপারেটরগুলি একটি উচ্চ-স্তরের প্রক্রিয়াজাতীয় ভাষা। পিগ ল্যাটিন স্টেটমেন্ট এমন একটি অপারেটর যা কোনও সম্পর্ককে ইনপুট হিসাবে গ্রহণ করে এবং আউটপুট হিসাবে অন্য সম্পর্ক তৈরি করে। এই অপারেটরগুলি হ'ল পিগ লাতিনীর ডেটাগুলিতে পরিচালনার জন্য প্রধান সরঞ্জাম। তারা আপনাকে বাছাই, গোষ্ঠীকরণ, যোগদান, প্রজেক্টিং এবং ফিল্টারিংয়ের মাধ্যমে এটিকে রূপান্তর করতে দেয়।

কমান্ডগুলি চালানোর জন্য দুটি ফাইল তৈরি করা যাক:

‘প্রথম’ এবং ‘দ্বিতীয়’ নামে দুটি ফাইল রয়েছে ’প্রথম ফাইলটিতে তিনটি ক্ষেত্র রয়েছে: ব্যবহারকারী, ইউআরএল এবং আইডি।

দ্বিতীয় ফাইলটিতে দুটি ক্ষেত্র থাকে: ইউআরএল এবং রেটিং। এই দুটি ফাইল হ'ল সিএসভি ফাইল।

অ্যাপাচি পিগ অপারেটরগুলি এই হিসাবে শ্রেণিবদ্ধ করা যেতে পারে: সম্পর্কিত এবং ডায়াগনস্টিক।

রিলেশনাল অপারেটর:

রিলেশনাল অপারেটরগুলি হ'ল পিগ লাতিনী ডেটাতে কাজ করার জন্য প্রধান সরঞ্জামগুলি। এটি আপনাকে বাছাই, গোষ্ঠীকরণ, যোগদান, প্রজেক্টিং এবং ফিল্টারিংয়ের মাধ্যমে ডেটা রূপান্তর করতে সহায়তা করে। এই বিভাগটি বেসিক রিলেশনাল অপারেটরদের কভার করে।

ভার:

লোড অপারেটরটি ফাইল সিস্টেম বা এইচডিএফএস স্টোরেজ থেকে একটি পিগের সম্পর্কের ক্ষেত্রে ডেটা লোড করতে ব্যবহৃত হয়।

এই উদাহরণে, লোড অপারেটর ‘প্রথম’ ফাইল থেকে ডেটা লোড করে রিলেশন ‘লোডিং 1’ তৈরি করে। ক্ষেত্রের নামগুলি ব্যবহারকারী, ইউআরএল, আইডি।

প্রতিটির জন্য, প্রত্যেকটির জন্য:

এই অপারেটর ডেটা কলামের উপর ভিত্তি করে ডেটা ট্রান্সফর্মেশন জেনারেট করে। এটি সম্পর্ক থেকে ক্ষেত্রগুলি যুক্ত করতে বা অপসারণ করতে ব্যবহৃত হয়। ডেটার কলামগুলির সাথে কাজ করতে পূর্ব-জেনারেট অপারেশন ব্যবহার করুন।

পূর্বের ফলাফল:

ছাঁকনি:

এই অপারেটর একটি শর্তের উপর ভিত্তি করে সম্পর্ক থেকে টিপলগুলি নির্বাচন করে।

এই উদাহরণে, শর্তটি ‘আইডি’ 8 এর চেয়ে বেশি হলে আমরা ‘লোডিং 1’ থেকে রেকর্ড ফিল্টার করছি।

ফিল্টার ফলাফল:

যোগদান:

জোইন অপারেটর সাধারণ ক্ষেত্রের মানগুলির উপর ভিত্তি করে দুই বা ততোধিক সম্পর্কের অভ্যন্তরীণ, ইকুইজয়াইন যোগদান করতে ব্যবহৃত হয়। JOIN অপারেটর সর্বদা একটি অভ্যন্তরীণ যোগদান যোগদান করে। অভ্যন্তরীণ নাল কীগুলি উপেক্ষা করে যোগ দেয়, সুতরাং যোগদানের আগে এগুলি ফিল্টার করে ফেলা বুদ্ধিমান হয়ে যায়।

এই উদাহরণে, ‘লোডিং 1’ এবং ‘লোডিং 2’ থেকে কলাম ‘url’ ভিত্তিতে দুটি সম্পর্কের সাথে যোগ দিন join

যোগদান ফলাফল:

অর্ডার দ্বারা:

অর্ডার বাই এক বা একাধিক ক্ষেত্রের উপর ভিত্তি করে একটি সম্পর্ক সাজানোর জন্য ব্যবহৃত হয়। আপনি ASC এবং DESC কীওয়ার্ড ব্যবহার করে আরোহণ বা অবতরণ ক্রমে বাছাই করতে পারেন।

নীচের উদাহরণে, আমরা রেটিং ফিল্ডে আরোহী ক্রমে লোডিং 2 এ ডেটা বাছাই করছি।

অর্ডার দ্বারা ফলাফল :

নির্ধারণ:

স্বতন্ত্রতা একটি সম্পর্কের সদৃশ টিপলগুলি সরিয়ে দেয় L নীচের মতো একটি ইনপুট ফাইল নিতে দিন আম্র, ক্রপ, 8 এবং amr, myblog, 10 দুইবার ফাইল। আমরা যখন এই ফাইলে ডেটাতে স্বতন্ত্র প্রয়োগ করি তখন সদৃশ এন্ট্রিগুলি সরানো হয়।

এইচটিএমএল এ বিআর ট্যাগ কি

বিতরণ ফলাফল:

স্টোর:

স্টোরটি ফাইল সিস্টেমে ফলাফলগুলি সংরক্ষণ করতে ব্যবহৃত হয়।

এখানে আমরা সংরক্ষণ করছি লোডিং 3 নামের একটি ফাইলের মধ্যে ডেটা সংরক্ষণ করা এইচডিএফএসে

স্টোর ফলাফল:

গ্রুপ:

গ্রুপ অপারেটর একই গ্রুপ কী (কী ক্ষেত্র) এর সাথে টিপলগুলিকে একসাথে গোষ্ঠীবদ্ধ করে। গ্রুপ ক্ষেত্রের একাধিক ক্ষেত্র থাকলে কী ক্ষেত্রটি একটি টিউপল হবে, অন্যথায় এটি গ্রুপ কীটির মতো একই ধরণের হবে। গ্রুপ অপারেশনের ফলাফল হ'ল এমন একটি সম্পর্ক যা প্রতি গ্রুপে একটি করে টিপল অন্তর্ভুক্ত করে।

এই উদাহরণে, গ্রুপ তম

e কলাম url দ্বারা ‘লোডিং 1’

গ্রুপ ফলাফল:

সহযোগীতা:

COGROUP GROUP অপারেটরের সমান। পঠনযোগ্যতার জন্য, প্রোগ্রামাররা সাধারণত একটি গ্রুপ জড়িত থাকে এবং একাধিক সম্পর্ক জড়িত থাকে তখন COGROUP ব্যবহার করে।

এই উদাহরণে উভয় সম্পর্কের মধ্যে url ক্ষেত্রের দ্বারা 'লোডিং 1' এবং 'লোডিং 2' গ্রুপ করুন।

গোষ্ঠী ফলাফল:

ক্রস:

ক্রোস অপারেটর দুই বা ততোধিক সম্পর্কের ক্রস প্রোডাক্ট (কার্টেসিয়ান পণ্য) গণনা করতে ব্যবহৃত হয়।

লোডিং 1 এবং লোডিং 2 এ ক্রস পণ্য প্রয়োগ করা।

ক্রস ফলাফল:

সীমাবদ্ধ:

আউটপুট টিউপসগুলির সংখ্যা সীমাবদ্ধ করতে LIMIT অপারেটর ব্যবহার করা হয়। যদি নির্ধারিত আউটপুট টিপলগুলির সংখ্যার সমান হয় বা সম্পর্কের ক্ষেত্রে টিপলগুলির সংখ্যাকে ছাড়িয়ে যায় তবে আউটপুটটি সম্পর্কের সমস্ত টিপলকে অন্তর্ভুক্ত করবে।

সীমাবদ্ধ ফলাফল:

স্প্লিট:

এসপিএলআইটি অপারেটর কিছু অভিব্যক্তির ভিত্তিতে একটি সম্পর্কের বিষয়বস্তুগুলিকে দুই বা ততোধিক সম্পর্কের মধ্যে বিভাজন করতে ব্যবহৃত হয়। অভিব্যক্তিতে বর্ণিত শর্তগুলির উপর নির্ভর করে।

লোডিং 2কে দুটি এবং x এবং y এর মধ্যে দুটি বিভক্ত করুন। লোডিং 2 দ্বারা তৈরি x সম্পর্কগুলি এমন ক্ষেত্রগুলিকে ধারণ করে যা রেটিংটি 8 এর চেয়ে বেশি হয় এবং ওয়াই সম্পর্কের ক্ষেত্রে ক্ষেত্রগুলি থাকে যা রেটিং 8 এর চেয়ে কম বা সমান হয়।

mysql_fetch_array

আমাদের জন্য একটি প্রশ্ন আছে? মন্তব্য বিভাগে তাদের উল্লেখ করুন এবং আমরা আপনার কাছে ফিরে আসব।

সম্পর্কিত পোস্ট:

অ্যাপাচি পিগে অপারেটরগুলি - ডায়াগনস্টিক অপারেটরগুলি

অ্যাপাচি পিগে ইউডিএফ তৈরির পদক্ষেপ