Apache Pig - 联合组操作员

---

COGROUP运算符的工作方式与GROUP运算符大致相同。这两个运算符之间的唯一区别是，组运算符通常用于一个关系，而cogroup运算符用于涉及两个或多个关系的语句。

使用 Cogroup 对两个关系进行分组

假设HDFS目录/pig_data/中有两个文件，即student_details.txt和employee_details.txt，如下所示。

学生详细信息.txt

001,Rajiv,Reddy,21,9848022337,Hyderabad
002,siddarth,Battacharya,22,9848022338,Kolkata
003,Rajesh,Khanna,22,9848022339,Delhi
004,Preethi,Agarwal,21,9848022330,Pune
005,Trupthi,Mohanthy,23,9848022336,Bhuwaneshwar
006,Archana,Mishra,23,9848022335,Chennai
007,Komal,Nayak,24,9848022334,trivendram
008,Bharathi,Nambiayar,24,9848022333,Chennai

员工详细信息.txt

001,Robin,22,newyork 
002,BOB,23,Kolkata 
003,Maya,23,Tokyo 
004,Sara,25,London 
005,David,23,Bhuwaneshwar 
006,Maggy,22,Chennai

我们将这些文件加载​​到 Pig 中，关系名称分别为Student_details和employee_details，如下所示。

grunt> student_details = LOAD 'hdfs://localhost:9000/pig_data/student_details.txt' USING PigStorage(',')
   as (id:int, firstname:chararray, lastname:chararray, age:int, phone:chararray, city:chararray); 
  
grunt> employee_details = LOAD 'hdfs://localhost:9000/pig_data/employee_details.txt' USING PigStorage(',')
   as (id:int, name:chararray, age:int, city:chararray);

现在，让我们将关系student_details和employee_details的记录/元组与关键年龄进行分组，如下所示。

grunt> cogroup_data = COGROUP student_details by age, employee_details by age;

确认

使用DUMP运算符验证关系cogroup_data，如下所示。

grunt> Dump cogroup_data;

输出

它将产生以下输出，显示名为cogroup_data的关系的内容，如下所示。

(21,{(4,Preethi,Agarwal,21,9848022330,Pune), (1,Rajiv,Reddy,21,9848022337,Hyderabad)}, 
   {    })  
(22,{ (3,Rajesh,Khanna,22,9848022339,Delhi), (2,siddarth,Battacharya,22,9848022338,Kolkata) },  
   { (6,Maggy,22,Chennai),(1,Robin,22,newyork) })  
(23,{(6,Archana,Mishra,23,9848022335,Chennai),(5,Trupthi,Mohanthy,23,9848022336 ,Bhuwaneshwar)}, 
   {(5,David,23,Bhuwaneshwar),(3,Maya,23,Tokyo),(2,BOB,23,Kolkata)}) 
(24,{(8,Bharathi,Nambiayar,24,9848022333,Chennai),(7,Komal,Nayak,24,9848022334, trivendram)}, 
   { })  
(25,{   }, 
   {(4,Sara,25,London)})

cogroup运算符根据年龄对每个关系中的元组进行分组，其中每个组描述特定的年龄值。

例如，如果我们考虑结果的第一个元组，它按年龄 21 分组。它包含两个包 -

• 第一个包包含第一个关系（本例中为Student_details）中年龄为 21 岁的所有元组，并且

• 第二个包包含第二个关系（本例中为employee_details ）中年龄为21岁的所有元组。

如果关系没有年龄值为 21 的元组，则它返回一个空包。