Advertisement
Armandobs14

Multiple Files Hadoop

Jul 20th, 2016
314
0
Never
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
Java 2.44 KB | None | 0 0
  1. try {
  2.             //        if(videos.containsKey(key)){
  3. //            List palavras = videos.get(key);
  4. //            palavras.add(value);
  5. //        }else{
  6. //            List<Text> list = new ArrayList<>();
  7. //            list.add(value);
  8. //            
  9. //            videos.put(key, list);
  10. //            
  11. //        }
  12.             Configuration configuration = new Configuration();
  13.  
  14.             FileSystem hdfs = FileSystem.get(new URI("hdfs://hadoop-master:9000"), configuration);
  15.             Path file = new Path("hdfs://hadoop-master:9000/Videos/Mining/" + key);
  16.             Path fileTime = new Path("hdfs://hadoop-master:9000/Videos/Time/" + key);
  17.             OutputStream os = null;
  18.             if (hdfs.exists(file)) {
  19.                 hdfs.delete(file, true);
  20. //            os = hdfs.create(file, true);
  21.             }
  22.             os = hdfs.create(file,
  23.                     new Progressable() {
  24.                         public void progress() {
  25.                             System.out.println("...bytes written:");
  26.                         }
  27.                     });
  28.  
  29.             OutputStream osT = null;
  30.             if (hdfs.exists(fileTime)) {
  31.                 hdfs.delete(fileTime, true);
  32. //            os = hdfs.create(file, true);
  33.             }
  34.             osT = hdfs.create(fileTime,
  35.                     new Progressable() {
  36.                         public void progress() {
  37.                             System.out.println("...bytes written:");
  38.                         }
  39.                     });
  40.  
  41.             BufferedWriter br = new BufferedWriter(new OutputStreamWriter(os, "UTF-8"));
  42.             BufferedWriter brT = new BufferedWriter(new OutputStreamWriter(osT, "UTF-8"));
  43.  
  44.             StringBuilder sb = new StringBuilder();
  45.             StringBuilder sbT = new StringBuilder();
  46.             for (Text val : value) {
  47. //            System.out.println("Valores: " + val);
  48.                 String[] split = val.toString().split("_");
  49.                 sb.append(split[0]).append(" ");
  50.                 sbT.append(val.toString()).append(";");
  51. //            System.exit(1);
  52.             }
  53.             br.write(sb.toString());
  54.             brT.write(sbT.toString());
  55.             this.result.set(value.toString());
  56.             context.write(key, this.result);
  57.  
  58.             br.close();
  59.             brT.close();
  60.         } catch (URISyntaxException ex) {
  61.             Logger.getLogger(ReducerLSA.class.getName()).log(Level.SEVERE, null, ex);
  62.         }
Advertisement
Add Comment
Please, Sign In to add comment
Advertisement