소스 검색

oss delete

丁云鹏 10 달 전
부모
커밋
145f3ecc42
1개의 변경된 파일1개의 추가작업 그리고 1개의 파일을 삭제
  1. 1 1
      recommend-feature-produce/src/main/java/com/tzld/piaoquan/recommend/feature/produce/VideoCleanExecutor.java

+ 1 - 1
recommend-feature-produce/src/main/java/com/tzld/piaoquan/recommend/feature/produce/VideoCleanExecutor.java

@@ -25,7 +25,7 @@ public class VideoCleanExecutor {
 
         log.info("count {}", multiFileRDD.count());
         OSSService ossService = new OSSService();
-        multiFileRDD.repartition(20).foreachPartition(s -> {
+        multiFileRDD.repartition(100).foreachPartition(s -> {
             List<String> objectNames = new ArrayList<>();
             while (s.hasNext()) {
                 String[] data = StringUtils.split(s.next(), "\t");