|
@@ -70,7 +70,7 @@ public class SpiderJob {
|
|
|
// Filter 过滤短、英文内容
|
|
// Filter 过滤短、英文内容
|
|
|
if (StringUtils.isBlank(rankListItem.getTitle())
|
|
if (StringUtils.isBlank(rankListItem.getTitle())
|
|
|
|| rankListItem.getTitle().length() < 8
|
|
|| rankListItem.getTitle().length() < 8
|
|
|
- || rankListItem.getTitle().matches("^[a-zA-Z0-9\\s!\"#$%&'()*+,\\-./:;<=>?@\\[\\\\\\]^_`{|}~]+$")) {
|
|
|
|
|
|
|
+ || rankListItem.getTitle().matches("^[\\p{L}\\p{N}\\s!\"#$%&'()*+,\\-./:;<=>?@\\[\\\\\\]^_`{|}~’‘“”]+$\n")) {
|
|
|
continue;
|
|
continue;
|
|
|
}
|
|
}
|
|
|
// Filter 过滤已存在
|
|
// Filter 过滤已存在
|