|
|
@@ -124,7 +124,11 @@ def h_timer_check():
|
|
|
log_.info("上游数据就绪，count={}，开始读取数据表".format(table_data_cnt))
|
|
|
#2 读取数据表
|
|
|
data = get_table_data(project, table, partition)
|
|
|
- log_.info("数据处理完成，数据数量={}，开始处理和写入redis。".format(len(data)))
|
|
|
+ data = [one for one in data if one["region"] in region_name2code]
|
|
|
+ log_.info("数据处理完成，数据数量={}，所有的地域code：".format(len(data), ",".join([
|
|
|
+ one["region"] for one in data
|
|
|
+ ])))
|
|
|
+ log_.info("开始处理和写入redis")
|
|
|
#3 写入redis
|
|
|
records_process_for_list(data, process_and_store, max_size=10, num_workers=5)
|
|
|
|
zhangbo