luojunhui 1 месяц назад
Родитель
Сommit
9e4d035fe4
7 измененных файлов с 105 добавлено и 78 удалено
  1. 102 77
      README.md
  2. 0 0
      app/__init__.py
  3. 0 0
      app/api/__init__.py
  4. 3 1
      app/api/service/task_manager_service.py
  5. 0 0
      app/core/__init__.py
  6. 0 0
      app/domains/__init__.py
  7. 0 0
      app/infra/__init__.py

+ 102 - 77
README.md

@@ -17,61 +17,61 @@ docker compose up -d
 ├── Dockerfile
 ├── LICENSE
 ├── README.md
-├── app_config.toml
-├── applications
-│   ├── __init__.py
+├── app
 │   ├── ab_test
 │   │   ├── __init__.py
 │   │   ├── ab_accounts.py
 │   │   └── get_cover.py
 │   ├── api
-│   │   ├── __init__.py
-│   │   ├── aliyun_log_api.py
-│   │   ├── async_aigc_system_api.py
-│   │   ├── async_apollo_api.py
-│   │   ├── async_feishu_api.py
-│   │   ├── async_piaoquan_api.py
-│   │   ├── deep_seek_official_api.py
-│   │   └── elastic_search_api.py
-│   ├── config
-│   │   ├── __init__.py
-│   │   ├── aliyun_log_config.py
-│   │   ├── category_config.py
-│   │   ├── cold_start_config.py
-│   │   ├── deepseek_config.py
-│   │   ├── elastic_search_mappings.py
-│   │   ├── es_certs.crt
-│   │   ├── mysql_config.py
-│   │   └── task_chinese_name.py
-│   ├── crawler
-│   │   ├── tophub
-│   │   ├── toutiao
-│   │   │   ├── __init__.py
-│   │   │   ├── blogger.py
-│   │   │   ├── detail_recommend.py
-│   │   │   ├── main_page_recomend.py
-│   │   │   ├── search.py
-│   │   │   ├── toutiao.js
-│   │   │   └── use_js.py
-│   │   └── wechat
+│   │   ├── middleware
+│   │   │   ├── auth.py
+│   │   │   ├── error_handler.py
+│   │   │   └── rate_limiter.py
+│   │   ├── service
+│   │   │   ├── __init__.py
+│   │   │   ├── gzh_cookie_manager.py
+│   │   │   ├── task_manager_service.py
+│   │   │   └── task_scheduler.py
+│   │   └── v1
 │   │       ├── __init__.py
-│   │       ├── gzh_article_stat.py
-│   │       ├── gzh_fans.py
-│   │       └── gzh_spider.py
-│   ├── database
-│   │   ├── __init__.py
-│   │   └── mysql_pools.py
-│   ├── pipeline
-│   │   ├── __init__.py
-│   │   ├── crawler_pipeline.py
-│   │   └── data_recycle_pipeline.py
-│   ├── service
-│   │   ├── __init__.py
-│   │   ├── gzh_cookie_manager.py
-│   │   ├── log_service.py
-│   │   └── task_manager_service.py
-│   ├── tasks
-│   │   ├── __init__.py
+│   │       └── routes.py
+│   ├── core
+│   │   ├── bootstrap
+│   │   │   ├── __init__.py
+│   │   │   └── resource_manager.py
+│   │   ├── config
+│   │   │   ├── __init__.py
+│   │   │   ├── cert
+│   │   │   │   └── es_certs.crt
+│   │   │   ├── global_settings.py
+│   │   │   └── settings
+│   │   │       ├── __init__.py
+│   │   │       ├── aliyun.py
+│   │   │       ├── apollo.py
+│   │   │       ├── category.py
+│   │   │       ├── cold_start.py
+│   │   │       ├── deepseek.py
+│   │   │       ├── elasticsearch.py
+│   │   │       ├── mysql.py
+│   │   │       └── task_chinese_name.py
+│   │   ├── database
+│   │   │   ├── __init__.py
+│   │   │   └── mysql_pools.py
+│   │   ├── dependency
+│   │   │   ├── __init__.py
+│   │   │   └── dependencies.py
+│   │   ├── observability
+│   │   │   ├── __init__.py
+│   │   │   ├── logging
+│   │   │   │   ├── __init__.py
+│   │   │   │   └── log_service.py
+│   │   │   └── tracing
+│   │   └── pipeline
+│   │       ├── __init__.py
+│   │       ├── crawler_pipeline.py
+│   │       ├── data_recycle_pipeline.py
+│   │       └── schemas.py
+│   ├── domains
 │   │   ├── algorithm_tasks
 │   │   │   ├── __init__.py
 │   │   │   ├── account_category_analysis.py
@@ -110,37 +110,62 @@ docker compose up -d
 │   │   │   ├── candidate_account_process.py
 │   │   │   ├── process_title.py
 │   │   │   └── prompts.py
-│   │   ├── monitor_tasks
-│   │   │   ├── __init__.py
-│   │   │   ├── auto_reply_cards_monitor.py
-│   │   │   ├── cooperate_accounts_monitor.py
-│   │   │   ├── get_off_videos.py
-│   │   │   ├── gzh_article_monitor.py
-│   │   │   ├── kimi_balance.py
-│   │   │   ├── limited_account_analysis.py
-│   │   │   └── task_processing_monitor.py
-│   │   ├── task_config.py
-│   │   ├── task_handler.py
-│   │   ├── task_mapper.py
-│   │   ├── task_scheduler.py
-│   │   └── task_utils.py
-│   └── utils
-│       ├── __init__.py
-│       ├── aigc_system_database.py
-│       ├── async_apollo_client.py
-│       ├── async_http_client.py
-│       ├── async_mysql_utils.py
-│       ├── async_tasks.py
-│       ├── common.py
-│       ├── get_cover.py
-│       ├── item.py
-│       └── response.py
+│   │   └── monitor_tasks
+│   │       ├── __init__.py
+│   │       ├── auto_reply_cards_monitor.py
+│   │       ├── cooperate_accounts_monitor.py
+│   │       ├── get_off_videos.py
+│   │       ├── gzh_article_monitor.py
+│   │       ├── kimi_balance.py
+│   │       ├── limited_account_analysis.py
+│   │       └── task_processing_monitor.py
+│   ├── infra
+│   │   ├── crawler
+│   │   │   ├── __init__.py
+│   │   │   ├── tophub
+│   │   │   ├── toutiao
+│   │   │   │   ├── __init__.py
+│   │   │   │   ├── blogger.py
+│   │   │   │   ├── detail_recommend.py
+│   │   │   │   ├── main_page_recomend.py
+│   │   │   │   ├── search.py
+│   │   │   │   ├── toutiao.js
+│   │   │   │   └── use_js.py
+│   │   │   └── wechat
+│   │   │       ├── __init__.py
+│   │   │       ├── gzh_article_stat.py
+│   │   │       ├── gzh_fans.py
+│   │   │       └── gzh_spider.py
+│   │   ├── external
+│   │   │   ├── __init__.py
+│   │   │   ├── aliyun.py
+│   │   │   ├── apollo.py
+│   │   │   ├── deepseek_official.py
+│   │   │   ├── elastic_search.py
+│   │   │   └── feishu.py
+│   │   ├── internal
+│   │   │   ├── __init__.py
+│   │   │   ├── aigc_system.py
+│   │   │   ├── long_articles.py
+│   │   │   └── piaoquan.py
+│   │   ├── shared
+│   │   │   ├── __init__.py
+│   │   │   ├── async_tasks.py
+│   │   │   ├── http_client.py
+│   │   │   └── tools.py
+│   │   └── utils
+│   │       ├── __init__.py
+│   │       ├── get_cover.py
+│   │       └── response.py
+│   └── jobs
+│       ├── task_config.py
+│       ├── task_handler.py
+│       ├── task_mapper.py
+│       └── task_utils.py
+├── app_config.toml
 ├── docker-compose.yaml
 ├── jenkins_bash.sh
 ├── requirements.txt
-├── routes
-│   ├── __init__.py
-│   └── blueprint.py
 └── task_app.py
 ```
 

+ 0 - 0
app/__init__.py


+ 0 - 0
app/api/__init__.py


+ 3 - 1
app/api/service/task_manager_service.py

@@ -107,7 +107,9 @@ class TaskManager(TaskManagerUtils):
         )
 
         # 1) WHERE 子句
-        where_clause, params = self._build_where(id_eq, date_string, trace_id, task_status)
+        where_clause, params = self._build_where(
+            id_eq, date_string, trace_id, task_status
+        )
         sort_whitelist = {
             "id",
             "date_string",

+ 0 - 0
app/core/__init__.py


+ 0 - 0
app/domains/__init__.py


+ 0 - 0
app/infra/__init__.py