|
|
@@ -17,61 +17,61 @@ docker compose up -d
|
|
|
├── Dockerfile
|
|
|
├── LICENSE
|
|
|
├── README.md
|
|
|
-├── app_config.toml
|
|
|
-├── applications
|
|
|
-│ ├── __init__.py
|
|
|
+├── app
|
|
|
│ ├── ab_test
|
|
|
│ │ ├── __init__.py
|
|
|
│ │ ├── ab_accounts.py
|
|
|
│ │ └── get_cover.py
|
|
|
│ ├── api
|
|
|
-│ │ ├── __init__.py
|
|
|
-│ │ ├── aliyun_log_api.py
|
|
|
-│ │ ├── async_aigc_system_api.py
|
|
|
-│ │ ├── async_apollo_api.py
|
|
|
-│ │ ├── async_feishu_api.py
|
|
|
-│ │ ├── async_piaoquan_api.py
|
|
|
-│ │ ├── deep_seek_official_api.py
|
|
|
-│ │ └── elastic_search_api.py
|
|
|
-│ ├── config
|
|
|
-│ │ ├── __init__.py
|
|
|
-│ │ ├── aliyun_log_config.py
|
|
|
-│ │ ├── category_config.py
|
|
|
-│ │ ├── cold_start_config.py
|
|
|
-│ │ ├── deepseek_config.py
|
|
|
-│ │ ├── elastic_search_mappings.py
|
|
|
-│ │ ├── es_certs.crt
|
|
|
-│ │ ├── mysql_config.py
|
|
|
-│ │ └── task_chinese_name.py
|
|
|
-│ ├── crawler
|
|
|
-│ │ ├── tophub
|
|
|
-│ │ ├── toutiao
|
|
|
-│ │ │ ├── __init__.py
|
|
|
-│ │ │ ├── blogger.py
|
|
|
-│ │ │ ├── detail_recommend.py
|
|
|
-│ │ │ ├── main_page_recomend.py
|
|
|
-│ │ │ ├── search.py
|
|
|
-│ │ │ ├── toutiao.js
|
|
|
-│ │ │ └── use_js.py
|
|
|
-│ │ └── wechat
|
|
|
+│ │ ├── middleware
|
|
|
+│ │ │ ├── auth.py
|
|
|
+│ │ │ ├── error_handler.py
|
|
|
+│ │ │ └── rate_limiter.py
|
|
|
+│ │ ├── service
|
|
|
+│ │ │ ├── __init__.py
|
|
|
+│ │ │ ├── gzh_cookie_manager.py
|
|
|
+│ │ │ ├── task_manager_service.py
|
|
|
+│ │ │ └── task_scheduler.py
|
|
|
+│ │ └── v1
|
|
|
│ │ ├── __init__.py
|
|
|
-│ │ ├── gzh_article_stat.py
|
|
|
-│ │ ├── gzh_fans.py
|
|
|
-│ │ └── gzh_spider.py
|
|
|
-│ ├── database
|
|
|
-│ │ ├── __init__.py
|
|
|
-│ │ └── mysql_pools.py
|
|
|
-│ ├── pipeline
|
|
|
-│ │ ├── __init__.py
|
|
|
-│ │ ├── crawler_pipeline.py
|
|
|
-│ │ └── data_recycle_pipeline.py
|
|
|
-│ ├── service
|
|
|
-│ │ ├── __init__.py
|
|
|
-│ │ ├── gzh_cookie_manager.py
|
|
|
-│ │ ├── log_service.py
|
|
|
-│ │ └── task_manager_service.py
|
|
|
-│ ├── tasks
|
|
|
-│ │ ├── __init__.py
|
|
|
+│ │ └── routes.py
|
|
|
+│ ├── core
|
|
|
+│ │ ├── bootstrap
|
|
|
+│ │ │ ├── __init__.py
|
|
|
+│ │ │ └── resource_manager.py
|
|
|
+│ │ ├── config
|
|
|
+│ │ │ ├── __init__.py
|
|
|
+│ │ │ ├── cert
|
|
|
+│ │ │ │ └── es_certs.crt
|
|
|
+│ │ │ ├── global_settings.py
|
|
|
+│ │ │ └── settings
|
|
|
+│ │ │ ├── __init__.py
|
|
|
+│ │ │ ├── aliyun.py
|
|
|
+│ │ │ ├── apollo.py
|
|
|
+│ │ │ ├── category.py
|
|
|
+│ │ │ ├── cold_start.py
|
|
|
+│ │ │ ├── deepseek.py
|
|
|
+│ │ │ ├── elasticsearch.py
|
|
|
+│ │ │ ├── mysql.py
|
|
|
+│ │ │ └── task_chinese_name.py
|
|
|
+│ │ ├── database
|
|
|
+│ │ │ ├── __init__.py
|
|
|
+│ │ │ └── mysql_pools.py
|
|
|
+│ │ ├── dependency
|
|
|
+│ │ │ ├── __init__.py
|
|
|
+│ │ │ └── dependencies.py
|
|
|
+│ │ ├── observability
|
|
|
+│ │ │ ├── __init__.py
|
|
|
+│ │ │ ├── logging
|
|
|
+│ │ │ │ ├── __init__.py
|
|
|
+│ │ │ │ └── log_service.py
|
|
|
+│ │ │ └── tracing
|
|
|
+│ │ └── pipeline
|
|
|
+│ │ ├── __init__.py
|
|
|
+│ │ ├── crawler_pipeline.py
|
|
|
+│ │ ├── data_recycle_pipeline.py
|
|
|
+│ │ └── schemas.py
|
|
|
+│ ├── domains
|
|
|
│ │ ├── algorithm_tasks
|
|
|
│ │ │ ├── __init__.py
|
|
|
│ │ │ ├── account_category_analysis.py
|
|
|
@@ -110,37 +110,62 @@ docker compose up -d
|
|
|
│ │ │ ├── candidate_account_process.py
|
|
|
│ │ │ ├── process_title.py
|
|
|
│ │ │ └── prompts.py
|
|
|
-│ │ ├── monitor_tasks
|
|
|
-│ │ │ ├── __init__.py
|
|
|
-│ │ │ ├── auto_reply_cards_monitor.py
|
|
|
-│ │ │ ├── cooperate_accounts_monitor.py
|
|
|
-│ │ │ ├── get_off_videos.py
|
|
|
-│ │ │ ├── gzh_article_monitor.py
|
|
|
-│ │ │ ├── kimi_balance.py
|
|
|
-│ │ │ ├── limited_account_analysis.py
|
|
|
-│ │ │ └── task_processing_monitor.py
|
|
|
-│ │ ├── task_config.py
|
|
|
-│ │ ├── task_handler.py
|
|
|
-│ │ ├── task_mapper.py
|
|
|
-│ │ ├── task_scheduler.py
|
|
|
-│ │ └── task_utils.py
|
|
|
-│ └── utils
|
|
|
-│ ├── __init__.py
|
|
|
-│ ├── aigc_system_database.py
|
|
|
-│ ├── async_apollo_client.py
|
|
|
-│ ├── async_http_client.py
|
|
|
-│ ├── async_mysql_utils.py
|
|
|
-│ ├── async_tasks.py
|
|
|
-│ ├── common.py
|
|
|
-│ ├── get_cover.py
|
|
|
-│ ├── item.py
|
|
|
-│ └── response.py
|
|
|
+│ │ └── monitor_tasks
|
|
|
+│ │ ├── __init__.py
|
|
|
+│ │ ├── auto_reply_cards_monitor.py
|
|
|
+│ │ ├── cooperate_accounts_monitor.py
|
|
|
+│ │ ├── get_off_videos.py
|
|
|
+│ │ ├── gzh_article_monitor.py
|
|
|
+│ │ ├── kimi_balance.py
|
|
|
+│ │ ├── limited_account_analysis.py
|
|
|
+│ │ └── task_processing_monitor.py
|
|
|
+│ ├── infra
|
|
|
+│ │ ├── crawler
|
|
|
+│ │ │ ├── __init__.py
|
|
|
+│ │ │ ├── tophub
|
|
|
+│ │ │ ├── toutiao
|
|
|
+│ │ │ │ ├── __init__.py
|
|
|
+│ │ │ │ ├── blogger.py
|
|
|
+│ │ │ │ ├── detail_recommend.py
|
|
|
+│ │ │ │ ├── main_page_recomend.py
|
|
|
+│ │ │ │ ├── search.py
|
|
|
+│ │ │ │ ├── toutiao.js
|
|
|
+│ │ │ │ └── use_js.py
|
|
|
+│ │ │ └── wechat
|
|
|
+│ │ │ ├── __init__.py
|
|
|
+│ │ │ ├── gzh_article_stat.py
|
|
|
+│ │ │ ├── gzh_fans.py
|
|
|
+│ │ │ └── gzh_spider.py
|
|
|
+│ │ ├── external
|
|
|
+│ │ │ ├── __init__.py
|
|
|
+│ │ │ ├── aliyun.py
|
|
|
+│ │ │ ├── apollo.py
|
|
|
+│ │ │ ├── deepseek_official.py
|
|
|
+│ │ │ ├── elastic_search.py
|
|
|
+│ │ │ └── feishu.py
|
|
|
+│ │ ├── internal
|
|
|
+│ │ │ ├── __init__.py
|
|
|
+│ │ │ ├── aigc_system.py
|
|
|
+│ │ │ ├── long_articles.py
|
|
|
+│ │ │ └── piaoquan.py
|
|
|
+│ │ ├── shared
|
|
|
+│ │ │ ├── __init__.py
|
|
|
+│ │ │ ├── async_tasks.py
|
|
|
+│ │ │ ├── http_client.py
|
|
|
+│ │ │ └── tools.py
|
|
|
+│ │ └── utils
|
|
|
+│ │ ├── __init__.py
|
|
|
+│ │ ├── get_cover.py
|
|
|
+│ │ └── response.py
|
|
|
+│ └── jobs
|
|
|
+│ ├── task_config.py
|
|
|
+│ ├── task_handler.py
|
|
|
+│ ├── task_mapper.py
|
|
|
+│ └── task_utils.py
|
|
|
+├── app_config.toml
|
|
|
├── docker-compose.yaml
|
|
|
├── jenkins_bash.sh
|
|
|
├── requirements.txt
|
|
|
-├── routes
|
|
|
-│ ├── __init__.py
|
|
|
-│ └── blueprint.py
|
|
|
└── task_app.py
|
|
|
```
|
|
|
|