how/script/data_processing/run_all.sh

#!/bin/bash

# 数据处理脚本执行脚本
# 按顺序执行所有数据处理步骤

set -e  # 遇到错误立即退出

# 获取脚本所在目录的绝对路径
SCRIPT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"
# 项目根目录
PROJECT_ROOT="$(cd "$SCRIPT_DIR/../.." && pwd)"

echo "=========================================="
echo "数据处理流程开始"
echo "项目根目录: $PROJECT_ROOT"
echo "=========================================="
echo ""

# 切换到项目根目录
cd "$PROJECT_ROOT"

# 步骤1: 提取特征分类映射
echo "[1/5] 正在提取特征分类映射..."
echo "  输入: data/data_1118/过去帖子_pattern聚合结果.json"
echo "  输入: data/data_1118/当前帖子_what解构结果/*.json (时间阈值)"
echo "  输出: data/data_1118/特征名称_分类映射.json"
echo "  输出: data/data_1118/分类层级映射.json"
python script/data_processing/extract_feature_categories.py
if [ $? -eq 0 ]; then
    echo "✓ 特征分类映射提取完成"
else
    echo "✗ 特征分类映射提取失败"
    exit 1
fi
echo ""

# 步骤2: 提取特征帖子来源
echo "[2/5] 正在提取特征帖子来源..."
echo "  输入: data/data_1118/过去帖子_what解构结果/*.json"
echo "  输入: data/data_1118/当前帖子_what解构结果/*.json (时间阈值)"
echo "  输出: data/data_1118/特征名称_帖子来源.json"
python script/data_processing/extract_features_from_posts.py
if [ $? -eq 0 ]; then
    echo "✓ 特征帖子来源提取完成"
else
    echo "✗ 特征帖子来源提取失败"
    exit 1
fi
echo ""

# 步骤3: 提取当前帖子解构任务列表
echo "[3/5] 正在提取当前帖子解构任务列表..."
echo "  输入: data/data_1118/当前帖子_what解构结果/*.json"
echo "  输出: data/data_1118/当前帖子_解构任务列表.json"
python script/data_processing/extract_current_posts.py
if [ $? -eq 0 ]; then
    echo "✓ 当前帖子解构任务列表提取完成"
else
    echo "✗ 当前帖子解构任务列表提取失败"
    exit 1
fi
echo ""

# 步骤4: 匹配灵感特征
echo "[4/5] 正在匹配灵感特征..."
echo "  输入: data/data_1118/当前帖子_解构任务列表.json"
echo "  输入: data/data_1118/特征名称_帖子来源.json"
echo "  输入: data/data_1118/特征名称_分类映射.json"
echo "  输出: data/data_1118/当前帖子_how解构结果/*_how.json"
python script/data_processing/match_inspiration_features.py
if [ $? -eq 0 ]; then
    echo "✓ 灵感特征匹配完成"
else
    echo "✗ 灵感特征匹配失败"
    exit 1
fi
echo ""

# 步骤5: 可视化结果
echo "[5/5] 正在生成可视化结果..."
echo "  输入: data/data_1118/当前帖子_how解构结果/*.json"
echo "  输入: data/data_1118/特征名称_分类映射.json"
echo "  输入: data/data_1118/分类层级映射.json"
echo "  输出: data/data_1118/当前帖子_how解构结果_可视化.html"
python script/data_processing/visualize_how_results.py
if [ $? -eq 0 ]; then
    echo "✓ 可视化结果生成完成"
else
    echo "✗ 可视化结果生成失败"
    exit 1
fi
echo ""

echo "=========================================="
echo "✓ 所有数据处理步骤已完成！"
echo "=========================================="