|
|
@@ -0,0 +1,94 @@
|
|
|
+# 实验分桶报表说明
|
|
|
+
|
|
|
+本目录保存 `apptype=4` 的实验分桶报表。实验组为 `rootSessionId` 倒数第四位是 `0`、`1` 的用户，其余 `2-f` 共 14 桶为对照组。
|
|
|
+
|
|
|
+## 统一统计口径
|
|
|
+
|
|
|
+- 分桶字段：`LOWER(SUBSTR(rootSessionId, LENGTH(rootSessionId) - 3, 1))`，只保留 `0-f`。
|
|
|
+- 实验组：尾号 `0`、`1`；对照组：其余 14 个尾号。
|
|
|
+- 头部：`pagesource RLIKE 'user-videos-share$'`。
|
|
|
+- 推荐：`pagesource RLIKE '(detail|category|recommend)$'`。
|
|
|
+- 全部：不限制 `pagesource`。
|
|
|
+- 曝光：`businesstype='videoView'`，统计 PV 和去重 `mid` UV。
|
|
|
+- 播放：`businesstype='videoPlay'`，统计 PV 和去重 `mid` UV。
|
|
|
+- 分享：`businesstype='videoShareFriend'`，统计 PV 和去重 `mid` UV。
|
|
|
+- 回流：分享记录与同日 `topic='click'` 记录按 `shareid` 关联，统计去重点击用户 `machinecode` UV。
|
|
|
+- STR：分享 PV / 曝光 PV。
|
|
|
+- ROV：回流 UV / 曝光 PV。
|
|
|
+- 人均指标：曝光、播放、分享 PV 或回流 UV除以同桶 DAU。
|
|
|
+- DAU 相对变化：实验组每桶平均 DAU相对对照组每桶平均 DAU的变化率，避免直接比较 2 桶总量和 14 桶总量。
|
|
|
+- 每个日期输出 20 行：16 行尾号明细、2 行分组聚合、2 行每桶均值。
|
|
|
+- 事实值（DAU、PV、UV）保存为整数；比例列按既有实时报表格式输出。
|
|
|
+
|
|
|
+## SQL 文件
|
|
|
+
|
|
|
+### `bucket_source_pv_uv_return_realtime_20260721_apptype4_version1578.sql`
|
|
|
+
|
|
|
+查询 2026-07-21 当天的实时数据，限定 `apptype=4`、`versioncode=1578`。
|
|
|
+
|
|
|
+- DAU：`loghubods.useractive_log_per5min`。
|
|
|
+- 曝光、播放、分享：`loghubods.video_action_log_flow`。
|
|
|
+- 分享与回流：`loghubods.user_share_log_per5min`。
|
|
|
+- 输出粒度：16 个尾号，每个尾号一行原始事实数据。
|
|
|
+- 日期、版本和实时表分区条件写在 SQL 中；复用到其他日期或版本时需要同步修改。
|
|
|
+
|
|
|
+### `bucket_source_pv_uv_return_offline_20260716_20260720_apptype4_all_versions.sql`
|
|
|
+
|
|
|
+查询 2026-07-16 至 2026-07-20 的离线数据，限定 `apptype=4`，不限制版本号。
|
|
|
+
|
|
|
+- DAU：`loghubods.useractive_log`，与实时 SQL 一致，从 `extparams.rootSessionId` 取分桶字段。
|
|
|
+- 曝光、播放、分享：`loghubods.video_action_log_applet`。
|
|
|
+- 分享与回流：`loghubods.user_share_log`。
|
|
|
+- 所有事实按 `dt` 和尾号分别聚合，不跨天去重或合并。
|
|
|
+- 原始输出粒度：5 天 × 16 个尾号，共 80 行。
|
|
|
+- 输出仍保留版本号字段，统一写为“全部”，以便与限定版本的实时报表对齐。
|
|
|
+
|
|
|
+### `offline_dau_by_bucket_20260716_20260720_apptype4.sql`
|
|
|
+
|
|
|
+只补查五天离线 DAU，用于事实指标已经查询完成时快速重建报表，避免重复执行完整事实 SQL。
|
|
|
+
|
|
|
+- 数据源：`loghubods.useractive_log`。
|
|
|
+- 分桶字段：`GET_JSON_OBJECT(extparams, '$.rootSessionId')` 的倒数第四位。
|
|
|
+- 输出粒度：日期 × 16 个尾号，共 80 行。
|
|
|
+- 不限制版本号。
|
|
|
+
|
|
|
+## Python 脚本
|
|
|
+
|
|
|
+### `run_bucket_source_pv_uv_return_realtime.py`
|
|
|
+
|
|
|
+实时报表执行和格式化脚本。
|
|
|
+
|
|
|
+- 默认执行实时 SQL，将英文字段映射为中文字段。
|
|
|
+- 生成尾号明细、实验/对照聚合、实验/对照每桶均值。
|
|
|
+- 计算头部、推荐、全部三个场景的人均指标、STR、ROV及相对对照组变化率。
|
|
|
+- 输出 `bucket_source_pv_uv_return_realtime_20260721_apptype4_version1578.csv`。
|
|
|
+- `python3 run_bucket_source_pv_uv_return_realtime.py --rebuild`：不查询 ODPS，使用现有 CSV 重新计算比率列及列顺序。
|
|
|
+
|
|
|
+### `run_bucket_source_offline_5day_report.py`
|
|
|
+
|
|
|
+五天离线报表执行和格式化脚本，复用实时脚本的字段映射、公式和列顺序，保证离线 CSV 与实时 CSV 完全同构。
|
|
|
+
|
|
|
+- 默认执行完整离线 SQL，并按日期分别生成每天 20 行的结果。
|
|
|
+- 输出按日期倒序排列，共 100 行。
|
|
|
+- 版本号列保留并统一写为“全部”。
|
|
|
+- 输出 `bucket_source_full_report_offline_20260716_20260720_apptype4_all_versions.csv`。
|
|
|
+- `python3 run_bucket_source_offline_5day_report.py --rebuild-with-dau`：保留现有 CSV 中的曝光、播放、分享、回流事实，只执行 DAU 补查 SQL，再重新生成聚合、均值、比率和变化率。使用此模式前必须已有包含 80 行尾号明细的离线 CSV。
|
|
|
+
|
|
|
+两个脚本都依赖 `pandas` 以及本地运行环境提供的 `odps_module.ODPSClient`。包含访问凭据的连接配置不得提交到 Git。
|
|
|
+
|
|
|
+## 输出文件
|
|
|
+
|
|
|
+### `bucket_source_pv_uv_return_realtime_20260721_apptype4_version1578.csv`
|
|
|
+
|
|
|
+2026-07-21、版本 1578 的实时完整报表，共 20 行。
|
|
|
+
|
|
|
+### `bucket_source_full_report_offline_20260716_20260720_apptype4_all_versions.csv`
|
|
|
+
|
|
|
+2026-07-16 至 2026-07-20、全部版本的离线完整报表，共 100 行。列名、列顺序和指标维度与实时 CSV 一致。
|
|
|
+
|
|
|
+## 修改日期或版本时
|
|
|
+
|
|
|
+1. 同步修改 SQL 文件中的日期分区条件和输出日期。
|
|
|
+2. 实时报表需要同步修改 `versioncode` 和输出版本号；离线全版本报表不要增加版本过滤。
|
|
|
+3. 同步修改 Python 脚本顶部的 SQL、CSV 文件名常量。
|
|
|
+4. 执行后校验每个日期是否有 16 个尾号、20 行完整结果，事实值是否为整数，离线与实时列名及顺序是否一致。
|
刘立冬