recommend-emr-dataprocess/profile_scripts

1. 总体

• 根据用户行为数据，进行行为画像。
• 使用时，需将脚本中的jar文件路径，替换成自己的路径
• 数据生成code
• 性别模型训练code: spark_xgboost

2. 基础数据表

2.1 用户点击分享行为

• loghubods.alg_recsys_user_share_click_event

  2.2 视频标签&关键词

• loghubods.video_merge_tag

• loghubods.alg_recsys_profile_user_behavior_video

  2.3 微信性别标签

• loghubods.alg_recsys_user_wx_gender

  2.4 样本数据

• loghubods.alg_recsys_feature_behavior_profile

3. 生成特征数据

• make_data.sh 生成特征
• stat_freq.sh 统计特征频次

4. 性别模型

4.1 生成训练数据

• make_train_sample.sh

  4.2 生成预测数据

• make_predict_sample.sh

  4.3 评估模型

• xgb_model_eval.sh

  4.4 预测

• xgb_model_predict.sh

  4.5 结果写入hive

• parse_to_hive.sh