jch 1 vecka sedan
förälder
incheckning
f83ff621b9
2 ändrade filer med 28 tillägg och 4 borttagningar
  1. 9 4
      rec_scripts/README.md
  2. 19 0
      rec_scripts/nor/update2oss.sh

+ 9 - 4
rec_scripts/README.md

@@ -1,8 +1,9 @@
 # 1. 总体
 - str+模型(rov)和ros-模型(nor),使用相同的底层数据,都是通过make_data.sh获得的;其中str+模型每天更新,ros-模型手动更新(目前没有更新)。
-- 使用时,需将脚本中的jar文件路径&alpha_fm路径,替换成自己的路径
-- [数据生成code]()
-- [ros-模型训练code](https://git.yishihui.com/algorithm/recommend-model/src/feature/jch)
+- 使用时,需将脚本中的jar文件路径&alphaFM路径,替换成自己的路径
+- [数据生成code](https://git.yishihui.com/algorithm/recommend-emr-dataprocess/src/feature/jch_makedata)
+- [str+模型训练code: alphaFM](https://github.com/CastellanZhang/alphaFM)
+- [ros-模型训练code: spark_xgboost](https://git.yishihui.com/algorithm/recommend-model/src/feature/jch)
 
 # 2. make_data
 - run.sh生成t+2底层数据(样本表:dwd_recsys_alg_sample_all_20250212) & rov t+2 训练样本
@@ -33,4 +34,8 @@
 ### src
 
 # 4. ros-模型(nor)
-- python src/preprocess/eval_result.py --input_file test_result.csv
+- nor_pipline.sh 训练流程
+- nor_sample.sh 生成样本数据
+- nor_train.sh 使用spark_xgboost训练模型
+- nor_predict.sh 使用训练好的模型,测试
+- update2oss.sh 将本地模型生成至oss(需先将模型下载至本地,tar打包,再上传至oss)

+ 19 - 0
rec_scripts/nor/update2oss.sh

@@ -0,0 +1,19 @@
+#!/bin/bash
+
+model_file=""
+if(($#==1))
+then
+  model_file=$1
+else
+  echo "need model.tar.gz"
+  exit -1
+fi
+
+hadoop_bin=/opt/apps/HADOOP-COMMON/hadoop-common-current/bin/hadoop
+MODEL_OSS_PATH=oss://art-recommend.oss-cn-hangzhou.aliyuncs.com/zhangbo/
+
+if [ -f $model_file ]
+then
+  echo `date` "$hadoop_bin fs -put -f $model_file  ${MODEL_OSS_PATH}"
+  $hadoop_bin fs -put -f $model_file ${MODEL_OSS_PATH}
+fi