感觉这个方法和R1有很多相似的地方，比如多response、使用两个模型的比值....之类的

[Yukino256]

如题，
但我目前脑子里没法辨析这些相似的地方和R1的具体差异所在。
是否有大佬能分析讨论一下？

[Yukino256]

另：使用Eurus-2-7B-SFT进行prime训练复现，没有复现出预期的结果，指标差的比较大，目前训练到step399

[cgq15]

Hi你好，可以分享一下你用的script以及log吗，应该都是可以复现的

[Yukino256]

Hi你好，可以分享一下你用的script以及log吗，应该都是可以复现的

Hi你好，我这边使用的script是example的脚本，只是明晰了路径、api key之类的，参数没有改

set -x

export NCCL_DEBUG=WARN
export WANDB_API_KEY='###'
export VLLM_ATTENTION_BACKEND=XFORMERS
export PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True
export TOKENIZERS_PARALLELISM=true

PROJECT_NAME='PRIME-test'
EXPERIMENT_NAME='online-after-solvable-0.2-0.8-policy-self-ref'
DATA_PATH=/Eurus-2-RL-Data
SFT_MODEL_PATH=/Eurus-2-7B-SFT
CKPT_PATH=/PRIME-outputs

python3 -m verl.trainer.main_ppo \
    data.train_files=["$DATA_PATH/train.parquet"] \
    data.val_files=["$DATA_PATH/validation.parquet"] \
    data.train_batch_size=256 \
    data.val_batch_size=1024 \
    data.max_prompt_length=1024 \
    data.max_response_length=3072 \
    actor_rollout_ref.model.path=$SFT_MODEL_PATH \
    actor_rollout_ref.actor.optim.lr=5e-7 \
    actor_rollout_ref.actor.ppo_mini_batch_size=256 \
    actor_rollout_ref.actor.ppo_micro_batch_size=8 \
    actor_rollout_ref.actor.fsdp_config.param_offload=True \
    actor_rollout_ref.actor.fsdp_config.grad_offload=True \
    actor_rollout_ref.actor.fsdp_config.optimizer_offload=True \
    actor_rollout_ref.model.use_remove_padding=True \
    actor_rollout_ref.actor.entropy_coeff=0. \
    actor_rollout_ref.rollout.log_prob_micro_batch_size=64 \
    actor_rollout_ref.rollout.tensor_model_parallel_size=1 \
    actor_rollout_ref.rollout.name=vllm \
    actor_rollout_ref.rollout.gpu_memory_utilization=0.7 \
    actor_rollout_ref.ref.log_prob_micro_batch_size=64 \
    actor_rollout_ref.ref.fsdp_config.param_offload=True \
    algorithm.kl_ctrl.kl_coef=0.00 \
    trainer.logger=['console'] \
    trainer.project_name=$PROJECT_NAME \
    trainer.experiment_name=$EXPERIMENT_NAME \
    trainer.default_local_dir=$CKPT_PATH/$PROJECT_NAME/$EXPERIMENT_NAME \
    trainer.n_gpus_per_node=8 \
    trainer.nnodes=1 \
    trainer.save_freq=16 \
    trainer.test_freq=16 \
    trainer.total_epochs=1 \
    data.n_samples=4 \
    data.filter_accuracy=True \
    data.accuracy_lower_bound=0.2 \
    data.accuracy_upper_bound=0.8 \
    algorithm.adv_estimator=rloo \
    algorithm.adv_params.verifier_gamma=1.0 \
    algorithm.adv_params.reward_model_gamma=1.0 \
    reward_model.rm_type=prime \
    reward_model.rm_coef=5 \
    reward_model.prime_model.path=$SFT_MODEL_PATH  \
    reward_model.prime_model.ref_path=$SFT_MODEL_PATH  \
    reward_model.model.input_tokenizer=null \
    reward_model.prime_model.use_remove_padding=True \
    reward_model.prime_granularity=token \
    reward_model.micro_batch_size=8 \
    reward_model.prime_model.update=after \
    reward_model.prime_model.beta_train=0.05 \
    reward_model.prime_model.optim.lr=1e-6 \
    reward_model.prime_model.optim.grad_clip=10.0 \
    reward_model.prime_model.input_tokenizer=null \
    trainer.default_local_dir=$CKPT_PATH/$PROJECT_NAME/$EXPERIMENT_NAME \

训练到step 399之后就停止不训了，论文里面提到的step 500+没达到。
有内容的log文件全部如下：
run_20250127_235024.log
run_20250127_235026.log
run_20250127_235027.log
run_20250127_235028.log
run_20250127_235029.log
run_20250127_235030.log
run_20250127_235031.log
run_20250127_235032.log
run_20250127_235033.log
run_20250127_235038.log

此外， 最开始还有大概十几个log是空的，没有内容，我没有上传，大概是这样的：

# Log started at 2025-01-27T23:21:21.231701
# Format: {timestamp}	{step}	{data_json}

十分感谢您的关注！希望您能为我解惑！

[cgq15]

可能是前期有些bug，没有用上PRM的reward，中间有一次commit修复了，可以尝试用最新的代码跑一下？

[Yukino256]

可能是前期有些bug，没有用上PRM的reward，中间有一次commit修复了，可以尝试用最新的代码跑一下？

好的，后续如果有时间的话我或许会重新尝试复现一下，但最近应该不行。感谢您的时间🤗！