创建我的模型
用户模型简介
一个用户模型可以包含多个版本,可以从版本维度对模型进行评估、压缩和部署等操作。
模型创建步骤
1.
2.

1.

选择模型来源为大模型训练任务
选择模型来源为对象存储BOS
模型目录/
├── config.json
├── tokenizer_config.json
├── pytorch_model.bin
├── .......
1)当前问题拼接规范:按此处规范自动将当前用户问题拼接至Prompt中;{question}变量对应用户最新一轮问题。为尽可能保证模型效果,此处拼接规范应与模型精调时的问答拼接方式一致。
2)历史问答拼接规范:按此处规范自动将历史轮次问答拼接至Prompt中;{question}, {answer}变量分别对应历史用户问题和模型回答。为尽可能保证模型效果,此处拼接规范应与模型精调时的问答拼接方式一致。
3)外层Prompt模板:大模型指令精调时使用的Prompt模板,在模型调用时自动应用。
{
"load_model_class": "AutoModelForCausalLM",
"load_tokenizer_class": "AutoTokenizer",
"enable_auto_batch": true,
"custom_end_str": "",
"token_decode_return_blank": true,
"tokenizer_special_tokens": {}
}