AI作画案例
:::highlight purple 💡
关于模型
模型介绍
无界提供了非常丰富的模型供客户选择,如果您希望快速了解不同模型的效果,可以在无界AI首页通过模型搜索看看无界AI的创作者们发布的图片。
另外也可以关注无界AI的公众号(微信搜索无界AI),会对我们最新发布的模型进行解析和教学。
:::
:::highlight blue 📌
不同场景的请求示例
随着功能越来越丰富,逐渐增多的API参数导致开发者接入时容易迷失方向。
这里我们总结一些常见的场景并给出对应的参数模板,为开发者梳理清楚目前的参数支持哪些排列组合。
作画案例如下:
:::
:::highlight purple 📌
steps: 即sampling steps。默认20步,步数对出图耗时影响较大。支持输入自定义步长,根据超出预设步长倍数额外收取积分,详见收费规则介绍。
cfg: 即CFG scale, 提示词的相关性,默认7,范围为[1-30],表示AI对描述参数的倾向程度。
sampler_index: 采样模式(Sampler)是指扩散去噪算法的采样模式,如果设置正确,它们会发散并最终收敛。不同model支持的采样模式不同,请根据预设资源接口填充。
seed: 生成图片的seed。通过随机种子确定扩散的初始状态,进而控制生成的样本的多样性。注:目前不支持字母,传字母会导致作画超时或失败。
clip_skip:画面描述匹配度,表示你希望画面描述对于模型主题来说匹配的准确度,取值范围 [1~12] 。
:::```
{
"model": 52,
"prompt": "黄色合欢花如阳光般明亮,散发着温暖和喜悦,丁达尔效应,自然光,64K,高清",
"width": 1024,
"height": 768,
"steps": 25,
"cfg": 9,
"sampler_index": 1,
"seed": 13445,
"clip_skip": 2
}
</Tab>
<Tab title="作画效果图">
![image.png](https://api.apifox.com/api/v1/projects/3291650/resources/434401/image-preview)
</Tab>
</Tabs>
</Accordion>
<Accordion title="文生图加入PT/Lora">
<Tabs>
<Tab title="作画案例">
场景:PT(角色同人)-对应参数为character、Lora(融合模型)对应参数为model_fusion,Lora可以设置权重。
这些参数选项可通过[获取作画模型的预设资源](api-110968143)接口来获取。注意这里只是举例表示参数组合,具体出图效果还是要结合实际需求进行测试和调整。
{
"model": 52,
"prompt": "黄色合欢花如阳光般明亮,散发着温暖和喜悦,丁达尔效应,自然光,64K,高清",
"width": 1024,
"height": 768,
"character":["c-机械朋克"],
"model_fusion":[
{
"key":"mf-可爱的线条平涂风",
"weight":0.6
}
]
}
</Tab>
<Tab title="作画效果图">
![image.png](https://api.apifox.com/api/v1/projects/3291650/resources/434402/image-preview)
</Tab>
</Tabs>
</Accordion>
<Accordion title="文生图使用风格模型">
<Tabs>
<Tab title="作画案例">
场景:风格模型本质是无界AI在基础模型之上,逐步沉淀下来的一套参数组合,用户若不希望关心具体基础模型的参数细节,可直接开箱使用风格模型。
平台提供的风格模型列表可通过[获取作画风格模型的预设资源](api-110968151)接口来获取。
{
"model": 52,
"prompt": "黄色合欢花如阳光般明亮,散发着温暖和喜悦,丁达尔效应,自然光,64K,高清",
"width": 1024,
"height": 768,
"style_model":"stm-白瓷水墨"
}
</Tab>
<Tab title="作画效果图">
![image.png](https://api.apifox.com/api/v1/projects/3291650/resources/434405/image-preview)
</Tab>
</Tabs>
</Accordion>
<Accordion title="文生图(带底图)">
<Tabs>
<Tab title="作画案例">
场景:当用户希望结合使用底图时。
注意底图实际的宽高需要上送给API,系统以它为准进行尺寸的处理。
{
"model": 52,
"prompt": "黄色合欢花如阳光般明亮,散发着温暖和喜悦,丁达尔效应,自然光,64K,高清",
"width": 1024,
"height": 768,
"init_image_url":"https://cdn.wujiebantu.com/ai/1607CA5CB049520A58A0D7BBA5719536-01.jpg",
"init_width": 2048,
"init_height": 1536
}
</Tab>
<Tab title="作画效果图">
![image.png](https://api.apifox.com/api/v1/projects/3291650/resources/434570/image-preview)
</Tab>
</Tabs>
</Accordion>
<Accordion title="文生图(带底图)并控制创意度">
<Tabs>
<Tab title="作画案例">
场景:当用户希望调整出图效果与底图的相似程度时。
注意,创意度本质上就是模型中的去噪强度(denoising strength),该值越低,生成的图片越接近参考图。
{
"model": 52,
"prompt": "黄色合欢花如阳光般明亮,散发着温暖和喜悦,丁达尔效应,自然光,64K,高清",
"width": 1024,
"height": 768,
"init_image_url":"https://cdn.wujiebantu.com/ai/1607CA5CB049520A58A0D7BBA5719536-01.jpg",
"init_width": 2048,
"init_height": 1536,
"creativity_degree": 70
}
</Tab>
<Tab title="作画效果图">
![image.png](https://api.apifox.com/api/v1/projects/3291650/resources/434581/image-preview)
</Tab>
</Tabs>
</Accordion>
<Accordion title="文生图采用ControlNet">
<Tabs>
<Tab title="作画案例">
场景:当用户希望对模型出图加入更多的控制能力(如姿势、轮廓、深度)时,可加入ControlNet相关的参数。
:::highlight purple 📌
- pattern:ControlNet模式,不同的模型支持的模式列表略有不同,因此需要通过[获取作画模型的预设资源](api-110968143)接口获取指定模型所支持的列表,对应响应字段为patterns。
- pretreatment_method:预处理方式,是指支持对用户提供的底图先进行一次预处理(支持反色、假涂鸦、预处理、默认无),然后再走ControlNet模型出图,具体的取值请查看作画接口文档。
- control_weight:control模式权重,取值范围 [0~2]。
- control_img2_img:是否开启controlNet-img2img(图生图)模式,默认false。
* control_mode:Control Mode(previously called Guess Mode),取值:0、1、2。使用该参数可以控制哪方面更加重要:
- 0 - 平衡
- 1 - 更注重作画描述词
- 2 - 更倾向于让ControlNet自由发挥
:::
{
"model":78,
"prompt":"a pertty girl",
"width":1024,
"height":1024,
"init_width":1024,
"init_height":1024,
"init_image_url":"https://cdn.wujiebantu.com/ai/C083FECA80BF33C70B91FE5999E0D16A-01.png",
"pattern": "OPENPOSE",
"pretreatment_method":"NONE",
"control_weight": 1,
"control_img2_img": false,
"control_mode": 0
}
</Tab>
<Tab title="作画效果图">
![image.png](https://api.apifox.com/api/v1/projects/3291650/resources/434634/image-preview)
</Tab>
</Tabs>
</Accordion>
<Accordion title="图生图">
<Tabs>
<Tab title="自动尺寸">
<Tabs>
<Tab title="作画案例">
场景:无界APP里为用户提供了简洁的图生图功能,该功能在平台API也支持。
该案例为平台仅通过指定的模型+图片,按默认尺寸计算规则出图,即将create_source设为1。
{
"model": 89,
"create_source":1,
"init_image_url":"https://cdn.wujiebantu.com/ai/C083FECA80BF33C70B91FE5999E0D16A-01.png",
"init_width":1024,
"init_height":1024
}
</Tab>
<Tab title="作画效果图">
![image.png](https://api.apifox.com/api/v1/projects/3291650/resources/434618/image-preview)
</Tab>
</Tabs>
</Tab>
<Tab title="自定义尺寸">
<Tabs>
<Tab title="作画案例">
场景:如果用户希望自己设定出图的目标尺寸,即将create_source设为0,并指定目标宽高。
{
"model": 89,
"width":1024,
"height":1024,
"create_source":0,
"init_image_url":"https://cdn.wujiebantu.com/ai/C083FECA80BF33C70B91FE5999E0D16A-01.png",
"init_width":1024,
"init_height":1024
}
</Tab>
<Tab title="作画效果图">
![image.png](https://api.apifox.com/api/v1/projects/3291650/resources/434620/image-preview)
</Tab>
</Tabs>
</Tab>
</Tabs>
</Accordion>
<Accordion title="multiDiffusion插件(图生图)">
<Tabs>
<Tab title="作画案例">
该插件使用了一种多步推理的策略,将全景图像的生成过程分解成多个步骤,并在每个步骤中对潜变量向量进行微调,从而生成高质量、高分辨率的全景图像。
{
"model":78,
"init_image_url":"https://data.wujiebantu.com/test/girl.jpg",
"width":2048,
"height":1024,
"multi_diffusion":{
"tiled_diffusion":{
"enabled":true,
"method":"MultiDiffusion",
"overwrite_size":false,
"keep_input_size":false,
"image_width":1024,
"image_height":576,
"tile_width":96,
"tile_height":96,
"overlap":48,
"tile_batch_size":4,
"upscaler_name":"None",
"scale_factor":2.0,
"noise_inverse":false,
"noise_inverse_steps":10,"noise_inverse_retouch":1.0,
"noise_inverse_renoise_strength":1.0,
"noise_inverse_renoise_kernel":64,
"control_tensor_cpu":false,
"enable_bbox_control":false,
"draw_background":false,
"causal_layers":false
}}
}
</Tab>
<Tab title="作画效果图">
![image.png](https://api.apifox.com/api/v1/projects/3291650/resources/434674/image-preview)
</Tab>
</Tabs>
</Accordion>
<Accordion title="MJ模型(文生图)">
<Tabs>
<Tab title="作画案例">
{
"model":301,
"prompt":"一个美丽的女孩,长发,古风",
"num":4,
"width":1024,
"height":1024,
"mj_param":{
"chaos":0,
"stylize":100,
"quality":"1",
"upbeta":false,
"tile":false
}
}
</Tab>
<Tab title="作画结果图">
![image.png](https://api.apifox.com/api/v1/projects/3291650/resources/434700/image-preview)
</Tab>
</Tabs>
</Accordion>
<Accordion title="MJ模型使用风格、角色参考图">
<Tabs>
<Tab title="作画案例">
{
"model":303,
"prompt":"一个美丽的女孩",
"num":4,
"width":1024,
"height":1024,
"mj_param":{
"chaos":0,
"stylize":100,
"quality":"1",
"upbeta":false,
"tile":false,
"sref_urls":["https://data.wujiebantu.com/test/girl2.jpg"],
"sw":100,
"cref_urls":["https://data.wujiebantu.com/test/meishaonv.jpeg"],
"cw":100
}
}
</Tab>
<Tab title="作画结果图">
![image.png](https://api.apifox.com/api/v1/projects/3291650/resources/434810/image-preview)
</Tab>
</Tabs>
</Accordion>
<Accordion title="透明图">
<Tabs>
<Tab title="作画案例">
场景:生成背景为透明的图片。
{
"model":700,
"prompt":"一个画着小狗的陶瓷杯,可爱",
"width":1024,
"height":1024,
"pattern":"LAYER_DIFFUSION",
"layer_diffusion":{
"method":2,
"weight":1.0,
"ending_step":1.0
}
}
</Tab>
<Tab title="作画结果图">
![image.png](https://api.apifox.com/api/v1/projects/3291650/resources/434962/image-preview)
</Tab>
</Tabs>
</Accordion>
<Accordion title="图片换脸">
<Tabs>
<Tab title="作画案例">
{
"image_url": "https://data.wujiebantu.com/test/suyan.jpg",
"template_url": "https://cdn.wujiebantu.com/zhisui_temp_10.jpg",
"payment_type": 1,
"init_width": 1440,
"init_height": 1794,
"queue_time_limit": 0,
"width": 776,
"height": 1024
}
```
:::highlight blue 📌
字段说明
ControlNet模式
pattern | 描述 |
---|---|
CANNY | 边缘检测 |
OPENPOSE | 姿态识别 |
DEPTH | 深度检测 |
HED | 边缘提取 |
MLSD | 线段识别 |
NORMAL | 模型识别 |
SCRIBBLE | 线稿生成图 |
SEG | 语义分割识别 |
::: |