README_CN.md

# SenseNova-U1.5-8B-MoT

<p align="center">
  <a href="./README.md">English</a> | <strong>简体中文</strong>
</p>

<p align="center">
  <a href="https://github.com/OpenSenseNova/SenseNova-U1"><img src="https://img.shields.io/badge/GitHub-SenseNova--U1-181717?logo=github" alt="GitHub"></a>
  <a href="https://huggingface.co/collections/sensenova/sensenova-u15"><img src="https://img.shields.io/badge/%F0%9F%A4%97%20HuggingFace-U1.5-yellow" alt="Hugging Face 上的 SenseNova-U1.5"></a>
  <a href="https://huggingface.co/blog/sensenova/neo-unify"><img src="https://img.shields.io/badge/Architecture-NEO--unify-2459B8" alt="NEO-unify"></a>
  <a href="https://github.com/OpenSenseNova/SenseNova-U1/blob/refs/heads/feat/u1.5/LICENSE"><img src="https://img.shields.io/badge/License-Apache%202.0-blue.svg" alt="License"></a>
</p>

<p align="center">
  <img src="https://raw.githubusercontent.com/OpenSenseNova/SenseNova-U1/refs/heads/feat/u1.5/docs/assets/teaserU1.5.png" alt="SenseNova-U1.5 原生统一多模态架构" width="100%">
</p>

## 概述

**SenseNova-U1.5-8B-MoT** 是我们最新的原生统一多模态权重，面向更准确、更一致、更可靠且更具审美表现力的视觉创作。基于 [NEO-unify](https://huggingface.co/blog/sensenova/neo-unify)，我们进一步强化了 patchify 层、数据质量与分布、任务定义、Prompt 增强和后训练流程。

正式版重点提升了六项用户可感知的能力：

- **更高质量的图像生成：** 提升构图、色彩和谐度、材质渲染、光照、真实感与细粒度细节。
- **更好的文字渲染与信息图生成：** 提升中英文文字可读性，并在海报、信息图、品牌素材及其他文字密集设计中呈现更清晰的信息层级。
- **更高效的原生 4K 生成：** 提升全局结构连贯性、高分辨率输出稳定性与生成效率。
- **更可靠的原生图像编辑：** 在局部编辑、文字编辑、多参考图编辑、插入与替换等任务中，更好地保持主体身份与非编辑内容。
- **更强的复杂指令遵循：** 更稳定地执行对象数量、空间关系、版式、风格及单个请求中的多项约束。
- **更精确的视觉控制：** 通过边界框、视觉标记以及单图或多图参考，实现更准确的区域级与对象级控制。

## 效果展示

<p align="center">
  <img src="https://raw.githubusercontent.com/OpenSenseNova/SenseNova-U1/refs/heads/feat/u1.5/docs/assets/u1.5_teaser2.webp" alt="SenseNova-U1.5 文生图与图像编辑效果" width="100%">
</p>

## 核心评测

<p align="center">
  <img src="https://raw.githubusercontent.com/OpenSenseNova/SenseNova-U1/refs/heads/feat/u1.5/docs/assets/benchmarks/u1.5_radial.webp" alt="SenseNova-U1.5 基准评测概览" width="100%">
</p>

<details>
<summary>查看详细评测结果</summary>

<p align="center">
  <img src="https://raw.githubusercontent.com/OpenSenseNova/SenseNova-U1/refs/heads/feat/u1.5/docs/assets/benchmarks/u1.5_combined.webp" alt="SenseNova-U1.5 详细基准评测结果" width="100%">
</p>

</details>

## 快速开始

参考推理代码位于 [SenseNova-U1 GitHub 仓库](https://github.com/OpenSenseNova/SenseNova-U1/tree/refs/heads/feat/u1.5)。

### 安装

```bash
git clone https://github.com/OpenSenseNova/SenseNova-U1.git
cd SenseNova-U1
uv sync
source .venv/bin/activate
```

上游环境使用 Python 3.11、PyTorch 2.8 和 CUDA 12.8。其他 CUDA 版本及可选的 FlashAttention 配置请参阅[安装指南](https://github.com/OpenSenseNova/SenseNova-U1/blob/refs/heads/feat/u1.5/docs/installation_CN.md)。

### 文生图

```bash
python examples/t2i/inference.py \
  --model_path sensenova/SenseNova-U1.5-8B-MoT \
  --prompt "A cinematic mountain lake at sunrise, realistic photography." \
  --width 2048 --height 2048 \
  --device_map auto \
  --output output.png
```

### 图像编辑

```bash
python examples/editing/inference.py \
  --model_path sensenova/SenseNova-U1.5-8B-MoT \
  --image input.png \
  --prompt "Change the jacket to cobalt blue. Preserve the face, pose, background, lighting, and framing." \
  --output edited.png
```

更多推理选项、支持的分辨率及批量处理方法请参阅[推理示例](https://github.com/OpenSenseNova/SenseNova-U1/blob/refs/heads/feat/u1.5/examples/README_CN.md)。

## 最佳实践

对于主体明确、约束较少的任务，直接使用自然语言 Prompt 通常即可。复杂生成或编辑任务可在需要额外规划时使用 Prompt 增强，并明确写出必须保持不变的内容。

安装说明以及可选的 Image PE、Caption-to-Prompt 和 Editing PE Recipe 请参阅 **[SenseNova-U1.5 Cookbook](https://github.com/OpenSenseNova/SenseNova-U1/blob/refs/heads/feat/u1.5/docs/u1.5_best_practices_CN.md)**。

## 进行中的改进

正式版在预览版基础上有所改进，但以下方面仍存在挑战：

- **细节或色彩过强：** 部分 Prompt 可能产生过多高频细节或过饱和色彩，通常可通过降低 `cfg_scale` 缓解。
- **密集文字错误：** 密集、较长、小字号或中英文混排文字仍可能出现错误。
- **高约束版式偏差：** 高约束版式中的精确计数、对齐或层级可能不完全准确。
- **细粒度细节不稳定：** 小尺寸人脸、手部、肢体与细粒度物体结构仍可能不稳定。
- **复杂编辑偏移：** 大范围、多轮或多参考图编辑仍可能发生偏移，尤其是同时需要保留多个区域时。

## 模型

| 模型 | 阶段 | HF 权重 |
| :--- | :--- | :------ |
| **SenseNova-U1.5-8B-MoT** | 最终模型 | [🤗 模型](https://huggingface.co/sensenova/SenseNova-U1.5-8B-MoT) |
| SenseNova-U1.5-8B-MoT-SFT | 监督微调 | [🤗 模型](https://huggingface.co/sensenova/SenseNova-U1.5-8B-MoT-SFT) |

## 引用

如果这个项目对您的研究有帮助，请考虑为仓库点 Star 并引用：

```bibtex
@misc{sensenova2026neounify,
  title        = {NEO-unify: Building Native Multimodal Unified Models End to End},
  author       = {SenseNova},
  journal      = {Hugging Face blog},
  url          = {https://huggingface.co/blog/sensenova/neo-unify},
  year         = {2026}
}

@article{sensenova2026sensenovau1,
  title        = {SenseNova-U1: Unifying Multimodal Understanding and Generation with NEO-unify Architecture},
  author       = {Diao, Haiwen and Wu, Penghao and Deng, Hanming and Wang, Jiahao and Bai, Shihao and Wu, Silei and Fan, Weichen and Ye, Wenjie and Tong, Wenwen and Fan, Xiangyu and others},
  journal      = {arXiv preprint arXiv:2605.12500},
  year         = {2026}
}
```

## 许可证

本模型基于 [Apache 2.0 License](https://github.com/OpenSenseNova/SenseNova-U1/blob/refs/heads/feat/u1.5/LICENSE) 开源发布。