Kolors AI: китайская нейросеть для создания изображений

Ещё пару лет назад разговор про генерацию картинок нейросетями сводился к трём именам: Midjourney, Stable Diffusion, DALL-E. Сейчас в этот список плотно встроился Китай — и одна из заметных разработок оттуда называется Kolors. Разберёмся, что это за нейросеть, кто её сделал, чем она отличается от других и как ей пользоваться.

Ссылка: Kolors AI

Что такое Kolors и кто его сделал

Kolors — это модель для генерации изображений по текстовому описанию, разработанная командой китайской компании Kuaishou, они разрабатывали Kling. Технически это диффузионная модель, обученная на миллиардах пар «текст — картинка». По заявлениям разработчиков, модель обучена так, чтобы одинаково уверенно понимать запросы и на китайском, и на английском языке.

Это и есть главная особенность, которая отличает kolors нейросеть от большинства западных аналогов. Модели вроде Stable Diffusion в основе своей заточены под английский язык, а всё остальное — надстройки и переводы. Kolors изначально учили работать с китайским текстом, включая идиомы, исторические отсылки и культурные образы. Отсюда и результат: там, где другие нейросети путаются в китайских иероглифах на картинке, Kolors чаще выдает читаемый и осмысленный текст.

Откуда взялось название и причём тут «китай»

Слово Kolors — это отсылка которую можно перевести примерно как «можно нарисовать» или «можно представить в виде картинки». В официальных примерах разработчиков модель как раз просят сгенерировать изображение с надписью «可图» на упаковке — это своего рода фирменный тест на то, умеет ли модель вписывать иероглифы в сцену без искажений.

Модель действительно родом из Китая. В ее основе — китайская языковая модель ChatGLM, которая отвечает за понимание текстового запроса. Именно поэтому Kolors особенно хорошо ведёт себя с восточноазиатской эстетикой, традиционными орнаментами, костюмами и сюжетами — это заложено на уровне обучающих данных.

Где искать официальный сайт и код

Тут важно не запутаться, потому что под именем Kolors в сети существует сразу несколько ресурсов.

Оригинальная модель и её веса выложены командой Kuaishou в открытом доступе — на GitHub и на площадке Hugging Face. Там же лежит инструкция, как поставить модель через conda и Python, и код для запуска через библиотеку diffusers. Именно этот репозиторий и есть первоисточник — если нужна модель kolors нейросеть скачать в чистом виде, для локального запуска, начинать стоит именно оттуда.

Отдельно от разработчика существуют коммерческие сайты и сервисы, которые предлагают доступ к генерации на основе Kolors через браузер, без установки. Один из таких сервисов — kolors-ai.com, который работает как чат: пользователь описывает картинку словами, а инструмент строит изображение, редактирует фото, убирает лишние объекты с кадра, делает виртуальную примерку одежды и собирает рекламные баннеры. Важный нюанс: на подобных площадках зачастую используется не только сама модель Kolors, но и другие сторонние движки генерации — так что называть такой сайт полностью официальным будет не совсем точно. Это скорее витрина с доступом к нескольким моделям сразу, одна из которых — Kolors.

Если задача — именно протестировать саму модель без привязки к коммерческим надстройкам, проще всего зайти на страницу проекта на Hugging Face или воспользоваться демо-версией там же: не нужно ничего ставить на компьютер, можно ввести запрос прямо в браузере и сразу увидеть результат.

Сильные и слабые стороны

Из плюсов, которые подтверждают и разработчики, и независимые тесты:

• уверенная работа с китайским текстом внутри изображения — вывески, упаковки, плакаты с иероглифами получаются читаемыми чаще, чем у большинства конкурентов;
• хорошее понимание длинных и подробных описаний сцены;
• фотореалистичная картинка без характерной «пластиковости», которая иногда встречается у более старых диффузионных моделей;
• открытые веса — код можно посмотреть, изучить и запустить самостоятельно, если позволяет железо.

Минусы тоже есть, и они заметны при тестах:

• с английским текстом внутри картинки модель работает менее стабильно, чем с китайским — буквы иногда пропадают или искажаются, особенно если надпись длинная;
• максимальное разрешение генерации ограничено (обычно до 2048×2048 пикселей), для более крупной печати понадобится дополнительное увеличение картинки;
• локальный запуск требует серьёзной видеокарты, что подходит не всем;
• коммерческое использование модели напрямую от Kuaishou требует отдельного согласования — разработчики просят заполнить анкету и получить разрешение, если результат планируется использовать не в исследовательских целях.

Для чего подходит Kolors

Модель хорошо ложится на задачи, где важен восточноазиатский визуальный стиль: постеры к фильмам и мероприятиям, карточки товаров для маркетплейсов с китайской аудиторией, иллюстрации с иероглифами, стилизация под традиционное искусство. Разработчики также приводят примеры с виртуальной примеркой одежды по фото — модель неплохо сохраняет черты лица человека при смене наряда или фона.

Для англоязычных проектов, где нужен точный текст на плакате или обложке, лучше присмотреться к моделям, изначально заточенным под латиницу — здесь Kolors пока уступает.

Стоит ли пробовать

Если интересна тема генерации изображений с восточно азиатской спецификой — китайскими иероглифами, культурными образами, эстетикой — Kolors стоит того, чтобы её протестировать. Это не игрушка одного дня: за моделью стоит серьёзная компания с опытом в генеративном ИИ (та же Kuaishou выпускает и Kling — одну из сильных видеомоделей на рынке).

Для быстрого теста без установки хватит браузерного демо на Hugging Face. Для полноценной работы с моделью на своём железе — официальный репозиторий на GitHub. А для готового сервиса с чат-интерфейсом, где генерация идёт в диалоге, можно посмотреть в сторону сайтов вроде kolors-ai.com — с оговоркой, что там задействован не только сам Kolors, но и набор других инструментов.