План интенсива по созданию AI-стримерши

Цель: Запустить собственного ИИ-персонажа с уникальной личностью — персонализированного автономного агента для прямых трансляций

Каждая команда запускает собственного AI-персонажа на основе готового бейзлайна!

Задача — повторить нашу инструкцию. Если вы впервые зашли сюда, начните с чтения Вводных, это обязательно, чтобы всё получилось!

Вводные

В процессе знакомимся с Twitch API, VTube Studio, виртуальными аудиокабелями, AI DevOps по технической части, по софтам — создание образа персонажа, промпт-инжиниринг.

Название команды — ник вашего ИИ-персонажа.

В каждой команде обязательно должен быть человек с ролью Хост — тот герой, кто запускает стримершу.

Результат: N уникальных AI-стримеров, работающих в реальном времени на одном Minecraft-сервере (где N — число команд, успешно прошедших интенсив).

Роли участников

В каждой команде обязательно должен быть Хост — человек, который запускает стримершу.

• работаем индивидуально по возможности
• в команде ТОЛЬКО если друзья/нет физической возможности быть хостом/есть другая супер-весомая причина.
• на одном человеке может быть несколько ролей;
• роли могут пересекаться.

Для МЕГАШКОЛЫ: БВИ работает только для роли Хост! Другие роли (если решили не выбирать хоста) — по желанию, но вы не будете учитываться при оценивании для БВИ.

Схема

Обязательная преподготовка ДЛЯ ВСЕХ

Обращаем внимание, что вы заполняли форму ПРЕДВАРИТЕЛЬНОЙ регистрации (из поста в TG), здесь ниже будет ссылка на форму ОСНОВНОЙ обязательной регистрации ХОСТА (но заполнять её лучше после выполнения пунктов ниже).

Перед интенсивом всем участникам обязательно нужно сделать следующее:

1. Определитесь с вашей РОЛЬЮ участника
2. Придумайте ваш собственный уникальный ник, если его нет
   • На английском, от 4 до 12 символов, только буквы и цифры
3. Придумайте ник вашему персонажу
4. Установите Minecraft с модами согласно инструкции и минимально освойтесь (инструкция)
   • Поставьте необходимый модпак, попробуйте зайти на сервер, освоить минимальные основы

1. Роль Хост: обязательная подготовка

P.S. Вас касается и общая преподготовка тоже!

Перед интенсивом нужно ОБЯЗАТЕЛЬНО заранее ВЫБРАТЬ ТРЕК ХОСТА и СКАЧАТЬ ТЯЖЕЛЫЕ ФАЙЛЫ. Иначе не успеете к финалу интенсива.

Минимальные системные требования:

• Более 8G RAM
• Место на диске более 50 G
• Интернет не медленнее 10 мегабит
• OS: мы пробовали на маке, винде и линуксе, можно везде, НО проще всего на винде, а на маке можно потерять часть функций с Rich TTS. P.S. У кого винда, НЕ используйте WSL!!!

1.1 Выбрать трек хоста заранее

Выберите трек разработки исходя из спеков вашего компа или ноута.

После выбора трека ОБЯЗАТЕЛЬНО заполните формочку ОСНОВНОЙ регистрации для ХОСТА

1.2 Скачайте заранее

1.2.1 Базовые программы:

• Если нет архиватора, скачайте 7-zip
• Виртуальные кабели под мак и винду
• VTube Studio из Steam
• OBS

1.2.2 Для треков выше Standart:

• Nvidia Cuda 12.9 (3.1 G)
• Nvidia CuDNN 9.15 (700 MB)
• Docker Desktop

1.3 Установите программы

1.3.1

• Установите виртуальный звуковой кабель (Windows, Mac, Linux)
  • КРИТИЧНО: ПЕРЕЗАПУСТИТЕ КОМП ПОСЛЕ УСТАНОВКИ!!!
• VTube Studio установите из Steam
• Установите мод AutoClef на Minecraft в папку mods (инструкция)
  • (в идеале) Базово освойтесь с ним

C:\Program Files\NVIDIA\CUDNN\v9.15\bin\12.9

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDNN\v9.15\bin\12.9

1.3.2 Для треков выше Standart

Если не установлен Docker: установите его и перезапуститесь после установки.

Скачаем заранее образ для интонационного TTS:

docker pull fishaudio/fish-speech:v1.5.1-dev

Блоки 2-5. Основной этап

Этап начинается со знакомства:

• Представляем организаторов, кратко ещё раз план интенсива, где вся инфа
• (опционально) Встречаемся в игре
• Показываем наших персонажей
• Финализируем распределение, кто запросил команду
• Начинаем работу

Основной этап делится на 2 параллельные задачи:

• Блоки 2: подготовка и запуск стримерши для Хоста
• Блоки 3-5: проработка персонажа, регистрация сервисов и т.д. для любых ролей

Распределиться на задачи можно как угодно, но они должны идти параллельно. Если участник один (он же хост) — придётся делать сначала 2, но прерываться на важные штуки из других блоков.

Блок 2. Запуск ИИ-персонажа (Хост)

Участник под ролью Хост включает демку экрана для своей команды и поехали! Если сложности — зовём организаторов.

2.1 Настройка программ

• 2.1.1 OBS Studio → Инструкция по настройке (настраивать под Twitch, понадобится ключ трансляции)
• 2.1.2 Настройка VTube Studio → Инструкция по настройке

2.2 Питонячья часть

• Скачать репозиторий с ДИСКА и засунуть его куда-то в нормальное место (по типу C:/Repos/repo)
• Строго следовать инструкциям по установке
• Минимально настроить и запустить, проверить, чтоб работало
  • Кастомизировать будем далее, сначала просто ЗАПУСТИТЬ
  • LLM уже можно запустить — бесплатный Mistral LLM API (ключ получают в пункте 4.3)

(P.S. репозиторий не на гите — это урезанная альфа версия)

2.3 Кастомизация

2.3.1 Кастомизация VTube Studio-модели, скачивание своей модели

Инструкция по смене модели

2.3.2 Кастомизация OBS сцены

Можно докинуть элементов-картинок, подходящего текста, интегрировать донаты. Инструкция OBS

2.3.3 Кастомизация кода в Python-скрипте

(см. тут)

2.4 Запуск

Блок 3. Проработка личности персонажа

Сделайте гугл док по персонажу для удобства и туда всё вносите.

3.1 Базовая часть

3.1.1 Ник персонажа

Игровой ник персонажа, соответствующий требованиям:

• Не короче 4 и не длиннее 10 символов
• Не простой типа "apple"
• Не что-то вроде "fdrjwetjre" или "124325"

3.1.2 Описание персонажа

Характер, манера общения, поведение, привычки, интересы, цели и мотивация. В идеале: референсы, какие-то черты, например, "шутит как ...".

3.1.3 Примеры ответов персонажа

Составьте эталонные примеры ответов в разных сценариях:

• Его победили в игре
• Победил кого-то в игре
• Оскорбили в чате
• Задали умный вопрос
• Издеваются и глумятся

3.2 ПРОМПТ персонажа

• Составьте промпт персонажа
• Потестите в Mistral chat

Передайте финальный промпт Хосту, ему нужно закинуть это в personalities.yml!

3.3 Внешность персонажа

Составьте описание внешности, ссылки на пару пикч-рефов. Ссылка на Steam Workshop для Live2D модели.

ПЕРЕДАЙТЕ ССЫЛКУ ХОСТУ, пусть он поставит модель по инструкции

3.4 Голос персонажа

Если ваш Хост выбрал трек Rich и выше, вы можете найти звуковые фрагменты для вашего персонажа, конвертировать в .wav файлы 48 kHz 16 bit mono, тогда ваш персонаж будет звучать так же!

Блок 4. Аккаунты и сервисы

4.1 Twitch аккаунт

Создать Twitch аккаунт, получить API ключ для стримов.

4.2 Twitch dev

Зарегистрировать приложение в Twitch dev, получить Client ID и Client Secret.

Могут быть проблемы с РУ номером, нужно несколько попыток или не-РУ номер.

4.3 LLM API

API ключи: Mistral бесплатный и можно зарегать по РУ номеру. GROQ и GEMINI тоже крутые лимиты, но нужен сервис смены региона.

4.4 Донаты

Настройка DonationAlerts, получение ссылки для внедрения в OBS.

Блок 5. Оформление

5.1 Оформление канала Twitch

Инструментарий для картинок:

• ChatGPT — отлично генерит картинки + умеет в прозрачность
• ImageGen-сервисы в HuggingFace Spaces
• Perchance AI — полностью бесплатный и без лимитов

5.1.1 Аватарка канала

5.1.2 Шапка канала

5.1.3 Описание канала

• Название стрима и описание
• Описание в самом Twitch и ссылка на донат (пункт 4.4)

Блок S. Наблюдение

S1. Играем на сервере

Заходим на сервер со своего ника. Комментируем наработки, общаемся, весело проводим время.

S2. Документируем процесс

Вносим что-нибудь интересное в заметки или в гугл док. Записываем видосы на память (особенно на публичных серверах!).

F. Финальный блок

F1. Финально синхронизируемся

Все заходим на наш сервер, синхронизируемся, встречаемся, смотрим, что агенты работают.

F2. Залетаем на публичный сервер

Ура, всё проверили, всё работает — залетаем к живым людям прямо группой агентов, смотрим на их реакцию!