Как использовать телефон для фейстрекинга в VTube Studio

Многие думают, что для витубинга нужна дорогая веб-камера. На деле обычный смартфон отслеживает лицо точнее и плавнее большинства бюджетных вебок — особенно iPhone с TrueDepth-камерой. В этом гайде разберём, как превратить телефон в камеру фейстрекинга для VTube Studio.

Почему телефон лучше вебки

Веб-камера видит только плоскую картинку, и трекер VTube Studio вычисляет положение головы по 2D-точкам. Телефон (особенно iPhone X и новее) снимает глубину и отдаёт готовые параметры лица — моргание, брови, форму рта, повороты головы. Результат — заметно живее и стабильнее, без дёрганья при плохом свете.

Вариант 1: iPhone (самый простой и точный)

1. Установите на iPhone официальное приложение VTube Studio из App Store.
2. Подключите телефон и ПК к одной Wi-Fi-сети (или соедините кабелем через iTunes/USB для нулевой задержки).
3. Запустите VTube Studio на ПК → откройте настройки → раздел Camera / iOS Tracking.
4. На телефоне в VTube Studio нажмите на иконку камеры и включите отдачу трекинга по сети.
5. В ПК-версии выберите ваш телефон в списке источников — параметры лица начнут приходить с телефона.

iPhone передаёт ARKit-параметры: это тот же движок, что в Animoji, поэтому мимика ловится максимально детально.

Вариант 2: Android

На Android нет единого ARKit, поэтому используют сторонние приложения-трекеры, которые шлют данные в VTube Studio по протоколу VMC или OpenSeeFace. Порядок такой же: телефон и ПК в одной сети, в приложении указываете IP компьютера и порт, а в VTube Studio включаете приём внешнего трекинга. Качество зависит от камеры телефона и освещения — на флагманах результат близок к iPhone.

Настройка плавности и калибровка

• Свет — важнее камеры. Направьте на лицо мягкий рассеянный свет спереди, уберите яркий фон за спиной.
• В VTube Studio откройте параметры сглаживания (smoothing) и поднимите их, если модель дёргается; опустите, если реакция кажется «ватной».
• Нажмите калибровку с нейтральным лицом — это точка отсчёта для мимики.
• Закрепите телефон на штативе на уровне глаз, в 40–60 см от лица.

Частые ошибки

• Телефон не виден на ПК — чаще всего это разные Wi-Fi-сети или файрвол блокирует порт. Отключите VPN на время настройки.
• Задержка (лаг) — перегруженный Wi-Fi; помогает подключение по кабелю или 5 ГГц-сеть.
• Рот/брови не двигаются — не назначены параметры в модели. Это уже вопрос рига: в качественной модели все параметры (рот, брови, моргание, повороты) уже настроены под VTube Studio.

Что дальше

Телефон решает вопрос трекинга бесплатно. Дальше всё упирается в качество самой модели: насколько детально в ней заригованы параметры лица. Если модель отслеживает мимику плохо — дело не в камере, а в риге. Готовые Live2D-модели в нашем каталоге уже настроены под VTube Studio: моргание, движение рта от микрофона, повороты и эмоции работают из коробки, телефон достаточно просто подключить.