Перейти к содержимому
Все работы
ИИВеб2025 · ~1 мин чтения

Подсказки от ИИ прямо во время созвона

Оператор слышит вопрос — и сразу видит ответ: речь из вкладки расшифровывается на лету, а ИИ отвечает по базе знаний компании.

# Задача

Оператору на созвоне нужно было отвечать на любые вопросы клиента. Часть ответов он мог просто не знать, часть — забыть в моменте, а искать в документации во время разговора нельзя: пауза в диалоге стоит дороже неточности.

# Решение

Сделал интерфейс, который перехватывает системный звук выбранной вкладки. Микрофон намеренно игнорируется — в расшифровку попадает собеседник, а не сам оператор. Речь распознаётся на лету и складывается в ленту диалога. Рядом с любой репликой есть кнопка «Запрос»: по ней вопрос уходит в ИИ, подключённый к базе знаний компании через RAG, и ответ появляется в соседней колонке, не прерывая разговор. Всё работает мультиязычно. На записи вместо реального созвона открыт ролик на YouTube — так демонстрацию можно показывать, не раскрывая ни клиентов, ни содержание звонков.

# Результат

Работа сдана за неделю: интерфейс, захват звука, лента расшифровки и запросы к ИИ. Метрик использования у меня нет — доступа к данным заказчика не было, а серверную часть ИИ делала другая сторона. Аналогичный бэкенд я собирал в другом проекте: очистка записи от шума через Silero, распознавание через Whisper и запрос к модели на FastAPI. Поэтому такую систему могу сделать целиком, а не только её интерфейс.

# Как устроено

  1. Вкладка браузераОператор выбирает вкладку, в которой идёт разговор.
  2. Захват звукаЗабирается системный звук вкладки. Микрофон намеренно игнорируется — в расшифровку попадает собеседник, а не сам оператор.
  3. РаспознаваниеРечь превращается в текст на лету, мультиязычно.
  4. Лента диалогаРеплики выстраиваются в ленту, и у каждой есть кнопка «Запрос».
  5. ИИ и база знанийОтвечает по базе знаний компании через RAG. Серверную часть делала другая сторона — я отвечал за интерфейс и логику запросов.

Пунктиром — то, что делал не я: платформы и системы заказчика

Следующий проект

ИИ-ассистент в WhatsApp, который сам записывает клиента

Нужен похожий проект?

Обсудить задачу