Блог · 6 октября 2026 · 5 мин

Анализ звонков с помощью ИИ: почему одна модель у двух компаний работает по-разному

Модель для разбора звонков у всех примерно одна и та же, а результат разный. Разбираем на замерах, что решает качество: инструкция под вашу номенклатуру, а не размер нейросети.

Мы разбирали странный дефект: у двух наших клиентов модель метила спамом обычные рабочие звонки. Компании непохожие, отрасли тоже, общего между ними только наш сервис.

Открыли метки и увидели забавное: у первого клиента в поле «тип обращения» стояла строка, дословно списанная из его профиля, а у второго там же сидела фраза из его собственного. Заглушки не пересекались, каждый воспроизводил свою.

Модель звонок вообще не читала, она копировала пример из инструкции, которую мы ей сами и написали, и накрыло это 42,7 процента спам-звонков у одного клиента и половину у другого.

История эта не про наш стыд, хотя стыдно было. Она про то, из чего на самом деле складывается качество ИИ-анализа звонков, и почему сравнивать поставщиков по названию нейросети бесполезно.

Модель у всех примерно одна

ИИ-анализ обращений сегодня есть у шести с лишним игроков рынка: у платформ речевой аналитики, у крупных АТС, у коллтрекингов, у сервисов вроде нашего. Под капотом при этом крутится небольшой набор одних и тех же языковых моделей, часть из них открытые, и любой может взять их и завтра.

Значит покупаете вы не модель, а инструкцию, которую поставщик для неё написал, и дисциплину, с которой он её проверяет на живом потоке.

Звучит скучно, поэтому в презентациях про это молчат и показывают нейросеть.

Размер нейросети решает меньше, чем кажется

Мы гоняли замеры на своём железе и получили две цифры, которые стоит знать любому, кому продают «более мощную модель».

Первая: расширили модели окно контекста вдвое, с 4096 до 8192, и точность классификации была 81,6 и 82,7 процента, а стала 81,0 и снова 81,0. Прибавки нет вовсе, а времени и памяти уходит заметно больше.

Вторая: взяли модель поменьше, 7 миллиардов параметров вместо 14, и она дала 83,2 процента точности против 81,0 у крупной, уложившись при этом вдвое быстрее.

Маленькая модель тут не победитель, вывод скромнее: от выбора модели результат гуляет на пару процентов, а от качества инструкции мы видели разницу в десятки.

Из чего состоит инструкция

Когда мы говорим «профиль отрасли», за этим стоят четыре вещи.

Номенклатура. Модель должна знать, что «рохля» это гидравлическая тележка, а не фамилия, и что «сорок пятая труба» это диаметр, а не срок. Без словаря отрасли она честно напишет, что предмет разговора неясен.

Определение целевого обращения. Для одной компании звонок дилера это лид, для другой мусор. Для третьей самое ценное это входящая рекламация, потому что она чинит удержание. Из воздуха модель этого не возьмёт.

Типичные ошибки менеджеров именно тут. В складской технике это несказанный срок поставки, в услугах несогласованный следующий шаг, в опте отсутствие вопроса про объём.

Правила разметки, общие для всех. Что такое спам, чем нецелевой отличается от пропущенного. Мы держим их одним общим текстом на все отрасли: когда эти правила лежали копиями внутри каждого профиля, они разъехались, и в одной пример-образец превратился в готовый ответ. Тот самый дефект, с которого начинается статья.

Что до этого директору

Ровно одно: инструкцию у поставщика либо можно увидеть и поправить, либо нельзя.

Если поставщик показывает вам текст, по которому модель принимает решения, вы можете внести туда свои термины, свои критерии и своё определение целевого звонка. Разбор становится про вашу компанию за пару итераций.

Если инструкция закрыта, вы получаете чужую отрасль в красивом кабинете. Метки будут ровные, проценты убедительные, а решение по ним принимать нельзя, потому что критерий внутри не ваш.

Как проверить за один разговор

На демо попросите три вещи.

• Покажите инструкцию, по которой модель ставит оценки, целиком текстом, потому что пересказ тут бесполезен.
• Внесите в неё три слова из нашей номенклатуры прямо сейчас и перезапустите разбор на пяти наших звонках.
• Покажите звонок, где модель ошиблась, и объясните, почему она решила именно так.

Третий пункт самый показательный. Поставщик, который за месяцы работы не нашёл у себя ни одной ошибки, либо не смотрел, либо не покажет её и вам, когда она встанет между вашим менеджером и его премией.

Мы правим профиль отрасли под клиента на пилоте и показываем, что именно изменилось в разметке после правки. Первые 33 звонка разбираем бесплатно, посмотреть можно на anfisa-phone.ru.

А вы знаете, по какому определению целевого звонка считает ваш сегодняшний отчёт, и кто его формулировал?