Гибрид из дешёвой модели Jev и Opus даёт точность уровня топ-моделей при затратах в 4+ раза ниже

Компания Hightouch, работающая с данными, опубликовала тест, в котором проверила, могут ли языковые модели автоматически оценивать результаты разрешения идентичностей (identity resolution, IDR). IDR — это сопоставление записей с реальными людьми, например чтобы объединить все покупки одного клиента. Самая частая проблема — чрезмерное объединение, когда в одном профиле оказываются записи нескольких людей.

В чём сложность

В реальных данных нет эталонных ответов, поэтому качество проверяют вручную — примерно 50 идентичностей в час. Чтобы оценить долю ошибок с точностью ±1%, нужно более 1000 выборок. Hightouch хотела заменить ручную проверку моделями. Внимание уделили Jev и GPT-6 Luna: они возвращают оценку уверенности от 0 до 1 и работают быстрее и дешевле топ-моделей.

Результаты теста

Тест построен на инструменте pseudopeople, который имитирует вымышленный американский город и добавляет реалистичные ошибки в данные. Из него собрали 1000 идентичностей: половина — один человек с неточными записями, половина — чрезмерные объединения.

Claude Opus 5.5 показал точность 99,0% при стоимости 3,86 долл. за 1000 идентичностей. Luna с порогом 70% набрала 97,3%, Jev с порогом 60% — 95,7%. Две дешёвые модели стоят 0,05–0,10 долл. за 1000 и отвечают примерно за 0,15 секунды.

На более сложном тесте с близнецами, отцами и сыновьями и однофамильцами Luna заметно отстала от топ-моделей. Оценки уверенности Jev оказались лучше откалиброваны: его ошибки в основном сопровождались низкой уверенностью, тогда как Luna часто ошибалась с высокой уверенностью.

Гибридная схема

Когда Jev передавал Opus только неоднозначные случаи (уверенность 30–90%, 22% идентичностей), точность составила 98,8% при 0,88 долл. за 1000. На сложном тесте эта схема показала 95,3% против 95,1% у Opus при стоимости 2,94 против 5,39 долл. Связка Luna и Opus на сложном тесте набрала 91,6%.