Проверить API

Парное сравнение · методика paired-capability-v1

Два API.
Одни и те же задачи.

Каждая задача с проверяемым ответом уходит дважды: напрямую к эталону и через проверяемый сервис. В отчёте — исход каждой пары, разница во времени до первого токена и ничего сверх измеренного.

Эталон предоставлен оператором и не проходит независимую проверку происхождения: AuditLLM не подтверждает, какая модель отвечает за этим адресом. Совпадение исходов не подтверждает идентичность, расхождение не доказывает подмену.

Как устроено измерение

Три шага

Два подключения

Base URL, ID модели и ключ каждой стороны. Ключи уходят на сервер только на время запуска и не попадают в сохранённую запись.

Пары задач

Каждый повтор отправляет три задачи обеим сторонам. Порядок двух запросов внутри пары выбирается случайно, чтобы одна сторона не получала преимущества.

Только измерения

Сохраняются исходы задач и задержки. Тексты запросов и ответов не сохраняются, ключи — тоже.

Новое сравнениеДва подключения · 12 запросов

Подключите обе стороны

Одинаковые задачи методики paired-capability-v1: арифметика, задача по коду и точное следование инструкции. Обе стороны получают один и тот же текст задачи.

Эталонный API

HTTPS, адрес заканчивается на /v1 или /v1/openai.

Ключ используется только на время проверки и не сохраняется.

Проверяемый API

HTTPS, адрес заканчивается на /v1 или /v1/openai.

Ключ используется только на время проверки и не сохраняется.

Каждый повтор отправляет три задачи обеим сторонам: провайдеры могут списать плату за 12 запросов.

Сравнение сохранится в архиве: адреса API и ID моделей обеих сторон, исход пар и задержки. Ключи и тексты задач не сохраняются.

Публичный архив

Сохранённые сравнения

История на этом сервере публична. Адреса и ID моделей внесены пользователями и не удостоверены AuditLLM.