СВОЯ МОДЕЛЬ / ПРОВЕРЯЕМ НА ПРАКТИКЕЭтап 01 · подготовка

GPU LAB / 001

Код пишут модели.
Выбор делают измерения.

Подбираем открытую coding-модель для небольших и средних задач. Сравниваем с Sol и Opus 5 на одинаковых исходниках, инструментах и тестах.

Условия эксперимента ↓Смотреть результаты ↗

ОПУБЛИКОВАНО ЗАПУСКОВ—С подтверждённым отчётом

УСПЕШНОСТЬ МОДЕЛЕЙНе измеренаСравнение отдельно по одинаковым условиям

СОБСТВЕННАЯ МОДЕЛЬНе выбранаЗакрепим после первой серии

ХОД ИССЛЕДОВАНИЯ

01
Собираем стенд
Протокол, учёт результатов и расходов
Сейчас
02
Поднимаем кандидата
Runpod · веса · runtime · закрытый шлюз
03
Проводим сравнение
Одна серия задач для трёх моделей
04
Фиксируем рабочую модель
Конфигурация и границы применимости

СОСТОЯНИЕ СТЕНДА

Контроллер row: Выбран
Runpod: Доступ не проверен
GPU и модель: Не запущены
Шлюз моделей: Не подключён
Compute Room 0110: Запланирована

Эти статусы отражают этап подготовки, а не мониторинг работающего GPU.

Получаем опубликованные отчёты…

02 / МЕТОДИКА

Сравниваем при одинаковых условиях

Протокол · проект

Задачи

Исправления ошибок, небольшие функции, рефакторинг и изменения нескольких файлов. Малую и среднюю сложность оцениваем отдельно.

Состав выборки и скрытые тесты ещё не зафиксированы. Результаты появятся после реальных запусков.

Окружение

Одинаковый commit, набор задач, агентный цикл, доступные инструменты, лимиты шагов, времени и контекста. Каждая попытка начинает с чистой копии.

В отчёте: hash набора, версия агента, параметры и номер повтора.

Критерий успеха

Задача решена, когда проходят проверочные тесты. Завершённый ответ модели сам по себе успехом не считается.

Ошибки, таймауты и неудачные попытки входят в затраты.

Что фиксируем

Качество · время решения · входные и выходные токены · стоимость успешной задачи · модель и ревизия · GPU и runtime.

TTFT, скорость генерации, VRAM и расходы простоя добавим вместе с телеметрией GPU. RoW в текущую серию не входит.

03 / КОНФИГУРАЦИИ

Кандидаты и контрольные модели

Выбор ещё открыт

СВОЯ МОДЕЛЬКандидат

Qwen3-Coder
30B-A3B

Первый кандидат для coding-задач. Точная ревизия весов, точность и объём контекста будут закреплены перед запуском.

Размещение: Runpod
GPU для проверки: 48 GB VRAM
Совместимость: Ещё не проверена

Карточка модели ↗

КОНТРОЛЬ / OPENAIПлан

Sol

Существующий доступ OpenAI. Перед серией зафиксируем точный model ID, reasoning и доступные инструменты.

Размещение: API
Подключение к стенду: Не выполнено
Измерения: Нет

КОНТРОЛЬ / ANTHROPICПлан

Opus 5

Существующий доступ Anthropic. Фиксируем именно выбранную версию и настройки; результаты других версий не смешиваем.

Размещение: API
Подключение к стенду: Не выполнено
Измерения: Нет

04 / ЖУРНАЛ

Запуски

Импорт отчёта ↗

↗

Первый запуск впереди

Здесь появятся конфигурация, результат и исходный JSON каждого опубликованного эксперимента.

05 / СРАВНЕНИЕ

Результаты, которые можно проверить

МодельСложность

Пока нет измерений

Мы не показываем примерные баллы и не назначаем победителя до проверки задач.

Сравнение разбито по отпечатку условий. Разные наборы задач, исходники или лимиты не складываются в общий рейтинг. Стоимость указана с её источником.

06 / ЭКОНОМИКА

Цена решённой задачи

Калькулятор сценария

ОЦЕНКА СЕРИИ

Укажите тариф

На одну успешную задачу—

В расчёт входят все оплаченные часы, включая загрузку модели и простой.

Налоги, сетевые и дополнительные сборы включайте в бюджет отдельно. Лимит аренды ещё не согласован.

Фактические расходы

Счета провайдера ещё не подключены. Затраты опубликованных задач видны в результатах; они могут не включать загрузку весов, простой и хранение.

Код пишут модели.Выбор делают измерения.