Читать книгу Искусство общения с AI: Мастерство создания инструкций для языковых моделей - - Страница 14

Для оценки ответов моделей на простые вопросы приведем критерии, по которым будем их оценивать:

Точность ответа: насколько точны ответы.

Полнота ответа: учтены ли все важные аспекты вопроса.

Стиль ответа: насколько стиль ответа соответствует ожидаемому (короткий и по существу, развлекательный или смешанный).

Дополнительные детали: насколько полезны дополнительные сведения.

На основе этих критериев оцениваем модели:

Анализ:

GPT-4 и Claude 3.5 Sonnet предоставили наилучшие ответы. Они включили дополнительные детали и сохранили высокий уровень точности.

GigaChat, YandexGPT 3, Gemini Advanced, LLaMA 3.1, Mistral Large 2 также продемонстрировали хорошие результаты, но не предоставили столь же детальных ответов или соответствующих дополнений.

Grok 2mini показал более развлекательный, но менее точный стиль, что снизило его общую оценку.

Таким образом, GPT-4 и Claude 3.5 Sonnet выходят лидерами на этом этапе тестирования.