Стимулирование эффективности и выполнения

Прежде чем создавать подсказки, важно понять, как они работают. Система сначала получает любые данные, основанные на Retrieval Augmented Generation (RAG), такие как таблицы Dataverse, связанные с запросом. Затем он анализирует входные документы. Наконец, большая языковая модель (LLM) обрабатывает собранную информацию, объединённую с инструкциями.

Чем больше совокупный вход, тем дольше время отклика, при этом данные документов являются наибольшим вкладом.

Нужно рассматривать эти моменты в контексте ограничений запросов:

• Мгновенный срок выполнения ограничен 100 секундами.
• Каждая модель имеет максимально допустимый размер для совокупного входа, включая инструкции, данные и отклик модели.
• Хотя мы регулярно увеличиваем ёмкость GPU, ресурсы остаются ограниченными и распределяются по регионам и моделям.

В результате вы можете столкнуться с такими проблемами, как тайм-ауты выполнения, достигнутые лимиты окна токенов, нестабильное время отклика или замедление времени. Следующие практики помогут вам минимизировать эти проблемы.

Выберите наиболее эффективную модель для задачи

Более продвинутые модели обычно требуют больше времени на реакцию. Всегда начинайте с базовой модели для вашего сценария, затем рассмотрите стандартную модель и оставляйте премиум-модель только для тех задач, которые действительно этого требуют.

Пример: Использование премиум-модели для простой задачи анализа настроений не обязательно.

Оптимизировать длину выхода модели

Длина выхода — это самый крупный отдельный фактор, влияющий как на время отклика, так и на стоимость.

Ограничение модели

При создании резюме или аналогичных результатов указывайте ограничения, такие как количество слов или предложений. Без ограничений ответы модели могут различаться по длине, сложности и времени.

Пример: Краткое изложение в 50 словах.

Оптимизировать структуру JSON

При использовании JSON-выходов уменьшайте сложность, упрощая структуру и минимизируя количество клавиш.

Пример: эти два выхода содержат одинаковую информацию, но Output 2 значительно компактнее и эффективнее.

Учитывайте только необходимую информацию

Избегайте просить модель предоставить информацию, которая не будет использована. Ненужный контент увеличивает стоимость и задержку.

Пример: Запросите у модели причину только в том случае, если это необходимо для проверки или аудита.

Оптимизировать размер входного параметра модели

Размер входа умеренно влияет на время и стоимость ответа, особенно при обработке документов или изображений.

Избегайте избыточности

Повторение похожих инструкций увеличивает затраты и может запутать модель.

Пример: Избегайте предоставления нескольких инструкций, передающих одно и то же требование.

Конвертируйте номера в американский формат ... При анализе контента всегда используйте американские нормы

Будьте краткими

Модели понимают краткие и прямые инструкции. Краткие подсказки проще в обработке и часто дают более точные результаты.

Пример: второй запрос более эффективен.

• Сгенерируйте краткое изложение из этого [контента]. Резюме должно быть профессиональным и оформлено в виде маркеров.
• Подытожите [контент] как пункты с профессиональным тоном.

Уменьшение размера входа

Входные данные часто содержат контент, не имеющий отношения к анализу (например, HTML-теги, повторяющиеся подписи по электронной почте, шаблонный текст). По возможности предварительно обрабатывайте материал: извлекайте текст, очищайте форматирование или резюмируйте большие разделы перед отправкой их в более сложный запрос.

Пример: используйте HTML для отправки текстовых действий в рабочем процессе при анализе письма с подсказкой.

Обрабатывайте документы только при необходимости

Обработка документов дорогая. Если вы используете один и тот же документ многократно, извлекайте его содержимое один раз и используйте его заново, а не перерабатывайте каждый раз.

Пример: В этом примере [документ-руководство] не должен обрабатываться при каждом запуске, а предоставляться в запросе в виде текста. «Рассмотрите этот [руководящий документ] для извлечения информации из этого [документа для обработки]»

Обрабатывайте длинные документы разделами

Длинные документы могут вызвать тайм-ауты или превысить лимиты токенов. По возможности обрабатывайте контент поэтапно, страница за страницей, или заранее урезайте ненужные страницы. То же самое касается и других типов контента, например, электронных писем, при этом предоставляются только самые свежие темы.

Пример: используйте действие Распознавать текст в изображении или документе в категории AI Builder для получения содержимого страницы и обработки каждого результата страницы с применением к каждому.

Используйте фильтры при применении Retrieval Augmented Generation (RAG)

При добавлении бизнес-контекста из источников, таких как таблицы Dataverse, извлекайте только необходимые поля и применяйте фильтры для уменьшения набора данных.

Пример: фильтруйте продукты по семейству компьютерных устройств и получайте только поле Name , прежде чем сопоставить названия продуктов в письме.