Руководство по созданию и обновлению центров FinOps

Из этого руководства вы узнаете, как создать новый или обновить существующий экземпляр концентратора FinOps в Azure или Microsoft Fabric. В этом руководстве описаны возможности развертывания и решения, которые необходимо принять при установке и настройке центров FinOps. В этой статье подробно описано, как выполнять следующее:

Предпосылки

• Доступ к активной подписке Azure с разрешениями на развертывание шаблона центров FinOps.
  • Участник развертывания ресурсов.
  • Администратор управления доступом на основе ролей для настройки управляемой идентификации.
  • Сведения о наименее привилегированном доступе см. в сведения о шаблоне.
• Доступ к одной или нескольким поддерживаемым соглашениям Enterprise (EA), Клиентскому соглашению Майкрософт (MCA) или соглашению с партнером Майкрософт (MPA) в области "Управление затратами" для настройки экспорта:
  • Подписки и группы ресурсов: Сотрудник управления затратами.
  • Области выставления счетов EA: корпоративный читатель, читатель отдела или владелец учетной записи (также известный как учетная запись регистрации).
  • Области выставления счетов MCA: участник счета выставления счетов, профиля выставления счетов или раздела выставления счетов.
  • Области выставления счетов MPA: участник в учетной записи выставления счетов, профиле выставления счетов или у клиента.
• Необязательно: доступ к Power BI или рабочей области Microsoft Fabric с разрешениями на уровне Contributor или Member для создания ресурсов и публикации отчетов.
• Необязательно. PowerShell 7 или Azure Cloud Shell с установленным и импортированным модулем PowerShell набора средств FinOps и установленным интерфейсом командной строки Bicep (руководство по установке).

Дополнительные разрешения рассматриваются в рамках руководства.

Активировать необходимых поставщиков ресурсов

Центры FinOps используют управление затратами для экспорта данных и сетки событий, чтобы узнать, когда данные добавляются в учетную запись хранения. Перед развертыванием шаблона необходимо зарегистрировать поставщики ресурсов Microsoft.CostManagementExports и Microsoft.EventGrid .

Initialize-FinOpsHubDeployment

Планирование сетевой архитектуры

Вы предпочитаете маршрутизацию общедоступной или частной сети?

Общедоступная маршрутизация является наиболее распространенной и самой простой для использования. Ресурсы доступны из открытого Интернета. Доступ управляется с помощью управления доступом на основе ролей (RBAC). Для общедоступной маршрутизации не требуется конфигурация.

Вы предпочитаете маршрутизацию общедоступной или частной сети?

• Общедоступная маршрутизация наиболее распространена, проще всего использовать и делает ресурсы доступными из открытого Интернета.
• Частная маршрутизация является наиболее безопасной, поставляется с добавленной стоимостью и делает ресурсы доступными только из одноранговых сетей.

Для общедоступной маршрутизации не требуется конфигурация. Если вы выберете частную маршрутизацию, обратитесь к администратору сети, чтобы настроить пиринг и маршрутизацию так, чтобы изолированная сеть хаба FinOps была доступна из вашей сети. Прежде чем решить, узнайте больше о дополнительных шагах конфигурации, необходимых в разделе "Настройка частной сети".

Планирование для нескольких арендаторов и облаков

Центры FinOps поддерживают функции удаленного концентратора для сбора данных о затратах в нескольких клиентах и облаках Azure. Удаленные центры обеспечивают централизованное управление затратами для организаций с распределенными связями выставления счетов при сохранении суверенитета данных во время обработки.

Удаленные хабы можно использовать для нескольких арендаторов в одном облаке Azure или арендаторов в разных облаках Azure. Поддерживаемые облака:

• Azure для коммерческих организаций
• Azure для государственных организаций
• Azure управляется компанией 21Vianet

Сведения о настройке удаленных центров см. в разделе "Настройка удаленных центров".

Опционально: настройка Microsoft Fabric

Многие организации внедряют Microsoft Fabric в качестве единой платформы данных для упрощения аналитики данных, хранения и обработки. Центры FinOps могут использовать Microsoft Fabric Real-Time Intelligence (RTI) как основное или дополнительное хранилище данных. Этот раздел применяется только при настройке Microsoft Fabric в качестве основного хранилища данных вместо Azure Data Explorer.

Настройка Microsoft Fabric — это ручной процесс и требует явных шагов до и после развертывания шаблона. В этом разделе рассматриваются начальные требования к настройке.

1. Создайте рабочую область и хранилище событий:
   1. В Microsoft Fabric откройте нужную рабочую область или создайте новую рабочую область. Подробнее.
   2. В рабочей области Fabric выберите команду +Создать элемент в верхней части страницы.
   3. Выберите Хранение данных>Eventhouse.
   4. Укажите имя (например, FinOpsHub) и нажмите кнопку "Создать".
2. Создайте и настройте базу данных Ingestion:
   1. Выберите eventhouse>+ Database в верхней части страницы, задайте имя Ingestionи нажмите кнопку "Создать".
   2. Выберите Ingestion_queryset в меню слева.
   3. Удалите весь текст в файле.
   4. Скачайте и откройте файл finops-hub-fabric-setup-Ingestion.kql в текстовом редакторе.
   5. Скопируйте весь текст из этого файла в редактор набора запросов Fabric.
   6. Нажмите CTRL+H, чтобы открыть диалоговое окно поиска и замены, установите текст для поиска $$rawRetentionInDays$$, и замените его на 0 или нужное количество дней для сохранения данных в таблицах _raw, затем нажмите CTRL+ALT+ВВОД, чтобы заменить все вхождения.
   7. Нажмите клавиши CTRL+Home , чтобы переместить курсор в начало файла и нажмите клавиши SHIFT+ВВОД или выберите команду "Выполнить " в верхней части страницы.
   8. Дождитесь завершения скрипта, а затем просмотрите столбец результатов , чтобы подтвердить успешное выполнение всех команд.
      • Если отображается ошибка для строки с $$rawRetentionInDays$$ , повторите шаги 2.6 и 2.7.
      • Если возникает другая ошибка, создайте проблему в GitHub.
3. Повторите шаг 2 для базы данных Концентратора, используя скриптовый файл finops-hub-fabric-setup-Hub.kql.
4. В левой области выберите " Обзор системы", а затем щелкните ссылку URI копирования для свойства URI запроса в области сведений справа.
   • Запишите URI запроса. Он понадобится вам дальше.

Разверните шаблон концентратора FinOps

Основной механизм для центров FinOps развертывается с помощью шаблона развертывания Azure Resource Manager. Шаблон доступен в bicep. Шаблон включает учетную запись хранения, фабрику данных Azure, Azure Data Explorer и другие вспомогательные ресурсы. Дополнительные сведения о шаблоне и требованиях к доступу с минимальными привилегиями см. в разделе "Сведения о шаблоне концентратора FinOps".

# Deploying to Azure Data Explorer
Deploy-FinOpsHub `
    -Name MyHub `
    -ResourceGroupName MyNewResourceGroup `
    -Location westus `
    -DataExplorerName MyFinOpsHubCluster

# Deploying to Microsoft Fabric
Deploy-FinOpsHub `
    -Name MyHub `
    -ResourceGroupName MyNewResourceGroup `
    -Location westus `
    -DataExplorerName https://abcxyz123789.x0.kusto.fabric.microsoft.com

Настройка доступа Fabric: необязательно

Если вы настроили Microsoft Fabric в качестве основного хранилища данных, настройте доступ к фабрике данных и хаусу событий Fabric.

1. Получите идентификатор Data Factory:

   1. На портале Azure откройте группу ресурсов Концентратора FinOps.
   2. В списке ресурсов выберите экземпляр Фабрики данных.
   3. В меню слева выберите Параметры>Управляемые удостоверения и скопируйте идентификатор объекта (принципала).

2. Предоставьте фабрике данных доступ к базам данных Hub и Ingestion:

   1. В Microsoft Fabric откройте нужную рабочую область и выберите целевой дом событий.

   2. Выберите базу данных импорта в левой панели.

   3. Выберите Ingestion_queryset в левой панели.

   4. Выполните следующие команды по отдельности, заменив <adf-identity-id> на идентификатор объекта управляемого удостоверения Data Factory из шага 1.

      .add database Ingestion admins ('aadapp=<adf-identity-id>')
      
      .add database Hub admins ('aadapp=<adf-identity-id>')
      

Настройка областей для мониторинга

Центры FinOps могут отслеживать любые наборы данных о затратах и использовании, которые соответствуют спецификации Открытых затрат и использования FinOps (FOCUS).

Вы можете получать данные из Управление затратами Microsoft, создавая экспорт вручную или предоставляя доступ к центрам FinOps для создания экспортов и управления ими. Следующие шаги должны повторяться для каждой области, необходимой для мониторинга. Мы рекомендуем использовать учетные записи выставления счетов EA и профили выставления счетов MCA для оптимального покрытия и самых широких доступных наборов данных. Дополнительные сведения о различиях между ручным и управляемым экспортом см. в разделе "Настройка областей".

# Prices (required to populate missing prices)
# Only supported for EA billing accounts and MCA billing profiles
New-FinOpsCostExport `
    -Scope '/providers/Microsoft.Billing/billingAccounts/###/billingProfiles/###' `
    -Name finops-hub-prices `
    -Dataset PriceSheet `
    -StorageAccountId $FinOpsHubStorageAccountId `
    -StorageContainer msexports `
    -StoragePath 'billingAccounts/###/billingProfiles/###' `
    -DoNotOverwrite `
    -Backfill 13 # or desired number of months

# Cost and usage data
# Supported on all scopes except management groups
New-FinOpsCostExport `
    -Scope '/providers/Microsoft.Billing/billingAccounts/###/billingProfiles/###' `
    -Name finops-hub-costs `
    -Dataset FocusCost `
    -StorageAccountId $FinOpsHubStorageAccountId `
    -StorageContainer msexports `
    -StoragePath 'billingAccounts/###/billingProfiles/###' `
    -DoNotOverwrite `
    -Backfill 13 # or desired number of months

# Optional: Shared VM reservation recommendations with 30-day lookback
# Only supported for EA billing accounts and MCA billing profiles
New-FinOpsCostExport `
    -Scope '/providers/Microsoft.Billing/billingAccounts/###/billingProfiles/###' `
    -Name finops-hub-resrecs-vm-shared-30d `
    -Dataset ReservationRecommendations `
    -CommitmentDiscountResourceType VirtualMachines `
    -CommitmentDiscountScope Shared `
    -CommitmentDiscountLookback Shared 30 # or 7 or 60 `
    -StorageAccountId $FinOpsHubStorageAccountId `
    -StorageContainer msexports `
    -StoragePath 'billingAccounts/###/billingProfiles/###' `
    -DoNotOverwrite `
    -Backfill 13 # or desired number of months

# Optional: Single (subscription) VM reservation recommendations with 30-day lookback
# Only supported for EA billing accounts and MCA billing profiles
New-FinOpsCostExport `
    -Scope '/providers/Microsoft.Billing/billingAccounts/###/billingProfiles/###' `
    -Name finops-hub-resrecs-vm-shared-30d `
    -Dataset ReservationRecommendations `
    -CommitmentDiscountResourceType VirtualMachines `
    -CommitmentDiscountScope Single `
    -CommitmentDiscountLookback Shared 30 # or 7 or 60 `
    -StorageAccountId $FinOpsHubStorageAccountId `
    -StorageContainer msexports `
    -StoragePath 'billingAccounts/###/billingProfiles/###' `
    -DoNotOverwrite `
    -Backfill 13 # or desired number of months

Управляемые экспорты

Управляемые экспорты позволяют центрам FinOps настраивать и поддерживать выгрузку данных для управления затратами для вас. Чтобы включить управляемый экспорт, необходимо предоставить Фабрике данных Azure доступ для чтения данных в каждой области, которую требуется отслеживать. Подробные инструкции см. в разделе "Настройка управляемых экспортов".

Получение данных из других источников

Для приема данных от других поставщиков данных, поддерживающих FOCUS, таких как Amazon Web Services (AWS), Google Cloud Platform (GCP), Oracle Cloud Infrastructure (OCI) и Tencent:

1. Настройте набор данных FOCUS от вашего поставщика.
2. Создайте рабочий процесс для копирования данных в контейнер ingestion в учетной записи хранения концентратора FinOps.
   • Файлы разделены по месяцам календаря UTC и должны быть размером менее 2 ГБ каждый, сохранены в формате Parquet. Сжатие Snappy является необязательным.
   • Файлы следует поместить в следующий путь к папке: Costs/yyyy/mm/{scope}
     • yyyy представляет четырехзначный год набора данных.
     • mm представляет двухзначный месяц набора данных.
     • {scope} представляет логический, согласованный идентификатор набора данных. Это значение может быть любым допустимым путем и включать одну или несколько вложенных папок.
   • Если поставщик создает неперекрывающиеся изменения во всех наборах данных, добавьте дополнительную папку для дня и/или часа (dd) или (dd/hh) между папками месяца и временной области.
     • Цель состоит в том, чтобы убедиться, что наборы данных для переопределения будут всегда последовательно размещаться в одном и том же пути к папке для их перезаписи каждый раз. Непересекающиеся наборы данных должны быть перемещены в новый каталог папки.
   • Присвойте каждому файлу parquet имя по шаблону <ingestionId>__<originalFileName>.parquet (между двумя частями — два символа подчеркивания).
     • ingestionId обозначает единый логический сеанс загрузки данных и должен совпадать во всех файлах, созданных в рамках этого сеанса (например, это может быть метка времени или GUID).
     • originalFileName — это любой идентификатор, уникальный в рамках этого запуска (например, номер сегмента или секции).
     • Конвейер получает идентификатор загрузки, разделяя имя файла по __. Каждый файл, который использует одинаковый ingestionId файл, обрабатывается как часть одного и того же запуска; экстенты из предыдущих запусков в той же папке удаляются после успешного выполнения.

   Это важно

   Каждый запуск должен заменить полное содержимое пути к папке

   При повторной загрузке данных в папку, которая уже содержит данные, необходимо: (1) включить в новый запуск полный набор данных за этот период (а не только инкрементальные строки) и (2) удалить все файлы .parquet из предыдущих запусков перед загрузкой новых файлов. В противном случае конвейер обрабатывает старые и новые файлы вместе, а предварительная очистка перед приёмом для каждого файла удаляет экстенты, помеченные другим ingestionId — в Data Explorer остаются только файлы с тем же последним обработанным ingestionId.

   Если поставщик выдает неперекрывающиеся дельты, задайте для каждой дельты отдельный путь к папке, используя подпапку dd или dd/hh, как описано выше. Затем каждая папка будет независимо заменена на следующем запуске вместо объединения.

   Управляемый конвейер экспорта Cost Management автоматически выполняет эту очистку, но в настраиваемых процессах приема данных ее необходимо реализовать самостоятельно.

   Подсказка

   Фильтрация пустых сегментов parquet перед отправкой

   Инструменты, которые создают секционированный вывод в формате Parquet (например, BigQuery EXPORT DATA или Spark write.parquet), часто создают пустые шарды, содержащие только заголовки. Data Explorer отклоняет их, возвращая BadRequest_NoRecordsOrWrongFormat, и для каждого сбоя повторная попытка выполняется три раза с интервалом 120 секунд, что приводит к задержке в несколько минут на каждый пустой файл. Отфильтруйте шарды, которые не содержат строк, перед их копированием в контейнер ingestion.

3. manifest.json Отправьте файл после завершения отправки всех файлов Parquet. Файл должен содержать по крайней мере {} — нулевой байтовый файл игнорируется триггером события хранилища (ignoreEmptyBlobs: true) и не запускает прием.
   • Загрузка данных в Data Explorer активируется при добавлении или обновлении файлов manifest.json. Конвейер ожидает 60 секунд, а затем выполняет перечисление файлов в папке; все файлы Parquet, которые поступают после этого перечисления, пропускаются при текущем запуске.
   • Конвейер не анализирует содержимое манифеста, поэтому принимается любой допустимый json. Вы можете включить метаданные аудита, такие как ingestionId или метку времени экспорта, если это необходимо.
4. Если есть столбцы, не охваченные текущим процессом приема данных, обновите таблицы Costs_raw и Costs_final_v1_2, а также функции Costs_transform_v1_2, Costs_v1_2 и Costs соответствующим образом.
   • Отправьте запрос функции , чтобы добавить новые столбцы в код приема по умолчанию, чтобы настройки не блокируют будущие обновления.

Необязательно. Заполнение исторических данных

Центры FinOps не автоматически заполняют данные. Чтобы заполнить исторические данные, выполните экспорт исторических данных из исходного поставщика данных, включая все пользовательские конвейеры данных, используемые для публикации данных в контейнере хранилища приема .

Для управления затратами Майкрософт:

Устранение проблем с оформлением заказа на дополнение

Если вы уже экспортировали данные о затратах до данных о ценах и заметили отсутствие расчётов экономии (особенно для зарезервированных экземпляров и планов экономии):

1. Проверьте проблему: Проверьте отчеты проверки данных на предмет отсутствующих или неполных данных экономии за прошлые месяцы.

2. Экспорт отсутствующих данных о ценах: выполните экспорт ценовой таблицы в течение затронутых месяцев, используя приведенные выше методы.

3. Повторно обработать данные о затратах: после получения ценовых данных вручную активируйте конвейер ingestion_ExecuteETL для каждого затронутого месяца:

   • Перейдите к экземпляру FinOps Hub Data Factory на портале Azure
   • Перейти к авторству и мониторингу>пайплайнов
   • Найти и запустить конвейер ingestion_ExecuteETL
   • Конвейер будет повторно обрабатывать данные о затратах и применять новые доступные сведения о ценах

4. Проверьте исправление: проверьте отчеты еще раз, чтобы убедиться, что расчеты экономии теперь отображаются правильно для исторических данных.

Необязательно. Подключение к Microsoft Fabric в качестве подписчика

Если вы решили настроить центры FinOps с помощью Обозревателя данных, но все еще хотите сделать данные доступными в Microsoft Fabric, создайте базу данных-подписчика с помощью Fabric eventhouses. Сокращенные базы данных не требуются, если вы принимаете данные непосредственно в хранилище событий Fabric.

1. В рабочей области Fabric выберите команду +Создать элемент в верхней части страницы.
2. Выберите Хранение данных>Eventhouse.
3. Укажите имя и нажмите кнопку "Создать".
4. Выберите +База данных в верхней части страницы.
5. Задайте имя Ingestion, тип - Новую базу данных ярлыков (последователей), затем выберите Далее.
6. Назначьте URI узла центра FinOps в качестве URI кластера и задайте базу данных на Ingestion, затем выберите Создать.
7. Повторите шаги 4-6 для Hub базы данных.

Настройка отчетов и панелей мониторинга

Центры FinOps оснащены панелью мониторинга Data Explorer и отчетами Power BI, которые могут подключаться к данным в Data Explorer (через KQL) или в Azure Data Lake Storage.

Мы рекомендуем настроить панель мониторинга Data Explorer, даже если вы используете Power BI из-за быстрой и простой настройки и аналитических сведений о приеме данных.

Устранение неполадок

Если возникает определенная ошибка, проверьте список распространенных ошибок , чтобы выполнить действия по устранению рисков. Если у вас нет определенного кода ошибки или возникновения других проблем, обратитесь к руководству по устранению неполадок.

Если проблема не устранена с помощью руководства по устранению неполадок, ознакомьтесь с дополнительными сведениями о поддержке средств FinOps .

Оставить отзыв

Сообщите нам ваше мнение о нашей работе, оставив краткий отзыв. Эти отзывы используются для улучшения и расширения средств и ресурсов FinOps.

Если вы ищете что-то конкретное, проголосуйте за существующую или создайте новую идею. Поделитесь идеями с другими пользователями, чтобы получить больше голосов. Мы сосредоточимся на идеях с большинством голосов.

Связанный контент

Связанные возможности FinOps:

• Прием данных
• Отчеты и аналитика
• Оптимизация скорости
• Оптимизация рабочей нагрузки

Связанные продукты:

• Управление затратами
• Помощник по Azure
• Azure Resource Graph

Связанные решения:

• Набор инструментов FinOps для отчетов Power BI
• Учебные пособия FinOps
• Открытые данные набора средств FinOps