Новый дизайн хранилищ Exchange Server 2007 в Microsoft – IV

Предсказуемая производительность Mailbox серверов

MaximumExchange.ru - Exchange Server 2007 in Microsoft


Факт того, что Microsoft IT периодически обращает внимание на крупномасштабные развертывания Mailbox серверов на SAN, подразумевало использование разделяемого хранилища для почтовых баз данных. В тоже время, когда Microsoft IT в дизайне почтовых серверов Exchange Server 2003 всегда следовал производственной рекомендации – использовать выделенный массив хранилищ, отдельные заказчики часто игнорировали данную рекомендацию, и использовали хранилища совместно с другими серверными приложениями, такими как Microsoft SQL Server, например, в стремлении максимально утилизировать средства хранения. Однако, если базы данных Microsoft SQL Server размещаются на том же самом физическом носителе, что и Exchange Server – выполнение крупных задач сервером SQL приводит к перегруженности ресурсов и сказывается на производительности Exchange Server. Инженеры Microsoft IT называют такое явление hot-spot contention (борьба за выживание), для обозначения низкой производительности подсистем хранения в результате различных подходов к использованию одного хранилища различными приложениями, как это изображено на рисунке выше.

Операции ввода/вывода Exchange Server 2007 состоят из огромного количества запросов произвольных страниц размером в 8 KB, в то время когда другие серверные приложения могут обращаться к данным в другой последовательности и блоками другого размера. Если все эти данные располагаются на едином физическом носителе, головки дисков должны часто выходить за регион данных Exchange, для обслуживания не-Exchange запросов. Это ведет к непредсказуемому резкому падению производительности Exchange Server, вследствие увеличения времени отклика с различными интервалами времени. Например, запрос Exchange на чтение, составляющий 8 мс может длиться 108 мс, потому что диск потратил 100 мс на чтение не-Exchange данных, между запросами Exchange отдельных страниц.

Администраторы Exchange Server не могут анализировать данную проблему, поскольку LUN не предназначенные для Exchange и не видны в конфигурации Exchange сервера. И наоборот, LUN для Exchange Server невидны на SQL Server. Администраторы Exchange Server и SQL Server могут даже не иметь представления, об использовании одного и того же физического хранилища. Более того, инженеры СХД, формировавшие LUN, могут быть не курсе требований Exchange Server и SQL Server. Поскольку мы говорим о SAN, инженеры СХД могут исходить из общих рекомендаций по развертыванию SAN. При этом все системы будут показывать оптимальную конфигурацию, а пользователи, тем не менее, будут жаловаться на медленную работу Outlook в online-режиме.

Такую борьбу за ресурсы может быть трудно обнаружить, и проблема будет продолжать возникать в рабочей среде, поскольку нет уверенности в том, что конфигурация SAN не будет изменяться со временем. И гораздо чаще, несведущие инженеры СХД не могут устоять перед соблазном оптимизировать имеющиеся ресурсы хранилищ. CCR на DAS ставит жирную точку в данной проблеме, выводя хранилища Exchange Server из общей среды SAN. И предоставляет полный контроль над дизайном хранилищ в руки экспертов Exchange, чем исключает непредсказуемое поведение систем, вызванное посторонними эффектами оптимизации размещения SAN.

Дизайн хранилищ в Microsoft

MaximumExchange.ru - Exchange Server 2007 in Microsoft

В сравнении с предыдущими версиями продукта, Exchange Server 2007 предоставляет больше гибкости проектирования, в силу того, что 64-битная система почтового документооборота наиболее полно использует ресурсы процессор и оперативной памяти, а также включает в себя многочисленные архитектурные преимущества, для снижения количества операций I/O. Среди всего прочего, Exchange Server 2007 содержит буферный кэш базы данных, который значительным образом снижает необходимость чтения данных с дисков во время обычных операций. Размер буферного кэша баз данных зависит от физического объема оперативной памяти в системе, так что объем памяти напрямую влияет на количество операций ввода-вывода (I/O).

Такое соотношение между памятью и количеством I/O открывает новые возможности для достижения оптимального времени отклика сервера, путем балансирования ресурсов памяти и производительности дисков. Эта гибкость особенно заметна в сравнении дизайна Mailbox серверов в Microsoft IT и результатами вычислений Калькулятора ресурсов хранилищ для Mailbox серверов Exchange 2007 (Exchange 2007 Mailbox Server Role Storage Requirements Calculator). Калькулятор ресурсов хранилищ позволяет выполнять расчеты, основываясь на рекомендациях к продукту, тогда как Microsoft IT получает преимущества повышения производительности I/O в подсистемах хранения, перекрывая минимумы рекомендаций. В результате Microsoft IT получает приемлемое время отклика, одновременно с меньшими затратами памяти на Mailbox сервер, поскольку подсистема хранения включает в себя гораздо больше дисков, из соображений больших свободных дисковых объемов, чем требуемый минимум для производительности. Тем самым компенсируя слегка большее количество I/O транзакций, вследствие меньшего объема RAM в расчете на пользователя на сервере. Калькулятор ресурсов хранилищ для Mailbox серверов Exchange 2007 и детальная информация о его применении будут доступны здесь.

В Microsoft IT Exchange Messaging team за дизайн Mailbox серверов отвечает старший системный инженер Кирил Перидерий. Он особенно подчеркивает, что заказчики рассматривающие примеры дизайна Microsoft IT должны учитывать, что в настоящее время Microsoft IT выходит за рамки рекомендуемых конфигураций Mailbox серверов, в стремлении помочь продуктовой группе выверить возможности производительности Exchange Server 2007 в условиях реального мира. В частности, Mailbox сервера Microsoft IT используют 1-2 MB RAM на пользователя, вместо рекомендуемых 3.5-5 MB, но производительность Mailbox серверов Microsoft IT остается отличной, поскольку дизайн DAS-хранилищ Microsoft IT предоставляет широкое пространство для маневра, для проведения изменений, как это будет описано далее.

Добившись преимущества превышения возможностей I/O, Microsoft IT сумел оптимизировать объемы памяти, и перейти с high-end enterprise оборудования на стандартные промышленные модели серверов, такие как двухсокетовые серверы с двухядерными Intel Xeon X5355 процессорами, с всего восьмью слотами модулей памяти FB-DIMM (fully buffered dual inline memory) для поддержки в среднем 6,000 пользователей на сервер. Используя максимально доступные модули памяти в 4 GB, эти промышленные модели серверов содержат до 32 GB памяти. Но 4 GB DIMM в то время еще не представляли привлекательное решение в плане объем/цена для Microsoft IT. По этому, из соображений экономии, Microsoft IT использовал 2 GB модули памяти, другими словами, максимум до 16 GB памяти на сервер.

Microsoft IT уделяет особое внимание следующим аспектам дизайна хранилищ для Mailbox серверов Exchange Server 2007:

Надежность. Microsoft IT использует промышленное оборудование СХД для Mailbox серверов, и особенно тщательно следит за проблемами нечитаемых данных, частотой сбоев за год (AFR, annualized failure rate) и гарантиями производителей. Также следует отметить, что Microsoft IT предпочитает использовать 2,5-дюймовые SFF диски, большим 3,5-дюймовым (LFF) дискам, из соображений энергосбережения, более низкой стоимости в расчете на гигабайт и более высокой производительности и надежности, равно как меньшим вибрациям и выделению тепла. Меньше тепловыделения и вибрации приводят к меньшей деградации оборудования со временем. Выбор жестких дисков на SAS SFF дисках, с потенциально одним битым секторов на 10E16 считанных битов, с AFR не более 0.55% и трехлетней гарантией.

Доступность. Отказоустойчивость является главным значением дизайна Mailbox серверов, для обеспечения высокой доступности. На уровне оборудования Microsoft IT использует несколько внешних корзин хранилища, с избыточным электропитанием и подключениями к контроллерам. Как уже упоминалось ранее, Microsoft IT зеркалирует диски в корзинах, а затем включает зеркала в чередующийся набор для развертывания конфигурации RAID 10.

Производительность. Microsoft IT использует RAID 10 также потому, что RAID 10 обладает лучшей производительностью, чем RAID 5. В RAID 10 операции записи не нуждаются в вычислении четности, и RAID 10 использует больше дисков, чем RAID 5 для адекватного объема дискового пространства, что сказывается в преимуществах производительности I/O, когда подсистема хранения рассчитывается для объемов. Так, например, необходимо 6 x 146 GB дисков для построения RAID 10 массива объемом 438 GB. Тогда как RAID 5 использует только 4 х 146 GB диска для реализации того же объема.

Вместительность. Требования производительности определяют минимальное количество дисков в подсистеме хранения, однако дисков может понадобиться больше для требуемых объемов. Для обеспечения адекватного объема хранилищ Microsoft IT вычисляет максимальный размер баз данных, основываясь на количестве почтовых ящиков и их квоте, плюс дополнительный объем для предупреждения увеличения базы, индексации содержимого и возможного непредсказуемого роста баз.

Стоимость. Эффективность стоимости является интегральной частью промышленной готовности для Microsoft IT. Множество решений могут удовлетворить требования Microsoft IT к надежности, производительности и объемам, включая схожие опции поддержки и инструменты (такие как пакеты управления, management packs), и присутствуют в стандартном списке оборудования датацентра. При этом Microsoft IT выбирает наименее дорогостоящие технологии, чтобы продемонстрировать эффективный экономический потенциал Exchange Server 2007.

Простота. Microsoft IT извлекает выгоду потенциала CCR на DAS для упрощения дизайна хранилищ, через простые RAID конфигурации и стандартизированный план хранилищ на USBB. Кроме всего прочего, такое упрощение позволяет снизить накладные расходы и TCO до минимума. Абсолютно одинаковые операции производятся на всех Mailbox серверах в корпоративной промышленной среде, независимо от количества почтовых ящиков и квот. Простота также помогает обеспечению стабильной производительности Mailbox серверов в случае сбоя оборудования.

Восстанавливаемость. Отказоустойчивость оборудования и баз данных, гарантирует Microsoft IT возможности восстановления, в случае отказа отдельного компонента, равно как и целого узла. Более того, Microsoft IT дополнительно полагается на Data Protection Manager 2007 для гарантированного восстановления, в случае выхода из строя обоих узлов кластера.

Масштабируемость. Все тенденции почтового документооборота в Microsoft растут вверх. Объемы корреспонденции возрастают, количество пользователей практически удвоилось, со времен Exchange Server 2003. Размеры почтовых ящиков стабильно растут, и даже 2 GB квоты скоро могут стать недостаточны для давних сотрудников. CCR на DAS позволяет Microsoft IT не отставать от этих тенденций, увеличивая масштабируемость Mailbox сервера в корпоративной инфраструктуре.

Примечание: Системные инженеры Microsoft IT вложили массу усилий в Калькулятор ресурсов хранилищ для Mailbox серверов Exchange 2007 и настоятельно рекомендуют использование его в дизайне всем заказчикам. Кроме того, сторонние вендоры и производители оборудования (OEM), разрабатывающие и тестирующие решения СХД для Exchange Server 2007 – принимают участие в Microsoft Exchange Solution Reviewed Program (ESRP) – Storage v2.0 MaximumExchange.ru.

Производительность Mailbox серверов

В надежной сетевой инфраструктуре, с достаточными свободными ресурсами пропускной способности, процессоры, память и подсистемы хранения становятся основными компонентами, влияющими на производительность Mailbox серверов. Причем возможности процессоров оказывают наиболее значительное влияние. На начальном этапе внедрения, Microsoft IT использовал двухядерные процессоры, ограничивавшие масштабируемость серверов до 2,000–3,000 почтовых ящиков.

В настоящее время, Microsoft IT использует модель серверов с двумя четырехядерными Intel Xeon X5355 процессорами (8 ядер в общей сложности), для обеспечения повышенной плотности в 6,000 почтовых ящиков «тяжелых пользователей» на сервер. Microsoft IT продолжает мониторить рынок процессоров, на предмет новых моделей, как только они становятся доступны по приемлемой цене.

Объемы памяти не критичны для Microsoft IT, поскольку Exchange Server 2007 Service Pack 1 (SP1) содержит дальнейшие улучшения ESE позволяют противопоставлять нехватку памяти производительности I/O дисков. В соответствии с официальными рекомендациями, 3.5-5 MB RAM на почтовый ящик, плюс 2 GB RAM на сервер, – сервер в 6,000 почтовых ящиков требует 24-32 GB памяти (6,000 * 3.5 или 5 MB / 1024 + 2 GB = 22.50 GB или 31.30 GB).

Требования к памяти возрастают и дальше, с увеличением количества почтовых ящиков, хотя даже группа разработчиков не рекомендует применять больше 32 GB на Mailbox сервер, для сохранения приемлемой стоимости. Как уже говорилось ранее, Microsoft IT оптимизировал объемы памяти, добившись повышения производительности I/O, и развернул 6,000 «тяжелых пользователей» и почти вдвое больше пользователей «средней тяжести» в пробном проекте масштабирования на 16 GB RAM. Необходимо отметить, однако, что это дизайн сервера для пользователей с 500 MB квотой. Для «тяжелых пользователей», которым требуются 2 GB квоты (преимущественно постоянные сотрудники), Microsoft IT использует дизайн серверов на 4,000 почтовых ящиков, с той же самой серверной платформой на двух четырехядерных Intel Xeon X5355 процессорах.

Предыдущее изображение иллюстрирует как Exchange Server 2007 использует имеющуюся физическую память для снижения требований I/O, путем кэширования часто используемых данных, таких как последние сообщения, в папке «Входящие» например, календарь, и правила сортировки писем для каждого пользователя.

Чем реже движок хранилища загружает эти данные, тем меньше количество I/O. В совокупности с дальнейшими улучшениями ESE, такими как отложенные операции записи, во избежание повторяющихся записей одних и тех же данных на диск, Exchange Server 2007 предъявляет меньшие требования I/O к СХД, чем любая предыдущая версия Exchange Server.

Microsoft IT вычисляет требования производительности, проводя исследования счетчиков Disk Transfers/sec, Disk Reads/sec и Disk Writes/sec. В результате, во время начальной стадии внедрения, Microsoft IT выяснил, что сотрудники Microsoft обычно генерируют приблизительно от 0.27 IOPS до 0.4 IOPS в соотношении чтение/запись как 1:1, на Mailbox серверах с 5 MB RAM в расчете на пользователя.

Продолжение следует…

I | II | III | Часть IV | V

3 thoughts on “Новый дизайн хранилищ Exchange Server 2007 в Microsoft – IV”

Leave a Reply

Your email address will not be published.