Новый дизайн хранилищ Exchange Server 2007 в Microsoft

MaximumExchange.ru - about How Microsoft IT Implements New Storage Designs for Exchange Server 2007

Это Доклад о том, как департамент Microsoft Information Technology (Microsoft IT, MsIT, MIT) сумел повысить продуктивность сотрудников компании и достичь запланированных уровней отказоустойчивости, при общем снижении стоимости, в результате нового дизайна серверов Exchange, с кластеризацией CCR (Cluster Continuous Replication) и хранилищами DAS (Directly Attached Storage).

I.

Спустя более чем 18 месяцев, после развертывания первого Microsoft Exchange Server 2007 в корпоративной среде (последний 2003 сервер переведен в конце 2006 года), и более чем 12 месяцев, после окончания полного внедрения в production-среду во всей компаний, департамент Microsoft Information Technology сообщил о следующих достижениях:

* Службы обмена сообщениями достигают и превышают целевые показатели надежности в 99,99!
* Стоимость владения этими службами снижена, с преимуществом в $10.000.000 в год!
* Квоты размеров почтовых ящиков увеличены в 10 раз!
* Консолидация серверов, с внедрением Exchange Server 2007, привела к уменьшению количества серверов почти вдвое!

Департамент Microsoft IT смог достичь этих результатов применяя все преимущества качественных изменений в архитектуре доступа и хранения в Exchange Server 2007, последние достижения 64-битных процессорных технологий и применяя напрямую подключаемых хранилищ DAS.

Ключевым моментом новой стратегии, обернувшимся сэкономленными $5.000.000, стало исключение ленточных накопителей в архивации данных Exchange, и применении новых систем отказоустойчивости Exchange Server 2007, в виде длительной кластерной репликации CCR (cluster continuous replication) в качестве первого уровня, и Microsoft System Center Data Protection Manager 2007, в качестве второго уровня протекции.

Теперь Microsoft IT не приходится хранить на стримерных накопителях архивные копии или другие данные. Более того, в результате внутреннего изучения задач хранения, проведенных в 2006 году, Microsoft IT снизил стоимость хранения на 74% в расчете на гигабайт, заменив SAN (Storage Area Network) на DAS в дизайне серверов Почтовых ящиков (Mailbox server). Кластеризация CCR позволила Microsoft IT отказаться от SAN, в пользу DAS, что позволило Microsoft IT повысить продуктивность сотрудников компании, увеличив квоты на размеры почтовых ящиков до 500MB и 2GB.

Microsoft IT также преследовал еще одну стратегическую цель – снижение общей стоимости владения, TCO (total cost of ownership), путем консолидации серверов. В итоге, Microsoft IT удалось уменьшить начальное количество Mailbox серверов в корпоративной почтовой системе практически вдвое, на более чем 45% – с 62 серверов (124 кластерных узла) до 34 Mailbox серверов (68 кластерных узла), и продвижения в консолидации продолжаются. Как до, так и после такой консолидации, сотрудники Microsoft продолжают успешно эксплуатировать почтовые ящики огромного размера, крайне быструю реакцию серверов и работу корпоративной почтовой системы с надежностью в более чем 99.99% и до 99.999% без дополнительных усилий со стороны MIT.

Применение Exchange Server 2007 позволило Microsoft IT не только снизить стоимость хранения и одновременно увеличить размеры квот на ящики, но и снизить сложность системы хранения, сохранив полный контроль над всеми аспектами дизайна Mailbox серверов (включая системы хранения), значительно снизить затраты на обслуживание, и также значительно повысить отказоустойчивость Mailbox серверов. Все задачи хранения, решаемые Microsoft IT с момента начала продвижения Exchange Server 2007 в production-среду, были достигнуты, без специальных требований к архивации. За более чем 18 месяцев, на протяжении всей IT-инфраструктуры корпорации, не было ни одного критического инцидента отказоустойчивости Mailbox серверов, связанного с хранением.

Цель данного доклада – поделиться с вами знаниями и достижениями Microsoft IT, опытом и рекомендациями относительно архитектуры и дизайна Mailbox серверов Exchange Server 2007.

II. Обзор решения

Исходные данные

Microsoft IT управлял серверами почтовых ящиков Exchange Server 2003, в кластерной конфигурации, для достижения отказоустойчивости уровня 99.99%. При этом базы данных Exchange были потенциальным критическим пунктом сбоя, и вместе с этим, высокая стоимость хранения на SAN затрудняли Microsoft IT задачи поддержки почтовых ящиков сотрудников, размером более 200MB. Новый дизайн Mailbox серверов требовал эффективного по цене решения, для поддержки ящиков в размере от 500MB до 2GB. Такое увеличение размеров почтовых ящиков требовало в 10 раз большего дискового пространства на Mailbox серверах и применение отказоустойчивого механизма хранения данных, чтобы избежать необходимости восстановления из архивов, в качестве первой и основной процедуры восстановления после сбоя хранилищ.

Решение

Применив Exchange Server 2007 с архитектурой хранения на основе CCR, Microsoft IT удалил потенциальный критический пункт сбоя в общем хранилище, развернув отдельные копии данных Mailbox сервера, актуальные в любое время. Это позволило заменить технологии хранения SAN на DAS, и обслуживать почтовые ящики существенно большего размера, одновременно отвечая более высоким требованиям отказоустойчивости.

Полученные преимущества
* Снижение стоимости по сравнению с предыдущим решением на SAN
* Улучшенная надежность, из-за исключение потенциальной точки сбоя в хранилище
* Упрощение управления и решения проблем
* Улучшенная производительность и снижение аппаратных требований хранения
* Больший размер почтовых ящиков и количество ящиков на сервер
* Безраздельное владение почтовыми процессами, от дизайна серверов и хранилищ, до операционных процедур.

Используемые продукты и технологии

(конец 2006 г.)
MaximumExchange.ru - about How Microsoft IT Implements New Storage Designs for Exchange Server 2007

Необходимо также отметить, что в настоящее время проведен перевод всей почтовой инфраструктуры на Exchange Server 2007 SP1 и Windows Server 2008 соответственно, применяется виртуализация, что позволит еще сократить численность аппаратных серверов, а также в инфраструктуру внедряются сервера Exchange 14.

III. Исходные данные

Группа разработки была в восторге, от получившихся новых технологий хранения в Exchange 2007 и их потенциалом поддержки почтовых ящиков огромных размеров, при общем снижении стоимости хранения, уменьшении времени срабатывания отказоустойчивости и значительном упрощении системы хранения и задач сопровождения. И, тем не менее, к удивлению многих в команде разработки, Microsoft IT отнюдь не разделял этого энтузиазма. Необходимость failover-кластеризации никогда не ставилась под сомнения, однако в начале 2006 года Microsoft IT довольно скептически рассматривал возможности использования CCR на DAS в дизайне Mailbox серверов.

Microsoft IT колебался с принятием CCR на DAS по следующим основным соображениям:

* Необходимость оправдания IT вложений. Так SAN, развернутый Microsoft IT представлял собой довольно значительные затраты на технологию, чтобы вот так просто списать его «потому что вышел новый продукт». Microsoft IT в начале, даже не рассматривал сколь-нибудь серьезно возможность перехода на CCR/DAS. И план по увеличению почтовых ящиков с 200MB до 2GB, в начале 2006 года еще не был оформлен.

* Необходимость капитализации имеющихся экспертной квалификации. Microsoft всегда настоятельно рекомендует использование выделенного хранилища под Exchange Server для обеспечения высокого уровня обмена данными, с низкими задержками и во-избежание непредсказуемых последствий производительности. Всем эти требованиям удовлетворяла развернутая инфраструктура SAN, однако оборотной стороной монеты были сложность конфигураций и задачи оптимизации производительности. В тесном сотрудничестве с вендорами систем хранения, инженеры Microsoft IT разработали ряд рекомендаций и активно помогали компаниям-клиентам оптимизировать их инфраструктуры SAN для Exchange Server. Конечно инженеры Microsoft IT, заработавшие экспертную квалификацию в области SAN защищали классическое решение.

* Факт того, что DAS не назывался enterprise технологией хранения. До Microsoft Exchange 2000 Server и SAN, системы Parallel SCSI были стандартом данности, со всеми своими вытекающими последствиями в виде разнообразных стандартах кабелей, 50-ти, 68-и и 80-пиновыми коннекторами, производительностью, совместимостью, масштабируемостью и надежностью. Serial Attached SCSI (SAS) тогда только-только начинал вытеснять Parallel SCSI в 2006, но для многих в Microsoft IT, DAS по прежнему ассоциировался с хрупкими коннекторами, согнутыми пинами, потерями сигнала, и толстыми кабелями, соединявшими максимум до 16 устройств. Считалось практически невозможным инсталлировать 100 или 200 DAS хранилищ в ферму Mailbox серверов и достичь качественной высокой масштабируемости. Трудно было даже представить, что дисковые массивы DAS конкурировать по надежности с массивами SAN.

* Опасения, что DAS может вылиться в свалку хранилищ и повлечь скрытые издержки управления. Другой помехой в видении Microsoft IT технологии CCR/DAS как жизнеспособного решения для Mailbox серверов, был тот факт, что DAS подключается напрямую к каждому узлу кластера, что означает отдельные дисковые массивы. С точки зрения SAN, это чрезмерная задача, создать огромное количество индивидуальных массивов на протяжении всей корпоративной почтовой инфраструктуры.

* Сомнения в готовности CCR в качестве корпоративного решения. Это было бы явно необычным прецедентом – целиком всей организацией перейти на ультрановую технологию. Однако именно так и случилось с CCR в начале 2006 года. CCR представал краеугольным камнем в преимуществах Exchange Server 2007 для увеличения продуктивности сотрудников, посредством увеличения почтовых ящиков. И все же Microsoft IT был озадачен возможными трудностями и задержками реализации, поскольку CCR в то время находился все еще на стадии беты. И даже не принимая во внимание задержки, инженеры Microsoft IT не были готовы положиться на новую технологию, с неизвестными характеристиками масштабируемости и надежности, в самом основании больших Mailbox серверов корпоративной системы обмена сообщениями.

* Опасения, что задержки репликации могут потенциально вызвать потерю данных. Microsoft IT также беспокоили свойства асинхронности CCR, что могло привести к задержкам репликации и потенциально к потере данных. Событие потери данных представлялось так: Активный узел кластера принимает почтовое сообщение, и происходит сбой, до того как Exchange Server 2007 реплицирует данные пассивному узлу, происходит перехват управления, failover, бывший пассивный узел становится активным, но Mailbox сервер не имеет означенного письма. Тогда команда разработки высказала, что очередь в транспортном накопителе (dumpster) на Узловом транспорте (HT) справится с этой проблемой, сохраняя и передавая повторно ряд последних писем по запросу. Microsoft IT стал настаивать на том, что данная особенность должна считаться обязательным компонентом CCR. Разумеется, Microsoft IT не хотел допускать ни одного шанса потери данных. Активный узел должен был обязательно уметь запросить повторную передачу со всех Узловых транспортов в локальном сайте Active Directory, а те в свою очередь должны немедленно выдавать данные, чтобы исключить вероятность потери данных.

 

Продолжение следует…

Часть I | II | III | IV | V

22 thoughts on “Новый дизайн хранилищ Exchange Server 2007 в Microsoft”

  1. Да, очень интересно. А главное масштабно (68 кластерных узлов!))

    1. Была еще вот такая инфа:
      The Exchange Messaging team deployed 61 Mailbox servers, 6 Edge Transport servers, 14 Hub Transport servers, 11 Unified Messaging (UM) servers with supporting Voice over Internet Protocol (VoIP) gateways, and 30 Client Access servers. The Mailbox servers correspond to 122 server computers because all Mailbox servers are clustered systems based on Cluster Continuous Replication (CCR) to ensure high availability. There are 130,000 mailboxes in the corporate production environment, which means that during the production rollout, the Exchange Messaging team moved between 1,000 and 1,500 mailboxes per server from Exchange Server 2003 to Exchange Server 2007 every day, including weekends.
      или в переводе:
      Команда Exchange Messaging развернула 61 Mailbox сервер, 6 Edge Transport серверов, 14 Hub Transport серверов, 11 Unified Messaging (UM) серверов с поддержкой VoIP-шлюзов, и 30 Client Access серверов.Mailbox роль насчитывает 122 серверных экземпляра, с учетом того что все Mailbox сервера находятся в кластерной конфигурации Cluster Continuous Replication (CCR) для обеспечения высокой доступности. 130,000 почтовых ящиков в корпоративной производственной среде, это означает что в процессе внедрения, команда Exchange Messaging перемещала от 1,000 до 1,500 ящиков на сервер, с Exchange Server 2003 на Exchange Server 2007 ежедневно, включая выходные.

  2. Инетерсная информация. Надо поискать исходный вариант на английском языке. CCR действительно вызывает очень много вопросов по надежности и работоспособности такого решения для средних больших (>3000) организаций.

    1. Вы идете по пути MsIT 🙂
      Они тоже жутко сомневались. Но теперь весь Microsoft работает на CCR/DAS,
      про объемы почитайте в соседних комментах, я писал.
      Исходник тоже будет сдесь.

  3. На Ваш блог знакомый в аську ссылку кинул. Оказалось ,что не зря Понравилось. Тепрь постоянно читать буду

  4. Краткость – сестра таланта. Терпения не хватает читать журналистские опусы на 7-10 страниц. Это же издевательство над зрением, читать такое с экрана монитора. Спасибо, что публикуете нормальные статьи.

  5. Добавил в свои закладки. Теперь буду вас намного почаще читать!

  6. Да, похоже что в действительности – так оно и есть. P.S. Сайт, кстати, у вас прикольно сверстан

  7. I’m just dropping by to say that I very much liked seeing this post, it’s very clear and well written. Are you considering posting more about this? It appears like there is more fodder here for more posts.

Leave a Reply

Your email address will not be published.