Тесты рейд6
pologi_13
На днях начал отваливаться один из эспандеров, тот что сидит на отдельном адаптеке. Пришлось ради поиска причин подключить все три экспандера на один контроллер Адаптек:



А вот после этого пришла в голову мысль протестировать на скорость отдачи все три рейда одновременно и вот что получилось:


Вот такая печальная картинка складывается. При активной работе на одном рейде скорость, как положено, при старте теста на втором скорость падает, а уж когда стартует тест третьего рейда результат каждого уполовинивается. Хотя суммарная скорость всех трёх и превышает скорость одного рейда для меня это говорит о том, что процессору Адаптека не хватает "сил" для обработки такого потока информации.   
А может я неправ в своих рассуждениях, поправьте!

Тесты raid6 ...
pologi_13
Сегодня хочу поделиться информацией о проведённых тестах схожих по составу raid6, созданных различными способами. Для начала пара скринов-графиков:




На этих графиках прекрасно видно, что рейд6 на верхнем графике работает более ровно, "стабильно", пила на втором графике говорит о проблемах на диске.
О самих рейдах: оба raid6, оба из 24 дисков WD 20EA**, диски в рейдах разные, в одном наборе есть EARS и EADS с разными прошивками и разным кешем (32 и 64 Мб), так сложилось, что когда-то создавались они из одинаковых, из одной партии, но позже диски мигрировали, чистились MHDD, вставали в другие места, в результате в одном рейде диски одинаковые только по объёму, остальное в разнобой. Теперь про создание рейд6 - ADAPTEC 5805 позволяет создать рейд четырьмя способами, выбраны два, как самые надёжные: CLEAR и BUILDING\VERIFICATION. Так вот первый скрин это рейд созданный BUILDING\VERIFICATION, но после создания он показал такую же пилу и было из-под ASM запущено VERIFICATION\FIX. И после этого он стал работать так вот ровно. Второй скрин рейда созданного CLEAR, VERIFICATION\FIX по нему пока не делалось, сейчас восстановлю на него инфу и запущу, так как на VERIFICATION\FIX 40Тб уходит 3 суток.
К знающему читателю вопрос: имеет ли смыл делать VERIFICATION\FIX? имеет ли смыл дефрагментация на таких рейдах? и не могу найти написанной понятным мне языком описания разницы в способах создания рейдов и что же творит с рейдом VERIFICATION\FIX???
Ответить можно тут или в приват.

90 терабайтная гравицапа (90 terrabyte home server) продолжение.
pologi_13

Когда-то мой товарищ ( http://basanovich.livejournal.com/163813.html )за меня публиковал отчёт о создание моего сервера хранения, а после обновления решился сам выслушать все ваши "гадости" в свой адрес и ответить на вопросы. После первого отчёта о "постройке" было много всего понаписано и тут и на других сайтах, но были и толковые, которые натолкнули на мысли об апргейде в нужном направлении. И вот что из этого вышло:
часть отчёта AIDA:

Операционная система                              Microsoft Windows Server 2008 R2 Enterprise 6.1.7601 (Win2008 R2 RTM)
    Дата                                              2012-01-17
    Время                                             11:23


--------[ Суммарная информация ]----------------------------------------------------------------------------------------

    Компьютер:
      Тип компьютера                                    ACPI x64-based PC
      Операционная система                              Microsoft Windows Server 2008 R2 Enterprise
      Пакет обновления ОС                               Service Pack 1
      Internet Explorer                                 8.0.7601.17514
      DirectX                                           DirectX 11.0
      Имя компьютера                                    WIN-ХХХХХХХ
      Имя пользователя                                  ХХХХХХХХХХ
      Вход в домен                                      WIN-ХХХХХХХХ
      Дата / Время                                      2012-01-17 / 11:23

    Системная плата:
      Тип ЦП                                            QuadCore Intel Xeon E5530, 2650 MHz (20 x 133)
      Системная плата                                   Intel Hanlan Creek S5520HC  (1 PCI, 4 PCI-E x8, 1 PCI-E x16, 12 DDR3 DIMM, Video, Dual Gigabit LAN)
      Чипсет системной платы                            Intel Tylersburg 5500, Intel Nehalem
      Системная память                                  24515 Мб  (DDR3-1333 DDR3 SDRAM)
      DIMM1: Hynix HMT31GR7BFR4C-H9                     8 Гб DDR3-1333 Reg. ECC DDR3 SDRAM  (8-8-8-22 @ 609 МГц)  (7-7-7-20 @ 533 МГц)  (6-6-6-17 @ 457 МГц)
      DIMM3: Hynix HMT31GR7BFR4C-H9                     8 Гб DDR3-1333 Reg. ECC DDR3 SDRAM  (8-8-8-22 @ 609 МГц)  (7-7-7-20 @ 533 МГц)  (6-6-6-17 @ 457 МГц)
      DIMM5: Hynix HMT31GR7BFR4C-H9                     8 Гб DDR3-1333 Reg. ECC DDR3 SDRAM  (8-8-8-22 @ 609 МГц)  (7-7-7-20 @ 533 МГц)  (6-6-6-17 @ 457 МГц)
      DIMM7: Hynix HMT31GR7BFR4C-H9                     8 Гб DDR3-1333 Reg. ECC DDR3 SDRAM  (8-8-8-22 @ 609 МГц)  (7-7-7-20 @ 533 МГц)  (6-6-6-17 @ 457 МГц)
      DIMM9: Hynix HMT31GR7BFR4C-H9                     8 Гб DDR3-1333 Reg. ECC DDR3 SDRAM  (8-8-8-22 @ 609 МГц)  (7-7-7-20 @ 533 МГц)  (6-6-6-17 @ 457 МГц)
      DIMM11: Hynix HMT31GR7BFR4C-H9                    8 Гб DDR3-1333 Reg. ECC DDR3 SDRAM  (8-8-8-22 @ 609 МГц)  (7-7-7-20 @ 533 МГц)  (6-6-6-17 @ 457 МГц)
      Тип BIOS                                          AMI (09/30/09)
      Коммуникационный порт                             Последовательный порт (COM1)
      Коммуникационный порт                             Последовательный порт (COM2)

    Отображение:
      Видеоадаптер                                      Matrox Graphics G200e (ServerEngines)  (32 Мб)
      3D-акселератор                                    Matrox G200e ServerEngines
      Монитор                                           Samsung SyncMaster 730B (Analog)  [17" LCD]  (HMDYA00459)

    Хранение данных:
      Контроллер IDE                                    Intel(R) ICH10 Family 6 Port SATA AHCI Controller - 3A22
      Контроллер хранения данных                        Adaptec RAID 5805
      Контроллер хранения данных                        Adaptec RAID 5805
      Контроллер хранения данных                        AHMWASTZ IDE Controller
      Контроллер хранения данных                        RocketRAID 4320 SAS Controller
      Дисковый накопитель                               Adaptec Array SCSI Disk Device  (40919 Гб)
      Дисковый накопитель                               Adaptec Array SCSI Disk Device  (40919 Гб)
      Дисковый накопитель                               Adaptec Array SCSI Disk Device  (40919 Гб)
      Дисковый накопитель                               HPT VD0-0 SCSI Disk Device  (13040 Гб)
      Дисковый накопитель                               INTEL SSDSA2M120G2GC ATA Device  (120 Гб, SATA-II)
      Оптический накопитель                             LADMVMN TENKTIB SCSI CdRom Device
      Статус SMART жёстких дисков                       OK

    Разделы:
      C: (NTFS)                                         49899 Мб (33319 Мб свободно)
      D: (NTFS)                                         64469 Мб (55924 Мб свободно)
      E: (NTFS)                                         40919.9 Гб (9087.2 Гб свободно)
      F: (NTFS)                                         40919.9 Гб (6613.7 Гб свободно)
      G: (NTFS)                                         13040.4 Гб (1883.1 Гб свободно)
      H: (NTFS)                                         40919.9 Гб (12171.8 Гб свободно)
      Общий объём                                       135911.7 Гб (29842.8 Гб свободно)

    Ввод:
      Клавиатура                                        Клавиатура HID
      Мышь                                              HID-совместимая мышь


В системе 3 рейд-контроллера: два Адаптека 5805 (чуть ниже почему именно два) и один Хайпонт 4320. К адаптеку подцеплены экспандеры Ченбро 13601 по 24 порта, к 4320 8 дисков, без экспандеров. Адаптеков два так, как хотя и можно последовательно вешать экспандеры, но практика показала, что при "верификации" или "ребилде" скорость на остальных рейдах сильно падает, видимо не хватает мощности проца контроллера, потому пришлось покупать второй 5805, попытка использовать 6805 показала его низкую скорость в сравнении с младшим братом (возможно виноваты вестерны грин). То есть сейчас на один SAS разъём контроллера повешен 1 экспандер. На хайпонт 4320 так же можно вешать экспандеры, но в сравнении с адаптеком хайпонт не позволяет создавать рейд из 24 дисков, 16 максимум. Итого всего 80 SATA дисков WD GREEN по 2Тб, собранных в три рейд6 по 24 диска и один рейд5 из 8 дисков(хайпонт). Корпус несколько модернезировал. Но главная модернизация это питание дисков. Предыдущие попытки использования комп. БП показали, что из-за перекосов в нагрузке невозможно использовать те большие и красивые цифры написанные на коробках, пришлось купить спец. БП, отдельно на +5в в 100А и на +12В и 83.3А, были сделаны шины питания из провода сечением 25квадратов из бескислородной меди. Такая схема питания спокойно стартует одновременно 80 дисков и стабильно питает в процессе работы.
На старых фото видно две мат.платы: слева мать работающая в составе роутера на базе вынь2003 и ISA, справа сервер, к которому и подключено такое кол-во жёстких дисков. Почему фанерный корпус "самострой": 1-е и главное это цена вопроса, любое промышленное решение стоит безумных денег, 2-е это шум - пром. решения расчитаны на работу в серверных, где вопрос шума системы никого не волнует, у меня же стоит дома, на балконе ... 40 вентелей вращающихся на скорости 1200об. дают столько же шума, как работающий кондей, так что вполне терпимо. Алюминий на корпус было бы правильней, но в домашних условиях его сложно обрабатывать. Так же пром.корпуса расчитанные на работу с таким кол-вом дисков в наших дебрях не водятся, поставщики выставляют такие условия, что проще последнюю модель Феррари пригнать, чем получить такое ...
По сравнению со старым отчётом на корпус добавлена "мансарда", способная вместить 64 диска и на которой размещёны новые БП, итого суммарный объём может дойти до 128 дисков для хранения собственных фото.
Кому интересно КАК работает - отвечу на вопросы, на вопрос "для чего" ответ уже давно дан. Вопли типа "о сколько порно" оставьте себе ... не стоит их публиковать.
.


?

Log in