مقدمه

در بخش اول این مقاله، آشنایی با سیستم استورج آیسیلون – بخش اول – آشنایی کلی، ما مفاهیم کلی استورج آیسیلون را بررسی کردیم. در این بخش ما سخت افزار این استورج را با دقت بیشتری بررسی میکنیم. اینکه سخت افزار از چه چیزهایی تشکیل شده است و هر کدام از مدلهای این سخت افزار برای چه کاربردی مناسب هستند.

 

مفاهیم کلی سخت افزار

همانطور که قبلا گفته شد، مجموعه Isilon از تعدادی نود سخت افزاری که از یک طرف با یک شبکه اختصاصی infiniband به هم متصل شده و از طرف دیگر با انواع شبکه اترنت به کلاینت ها متصل می شوند تشکیل شده است.

این نودها هر کدام بر اساس سخت افزار خود ترکیبی از IOPS, پهنای باند و ظرفیت ارائه می دهند، و می توان انواع نودهای مختلف را در کنار هم ترکیب کرد تا به مقدار IOPS، پهنای باند و ظرفیت مورد نظر دست پیدا کرد. این مجموعه نودهای یک cluster آیسیلون نامیده می شود.

حداقل تعداد نود در یک کلاستر 3 عدد و حداکثر تعداد نود 144 عدد است. باید توجه داشت که عدد 144 نود محدودیت ذاتی خود Isilon نیست، بلکه حداکثر تعداد پورتی است که یک سوییچ Infiniband در حال حاضر دارد، و در آینده اگر سوییچ اینفینی باند  با تعداد پورت بیشتر ساخته شود می توان تعداد نود یک کلاستر را افزایش داد.

روی youtube تعدادی ویدئو با عنوان Decode the node: وجود دارد که انواع نودهای Isilon را معرفی کرده، و سخت افزار داخلی آنرا هم نشان می دهد که برای آموزش ساختاری سیستم خیلی مهم است.

نکته مهمی که وجود دارد این است که در تمام این ویدئوها تاکید می کند که به هیچ عنوان مشتری حق ندارد درپوش یک نود را باز کند و این کار فقط باید توسط مهندسین تعمیرات تایید شده EMC (Certified Customer Service)انجام شود. تمام قسمت های سخت افزار (مثل کارتهایی که روی مادربرد است، یا ماژول های رم) بصورت تک تک قابل تعویض است، بجز CPU که قابل تعویض نیست (و به تبع آن اگر دچار مشکل شود باید کل مادربرد را عوض کرد!)

 

مکانیزم نامگذاری سخت افزار

مکانیزم نامگذاری نودها به این صورت است که نام هر نود با یک یا دو حرف شروع می شود و بعد از آن سه رقم قرار دارد.

یک یا دو حرف اول نود مدل نود را نشان میدهند، که دسته بندی آن بصورت زیر است:

• S یعنی نودهایی که برای IOPS بالا بهینه شده اند. این سری است که از آن به عنوان Primary Storage یعنی استورج اصلی یاد می شود.
• X یعنی نودهایی که برای Throughput بالا بهینه شده اند. این سری به عنوان استورج متوسط Midrange و یکپارچه سازی انواع استورج Storage Consolidation استفاده می شود.
• NL یعنی نودهایی که برای ظرفیت بالا طراحی شده اند. این ها برای آرشیو کردن اطلاعاتی که نیاز به دسترسی به آنها کم و بیش هنوز وجود دارد استفاده می شوند.
• HD یعنی نودهایی که برای ظرفیت بسیار بالا، اما دسترسی خیلی کم به اطلاعات روی آن طراحی شده اند. این حالت به عنوان Deep Archive یا آرشیوهای دور نامیده می شوند.

عدد بعدی نشان دهنده ارتفاع نود بر حسب U‌ است. یعنی X210 یک نود 2U و X410 یک نود 4U‌ است.

دو عدد بعدی نشان دهنده سری نود است. یعنی X200 سری  قدیمی نود و X220‌ نسخه جدید تر آن است (و احتمالا سری بعدی سخت افزار هم X230 خواهد بود)

 

سخت افزار و خصوصیات مشترک نودها

همه نودهای S210, X210, X410, NL410 و HD400 خصوصیات مشترک زیر را دارند:

روی هر نود یک مادربرد (که بصورت مشخص یک مادربرد سرور عادی است) به همراه یک یا دو cpu وجود دارد و تعدادی کارت pcie هم سایر قابلیت ها مثل شبکه infiniband یا 10GbE را تامین می کنند.

در پنل جلوی نود (که faceplate یا front panel) نامیده می شود یک نوار LED آبی رنگ وجود دارد که وقتی آبی ثابت است یعنی نود به کلاستر متصل شده است، هیچ خطای بحرانی Critical Error وجود ندارد و همه چیز بدون مشکل است. در صورت بروز مشکل این حالت تغییر می کند.

در بالای این پنل یک کی پد کوچک و در کنار آن یک Display کوچک وجود دارد که با استفاده از آنها می توان یکسری از عملیات پایه ای نود، مثل اضافه کردن یک هارددیسک به نود را انجام داد.

هر نود مجهز به یک پاور dual در قسمت پشت آن است که روی هر ماژول پاور سه تا LED به نامهای AC in, DC out, Fault وجود دارد. وقتی نود روشن و بدون مشکل است چراغ های AC in, DC out هر دو روشن و سبز رنگ هستند. ,وقتی نود خاموش است چراغ AC in و Fault روشن است و اگر مشکلی در پاور به وجود بیاید هر دو چراغ AC in , DC out روشن می شوند و چراغ Fault indicator آن به رنگ نارنجی روشن می شود. هر پاور توان 1100 وات را دارد.

در کنار این دو ماژول پاور یک کلید Power وجود دارد، که بعد از اینکه نود بصورت Clean Shutdown خاموش شده باشد، می توان برای روشن کردن مجدد نود از آن استفاده کرد. نکته ای که روی آن تاکید می شود این است که به هیچ عنوان نباید از این کلید برای خاموش کردن نود استفاده کرد. در ضمن این نکته که کلید پاور، به جای جلوی نود در پشت آن قرار دارد جالب توجه است! (ظاهرا پاورها ساخت شرکت avc است)

علاوه بر این در قسمت پشت هر نود یک پورت سریال برای مدیریت سیستم و یک پورت vga و 4 تا پورت usb (که با توجه به رنگ سیاه آن باید usb 2.0 باشند) وجود دارد، که در ویدئو بصورت مرتب تاکید می شود که فقط برای استفاده توسط EMC Technical Support است و کاربر به هیچ عنوان نباید چیزی به آن متصل کند. یک پورت IPMI هم برای مدیریت و مانیتورینگ نود از طریق شبکه وجود دارد. با وجود آنکه در ویدئو این پورت از بیرون بصورت یک کارت addon دیده می شود، اما در توضیحات هیچ اشاره ای به آن نمی شود.

هر نود دارای یک کارت boot است که روی آن دو تا SSD برای بوت قرار گرفته اند. ما اول فکر کردیم که این کارت بصورت مبدلی برای SSD های M.2 یا mSATA‌ به pcie کار می کند، اما با بررسی دقیقتر ویدئو و عبارت Boot Carrier Card که مهندسین EMC برای نام بردن این کارت استفاده می کنند، مشخص شد که این کارت به نوعی شبیه holder برای دو تا SSD، احتمالا از نوع mSATA عمل می کند و دو تا کابل SATA‌ از روی این برد این SSD ها را به مادربرد متصل می کنند. دلیل استفاده از دو تا SSD برای بوت، ترکیب آنها بصورت RAID 1 است تا اگر برای یکی مشکلی ایجاد شد، بوت سیستم دچار مشکل نشود. این SSD ها، سیستم عامل هر نود، یعنی OneFS و یک کپی از ژورنال فایل سیستم را در خود نگهداری می کنند.

روی هر نود یک کارت NVRAM هم وجود دارد، که برای نگهداری File System و ژورنال ترانزکشن های آن در هنگام کار استفاده می شود. دلیل استفاده از این کارت NVRAM‌ با جزئیات بیشتر در بخش بعدی مقاله توضیح داده می شود، اما برای اینکه اگر برق دستگاه قطع شد اطلاعات داخل NVRAM قبل از save کردن آن روی flash داخلی آن از بین نرود، دو تا باتری با یک سیم به این کارت متصل است. در مدل های قدیمی Isilon این دو تا باتری بصورت کشویی در پشت سیستم بود، اما در تمام مدل های جدید سری 10‌، این دو تا باتری در داخل کیس، و در قسمت جلوی آن، و یا در مورد HD400 روی بدنه داخلی دستگاه در کنار کارت نصب شده است.

برای اتصال هارددیسک ها به سیستم، یک کارت SAS HBA pcie وجود دارد که با کابل SAS به بک پلین هاردها متصل شده است. از آنجا که یک کابل SAS به بک پلین جلو می رود، مشخص است که بک پلین هاردها از تکنولوژی SAS Expander‌ استفاده می کند، که مشابه چیزی است که در سایر استورج های بر پایه SAS مانند Xendure استفاده می شود.

همانطور که در بخش قبل توضیح داده شد، هر نود آیزیلون همزمان به دو تا شبکه وصل می شود. یک شبکه infiniband که نودها را بصورت داخلی به هم وصل میکند و به عنوان backend network هم شناخته می شود و یک شبکه اترنت که کلاینت ها از طریق آن به نودها متصل می شوند و می توانند از سیستم استفاده کنند و به عنوان client network‌ یا frontend network شناخته می شود.

هر نود دو تا پورت GbE (گیگابیت اترنت) و دو تا پورت 10GbE (ده گیگابیت اترنت) برای اتصال به شبکه فرونت اند، یا همان شبکه کلاینت دارد که دو تا پورت GbE روی خود مادربرد (که در این ویدئوها از آن به عنوان CPU board‌ یاد می شود) قرار دارند و دو تا پورت 10GbE هم از طریق یک کارت pcie تامین می شوند. پورت های GbE‌ مسی (یعنی کابل معمولی) هستند و پورتهای 10GbE فیبر نوری هستند و باید روی آنها SFP+ سوار کرد.

همینطور هر نود دوتا پورت infiniband QDR (Quad Data Rate) هم برای اتصال به شبکه بک اند (یا شبکه ای که نودها بصورت داخلی از طریق آن به هم وصل می شوند) دارد که روی یک کارت pcie دیگر قرار دارند. بر خلاف مدلهای قبلی (مثل S200 و X400) که از infiniband DDR Copper یعنی مسی استفاده شده بود، پورتهای این سری بصورت فیبر نوری هستند، که امکان سرعت بیشتر را فراهم می کنند. (سرعت QDR برای لینک 4X برابر 40 گیگابیت بر ثانیه با تاخیر latency کمتر از 2 میکروثانیه است.)

روی تمام نودها، به جز HD400، یک کلید Intrusion Detection وجود دارد، که اگر در حالیکه نود روشن است در آن باز شود، به OneFS پیغام میدهد تا node را به حالت Protected Read-only ببرد. در مورد HD400 این کلید قاعدتا به این خاطر وجود ندارد، که چون هاردها بصورت عمودی و داخل کیس چیده می شوند، برای تعویض یک هارد هیچ راهی به جز بازکردن در کیس وجود ندارد، و بنابراین وجود کلید Intrusion‌ بی معنی است.

حداقل تعداد نود یک کلاستر 3 عدد و حداکثر آن 144 عدد است. علاوه بر این یک راک 42U‌ استاندارد می تواند حداکثر 9 تا نود 4U را در خود جا دهد.

در مواردی که هارد خود رمز شونده SED (Self Encrypting Drive) مورد نیاز باشد، داخل پارت نامبر نود E هم اضافه می شود، مثل HD400-SATA-E07 . هاردهای SED هاردهایی هستند که اطلاعات روی خود هارد دیسک رمز گذاری می شود و بنابراین اگر توسط شخصی بصورت غیر مجاز از مجموعه خارج شود، اطلاعات آن قابل استفاده نخواهد بود. مدلهایی که E هستند بسیار گران تر از مدل های معمولی هستند (نزدیک دوبرابر قیمت) و کاربرد آن برای جاهایی با اطلاعات حساس، مثل بانک ها، موسسات مالی، مراکز نظامی و شرکت های تحقیقاتی است. باید در نظر داشت که امکان SED برای هر هاردی وجود ندارد. به عنوان مثال در سری HD هارد 6TB قابلیت انتخاب با قابلیت SED را دارد، اما هارد 8TB چنین امکانی را ندارد.

بحث مهم دیگری که باید به آن توجه داشت این است که آیسیلون حالت mix & match در مورد هارد دیسک ها را ندارد، و باید همه هاردهایی که روی یک نود قراردارند یک اندازه و یک پارت نامبر باشند. به عبارت دیگر نمی توان روی یک نود هاردهایی با ظرفیت 6 و 8 ترابایت در کنار هم داشت، که به نوعی آنرا شبیه RAID میکند. نقطه ضعفی که در بعضی از انواع دیگر object storage ها مانند Xendure‌ وجود ندارد. در ضمن همه هاردها باید از خود EMC‌ تهیه شوند و هارد دیگری را نمی توان داخل این نودها استفاده کرد.

نکته ای که با بررسی ویدئوهای مختلف و داکیومنت های مختلف Isilon مشخص می شود، این است که مشخصات داده شده خیلی جاها متفاوت است. مثلا یک جا حداقل رم نود S210 برابر 32 گیگابایت و یک جای دیگر 64 گیگابایت قید شده است، که این نشان می دهد که چون این یک سخت افزار معمولی است، با ارزان شدن رم سازنده روی آن رم بیشتری سوار کرده است.

 

نکاتی که باید در نظر داشت

شرکت EMC چیزی به اسم فروش قطعه یدکی ندارد، و همانطور که قبلا هم گفته شد، مرتب در ویدئوهای معرفی دستگاه تاکید می کند که به جز  EMC Certified Customer Service Engineer کسی حق ندارد در دستگاه را باز کند.

همینطور در ویدئویی که نحوه تعویض هارد سیستم را نشان میدهد، قید می کند که هارد خراب باید پس از تعویض با هاردی که فرستاده شده است، دوباره در جعبه آن برای EMC پس فرستاده شود! که با توجه به مسائل تحریم ایران می تواند وحشتناک باشد.
در بخش بعدی این مقاله، ما به بررسی ویژگی های خاص هر نود، تفاوت نودهای جدیدتر با قدیمی، و نکات پیشرفته تر طراحی، مثل دلیل استفاده از مکانیزم شبکه infiniband برای backbone داخلی، و nvram برای ژورنال فایل سیستم خواهیم پرداخت.