مقدمه

در بخش اول این مقاله، آشنایی با سیستم استورج آیسیلون – بخش اول – آشنایی کلی، ما مفاهیم کلی استورج آیسیلون را بررسی کردیم. در بخش دوم، آشنایی با سیستم استورج آیسیلون – بخش دوم – سخت افزار ما سخت افزار این استورج را بصورت کلی بررسی کردیم. در این بخش، ما به بررسی موارد انحصاری انواع نودها، و مفاهیم طراحی سخت افزار و دلایل انتخاب های مختلفی که صورت گرفته است می پردازیم.

 

موارد اختصاصی نودهای Isilon

در اینجا ما موارد اختصاصی هر نود را بررسی خواهیم کرد. نکته ای که در این بررسی باید به آن توجه داشت این است که سخت افزار Isilon در واقع سخت افزار عادی سرور اینتل است، و بنابراین ممکن است بین آنچه اینجا گفته شده و بین آنچه در سایت EMC سابق، یا EMC/Dell جدید دیده می شود تفاوت هایی وجود داشته باشد. مثلا مقدار رم یا ظرفیت دیسک هایی که نود قبول می کند یا نوع cpu آن متفاوت باشد. بیشتر این موارد ناشی از تکامل سرورهای اینتل هستند و در طراحی کلی سیستم تاثیری ندارند.

نود S210

تلفظ اسم این نود S Two Ten است و برای کاربردهای Ultra Fast Primary Storage, High IOPS، یعنی جایی که اولویت بر IOPS است طراحی شده است.

این نود با OneFS 7.1.1 به بالا سازگار است و دو تا پروسسور Xeon 6 core دارد و با رم 64/128/256 گیگابایت می توان آنرا پیکربندی کرد. در کنار هر cpu هشت تا اسلات رم وجود دارد. کلا مادربردهای S210 و X410 خیلی بزرگتر از بقیه هستند که دلیل آن dual cpu بودن این سیستم ها است.

ارتفاع این نود 2U است و پشت پنل جلو یک صفحه مشبک فلزی وجود دارد که بصورت EMI Shield کار می کند و پشت آن 24 تا هارد 2.5 اینچی SAS بصورت عمودی کنار هم چیده شده است. این ترکیب می تواند از 18 تا 24 هارد دیسک و 0 تا 6 عدد SSD‌ باشد (مثلا 2 تا SSD و 22 هارد دیسک). هاردهایی که این نود پشتیبانی میکند 300/600/900/1200 گیگابایت 10000 دور و SSD های آن هم 400/800/1600 گیگابایت است.

سایر خصوصیات مشترک نودهای آیزیلون، با این مشترک است.

 

نود X210

تلفظ اسم این نود X Two Ten است و برای High Performance, High Throughput, High Concurrency Storage طراحی شده است.

این نود با OneFS 7.2.1 به بالا سازگار است و می تواند 24 یا 48 گیگابایت رم داشته باشد که در شش اسلات رم جا گرفته است. ارتفاع این نود 2U است و در جلوی آن 12 عدد هارد 3.5 اینچی بصورت افقی کنار هم چیده شده است، که با برداشتن پنل جلوی دستگاه قابل دسترسی هستند.

پروسسور این سیستم یک Xeon 4 core است. در قسمت جلو سه تا فن برای خنک کردن سیستم وجود دارد. سایر خصوصیات مشترک نودهای آیزیلون، با این مشترک است.

 

نود X410

تلفظ اسم این نود X Four Ten است و برای High Concurrent & Sequential Throughput applications طراحی شده است. با OneFS 7.1.1 به بالا سازگار است. ارتفاع این نود 4U است و داخل آن 36 هارد 3.5 اینچی قرار می گیرد.

چینش هاردها در این نود شبیه NL410‌ است، یعنی 24 عدد هارد در جلو و 12 عدد هارد در پشت آن است که هاردهای پشت با یک EMI Shield محافظت شده اند. قیافه این نود هم شبیه NL410‌است، اما مادربرد آن شبیه S210 است. یعنی 16 تا جای رم دارد که در 4 ردیف 4 تایی در کنار دو تا cpu‌این دستگاه چیده شده اند. رم این دستگاه می تواند 32 تا 256 گیگابایت انتخاب شود، و روی آن دو عدد CPU Xeon 8 core سوار شده است.

کلا تفاوت HD400 با NL410 و بعد X410 در قدرت سخت افزار است. یعنی سخت افزار HD400 از همه ضعیف تر، سخت افزار NL410 متوسط و سخت افزار X410 از همه قویتر است. البته مشخص نیست آیا هاردهای این سیستم ها هم با هم متفاوت هستند یا خیر؟

تمام خصوصیات مشترک سخت افزارها که قبلا قید شد نیز دراین نود وجود دارد.

 

نود NL410

تلفظ اسم این نود بصورت N L Four Ten است و برای Highly Flexible, Cost Effective, Large Capacity Storage‌ طراحی شده است. این نود 4U با 36 عدد هارد دیسک 3.5 اینچ است که 24 تا هارد جلوی آن و 12 تا هارد پشت آن قرار می گیرد و می تواند ظرفیت 36 تا 210 ترابایت (با هارد 1TB تا 6TB) داشته باشد.

پروسسور این نود یک Xeon 4 Core‌است و دو گزینه رم  24 یا 48 گیگابایت برای این سیستم قابل انتخاب است که 6 تا جای رم برای نصب آنها وجود دارد.

این نود با OneFS 7.2.1 به بالا سازگار است.

هاردهایی که در پشت سیستم هستند پشت یک صفحه فلزی سوراخ سوراخ که نقش سپر EMI (EMI Shield) را دارد قراردارند که وقتی قرار باشد روی آن کار شود باید این صفحه فلزی را درآورد. سه فن در جلوی سیستم و پشت هاردهای جلویی قرار دارند که وظیفه برقراری جریان هوا و خنک نگه داشتن هاردها و سایر قطعات را به عهده دارند.

تمام خصوصیات مشترک سخت افزارها که قبلا قید شد نیز دراین نود وجود دارد.

 

نود HD400

نام این نود بصورت H D Four Hundred تلفظ می شود و برای کاربردهای High Density, Deep Archive Workflows طراحی شده است. اصولا وقتی اصطلاح Deep Archive در توصیف محصول استفاده می شود معمولا معنی آن فقط حفظ اطلاعات است و اینکه سرعت دسترسی یا IOPS دسترسی به اطلاعات در اهمیت خیلی پایین تری قرار دارد. این نود 4U با ظرفیت 60 هارد 3.5 اینچ است که بصورت عمودی در ردیف تایی کنار هم چیده شده اند. هر نود ظرفیت 354.8 ترابایت دارد که دلیل این ظرفیت غیر زوج، این است که در واقع داخل نود با 59 هارد 6 ترابایت و یک SSD با ظرفیت 800 GB پرشده است.

پروسسور این سیستم یک Xeon 4 Core E5-2407 v2 2.4 GHz است و جای شش تا ماژول رم DDR3 دارد. رم این نود می تواند 24 یا 48 گیگابایت انتخاب شود و با OneFS 7.2 به بالا کار می کند. مادربرد و کارتهای آن در یک قسمت عقب که آنرا Suitcase Assembly می نامد قرار دارند و مرتب تاکید می کند که کسی به جز EMC Certified Customer Service Engineer‌ اجازه ندارد که در آنرا باز کند.

در قسمت پشت این نود سه تا ماژول فن کشویی وجود دارد که روی هر کدام دو تا فن پر سرعت سوار است. این نوع نود بر خلاف بقیه انواع نود در قسمت جلوی خود فن ندارد.

 

تفاوت های سری 10 با سری 00

بد نیست در اینجا اشاره ای هم به نسل قدیمی تر نودهای استورج isilon، یعنی S200 و X400 بکنیم.

نودهای S210 و X410 به تازگی و به جای S200 و X400 ارائه شده اند. S210 برای کاربردهایی مثل Clouds, HPC, Media & Entertainment و X410 برای File Workloads, Hadoop Analytics, Life Sciences طراحی شده است.

سخت افزار کلی نودهای قدیمی و جدید بر پایه مادربردهای سرور با سی پی یو Xeon است و هر دو هم مدل های هارد مشابهی را پشتیبانی می کنند (به جز اینکه در S210 تعداد SSD می تواند 6 x 200GB باشد و X410 می تواند فقط SSD سایز 800 GB پشتیبانی کند)

تفاوت های کلی که در مورد سخت افزارهای جدید مثل X410 و S210 با مدل های قدیمی مثل X400 و S200 وجود دارد می توان در موارد زیر دانست:

در سری های S200 و X400 از infiniband DDR Copper‌ استفاده شده است. پهنای باند DDR (Double Data Rate) برابر 20 گیگابیت بر ثانیه است و کابل مسی بودن آن باعث می شود که حداکثر فاصله تا سوییچ بتواند 10 متر باشد. اما در مدلهای جدید از infiniband QDR Fiber استفاده شده است که پهنای باند QDR (Quad Data Rate) دو برابر DDR و 40 گیگابیت بر ثانیه است، و فیبر بودن آن باعث می شد بتوان نود را تا فاصله 100 متری سوییچ جابجا کرد که انعطاف پذیری زیادی در چیدمان دیتاسنتر می دهد.

سری S210 و X410 از سی پی یو معماری Ivy Bridge که جدیدتر است استفاده میکنند، اما سری S200, X400 از cpu معماری Westmere که قدیمی تر است استفاده می کنند. همینطور سری 10 سی پی یو با تعداد core بیشتر و مقدار بیشتری RAM دارند. مقدار NVRAM هم در سری 10 به 2GB رسیده است، در حالیکه در سری 00 این مقدار 512 مگابایت بوده است.

مدل های X400 , S200 با OneFS ورژن 6.5.1 کار میکنند در حالیکه X410 , S210 به OneFS 7.1.1 به بالا نیاز دارند.

در S200 و X400 باتری بک آپ NVRAM بصورت کشویی در پشت سرور است، که در واقع همان باتری های بک آپ نودهای جدیدتر است که روی یک برد کوچک با دو تا LED بسته شد و با یک کانکتور کشویی به کیس وصل می شود. اما در نودهای جدیدتر این باتری های به داخل کیس منتقل شده است و به اصطلاح user serviceable نیست.

تغییرات بالا باعث شده است که IOPS در نود S210 روی CIFS به 26000 IOPS و روی NFS به 18400 IOPS به ازای هر نود برسد که تقریبا دوبرابر S200 است. همینطور پهنای باند در X410 به 1400 MByte/S به ازای هر نود رسیده است که دوبرابر X400 است.

 

دلیل استفاده از NVRAM

شاید برای شما سوال پیش آمده باشد که کارت NVRAM چیست و برای چه از آن استفاده شده است؟ و اینکه وقتی سیستمی مثلا دارای 24 گیگابایت رم است، چه نیازی به یک NVRAM با سایز 2 گیگابایت دارد؟

NVRAM در واقع یک رم DRAM یا SRAM است که در کنار آن یک فلاش مموری با اندازه برابر رم و یک یا دو باتری بک آپ است. در واقع اگر بخواهیم به این سیستم نگاه کنیم، باید آنرا بصورت یک رم با باتری بک آپ و قابلیت save کردن اطلاعات در صورت قطع شدن برق، نگاه کنیم.

در رم عادی، اگر برق سیستم قطع شود، تمام اطلاعات روی رم پاک می شود. اما مشکل اینجاست که در یک سیستم استورج، فایل سیستم، که مشخص می کند هر بلوک داده روی کدام دیسک و کدام نود و در کجای آن نگهداری شده است، بسیار مهم است و اگر حتی کوچکترین بخشی از آن از دست برود، اطلاعات ذخیره شده در آن بخش های دیسک که آدرس آنها در فایل سیستم وجود ندارد، یتیم (Orphan) می شوند.

از طرف دیگر، عملیات فایل سیستم را روی SSD هم نمی توان انجام داد. SSD از نظر تعداد IOPS بسیار ضعیف تر از رم است. برای مقایسه تعداد IOPS یک SSD در حدود 50 هزاراست، اما IOPS یک NVRAM می تواند تا 10 میلیون هم برسد.

در ضمن SSD زمان تاخیر Latency خیلی بالایی نسبت به NVRAM دارد. زمان تاخیر در SSD گاهی حتی تا یک میلی ثانیه هم میرسد، در حالیکه تاخیر در NVRAM زیر میکروثانیه است.

علاوه بر این SSD به تعداد بار نوشته شدن روی آن حساس است و با نوشتن زیاد روی SSD، عمر آن به سرعت کم می شود.

برای حل دو مشکل بالا، طراحان ISILON از NVRAM برای نگهداری ژورنال فایل سیستم استفاده کرده اند. به عبارت دیگر در حالت عادی کارت NVRAM بصورت یک RAM با IOPS بسیار بالا و بدون نگرانی از خرابی آن به خاطر Write زیاد روی آن عمل میکند، اما اگر برق دستگاه به هر دلیلی قطع شود، NVRAM به کمک باتری بک آپ خود می تواند اطلاعات داخل خودش را قبل از خاموش شدن روی فلاش داخلی خودش بک آپ بگیرد، تا مطمئن باشد چیزی از بین نمی رود.

مزیت دیگر NVRAM‌ در این است که قیمت آن چندان بالا نیست، و می توان با قیمتی در حدود 100 دلار یک کارت با ظرفیت مناسب آنرا تهیه کرد.

البته همانطور که قبلا هم گفته شد، یک کپی از ژورنال فایل سیستم روی SSD های بوت سیستم هم نگهداری می شود.

 

دلیل استفاده از infiniband

در نسخه های اولیه isilon، از شبکه اترنت برای ارتباط بین نودها با هم استفاده می شده است. اما در نسخه های جدید از شبکه infiniband برای ارتباط نودها با هم استفاده می شود. اینفینی بند دارای دو قابلیت خیلی مهم است که باعث انتخاب آن شده است. تاخیر پایین و سرعت بسیار بالا.

شاید برای بسیاری از افراد، تاثیر تاخیر (latency) در عملکرد یک استورج شناخته شده نباشد، ولی باید دانست که تاثیر تاخیر از سرعت خیلی بیشتر است. تاخیر شبکه اینفینی بند در QDR می تواند تا زیر دو میکرو ثانیه پایین بیاید، در حالیکه تاخیر در شبکه 10GbE حتی با بیشتر frame size هم بین 5 تا 50 میکروثانیه است. به همین خاطر در بیشتر کاربردهای Clustering، از جمله در اینجا، از شبکه اینفینی بند استفاده شده است.

جدول زیر انواع پروتکل های شبکه و کاربرد آنها را نشان می دهد.

در بخش بعدی این مقاله ما به بررسی سیستم عامل OneFS و قابلیت های آن خواهیم پرداخت.