بایگانی دسته: فایل سیستم

آشنایی با سیستم استورج آیسیلون – بخش سوم – انواع نود و طراحی سخت افزار

مقدمه

در بخش اول این مقاله، آشنایی با سیستم استورج آیسیلون – بخش اول – آشنایی کلی، ما مفاهیم کلی استورج آیسیلون را بررسی کردیم. در بخش دوم، آشنایی با سیستم استورج آیسیلون – بخش دوم – سخت افزار ما سخت افزار این استورج را بصورت کلی بررسی کردیم. در این بخش، ما به بررسی موارد انحصاری انواع نودها، و مفاهیم طراحی سخت افزار و دلایل انتخاب های مختلفی که صورت گرفته است می پردازیم.

 

موارد اختصاصی نودهای Isilon

در اینجا ما موارد اختصاصی هر نود را بررسی خواهیم کرد. نکته ای که در این بررسی باید به آن توجه داشت این است که سخت افزار Isilon در واقع سخت افزار عادی سرور اینتل است، و بنابراین ممکن است بین آنچه اینجا گفته شده و بین آنچه در سایت EMC سابق، یا EMC/Dell جدید دیده می شود تفاوت هایی وجود داشته باشد. مثلا مقدار رم یا ظرفیت دیسک هایی که نود قبول می کند یا نوع cpu آن متفاوت باشد. بیشتر این موارد ناشی از تکامل سرورهای اینتل هستند و در طراحی کلی سیستم تاثیری ندارند.

نود S210

تلفظ اسم این نود S Two Ten است و برای کاربردهای Ultra Fast Primary Storage, High IOPS، یعنی جایی که اولویت بر IOPS است طراحی شده است.

این نود با OneFS 7.1.1 به بالا سازگار است و دو تا پروسسور Xeon 6 core دارد و با رم 64/128/256 گیگابایت می توان آنرا پیکربندی کرد. در کنار هر cpu هشت تا اسلات رم وجود دارد. کلا مادربردهای S210 و X410 خیلی بزرگتر از بقیه هستند که دلیل آن dual cpu بودن این سیستم ها است.

ادامه‌ی خواندن→

آشنایی با سیستم استورج آیسیلون – بخش دوم – سخت افزار

مقدمه

در بخش اول این مقاله، آشنایی با سیستم استورج آیسیلون – بخش اول – آشنایی کلی، ما مفاهیم کلی استورج آیسیلون را بررسی کردیم. در این بخش ما سخت افزار این استورج را با دقت بیشتری بررسی میکنیم. اینکه سخت افزار از چه چیزهایی تشکیل شده است و هر کدام از مدلهای این سخت افزار برای چه کاربردی مناسب هستند.

 

مفاهیم کلی سخت افزار

همانطور که قبلا گفته شد، مجموعه Isilon از تعدادی نود سخت افزاری که از یک طرف با یک شبکه اختصاصی infiniband به هم متصل شده و از طرف دیگر با انواع شبکه اترنت به کلاینت ها متصل می شوند تشکیل شده است.

این نودها هر کدام بر اساس سخت افزار خود ترکیبی از IOPS, پهنای باند و ظرفیت ارائه می دهند، و می توان انواع نودهای مختلف را در کنار هم ترکیب کرد تا به مقدار IOPS، پهنای باند و ظرفیت مورد نظر دست پیدا کرد. این مجموعه نودهای یک cluster آیسیلون نامیده می شود.

حداقل تعداد نود در یک کلاستر 3 عدد و حداکثر تعداد نود 144 عدد است. باید توجه داشت که عدد 144 نود محدودیت ذاتی خود Isilon نیست، بلکه حداکثر تعداد پورتی است که یک سوییچ Infiniband در حال حاضر دارد، و در آینده اگر سوییچ اینفینی باند  با تعداد پورت بیشتر ساخته شود می توان تعداد نود یک کلاستر را افزایش داد.

ادامه‌ی خواندن→

آشنایی با سیستم استورج آیسیلون – بخش اول – آشنایی کلی

مقدمه

یکی از نمونه های اولیه و پیاده سازی های خوب اما خیلی گران استورج های توزیع شده (distributed storage)، سیستم Isilon می باشد. این سیستم که از سال 2001 پایه گذاری شده است، یک scale-out nas است که در حال حاضر می تواند تا دهها پتابایت اطلاعات را روی خود نگهداری کند.

از آنجا که isilon یکی از استورج های مشهور می باشد و شاید برای بسیاری یکی از گزینه های خرید استورج به شمار بیاید، آشنایی با خصوصیات آن می تواند راهنمای خوبی برای شناخت خوبی ها، بدی ها و مدل های مختلف این سیستم باشد.

ساختار کلی و معماری سیستم

سیستم آیسیلون یک scale-out nas است که دو ویژگی مهم سیستم در همین تعریف نمایان می شود.

ادامه‌ی خواندن→

معرفی فایل سیستم zfs، قابلیت ها و نقاط ضعف آن

مقدمه

فایل سیستم یکی از مهمترین بخش های هر سیستم استورج محسوب می شود، و zfs یکی از فایل سیستم هایی است که در چند سال اخیر سر و صدای بسیار زیادی کرده است. این فایل سیستم بسیار پیشرفته و شاید فراتر از زمان خود طراحی شده است و دارای قابلیت هایی است که بسیاری از سازندگان استورج گران قیمت مانند EMC و NetApp با لیسانس های گران قیمت به مشتریان خود می فروشند. این فایل سیستم به قدری پیشرفته است که بسیاری از متخصصین در StorageMojo و AnandTech پیش بینی کرده اند که تاثیر زیادی در بازار استورج خواهد داشت.

تاریخچه مختصر zfs

zfs به عنوان بخشی از سیستم عامل sun solaris طراحی شد. کسانی که با عرصه سیستمهای *nix آشنا هستند می داند که سه شاخه اصلی از این سیستم ها وجود دارد. سیستم های اپن سورس مبتنی بر لینوکس، سیستم های اپن سورس مبتنی بر یونیکس، مثل freeBSD, NetBSD و سیستم های یونیکس تجاری، مانند SUN Solaris یا HP AIX.

zfs به عنوان بخشی از سیستم عامل سولاریس در سال 2001 طراحی شد و بعد از اینکه سان تصمیم به سورس باز کردن سولاریس گرفت، zfs هم به عنوان بخشی از آن بصورت سورس باز ارائه شد. بعد از اینکه اوراکل سان را خرید تا مدتی به ارائه سولاریس بصورت سورس باز ادامه داد، ولی از سولاریس 11 اوراکل مجددا لیسانس سولاریس و به تبع آن zfs را بست و انحصاری خودش کرد، اما انشعاب های سورس باز سولاریس، در قالب پروژه illumos به کار خود ادامه دادند.

ادامه‌ی خواندن→

بررسی فایل سیستم HDFS از Apache Hadoop و امکان سنجی استفاده از آن به عنوان یک ذخیره ساز برودکست – بخش دوم

در بخش قبلی ما ساختار فایل سیستم HDFS و نحوه پیاده سازی High availability در آن را بررسی کرده و به نحوه دسترسی به فایل های داخل آن پرداختیم. در این بخش ما به ما عملیات درونی read / write را بررسی می کنیم و به روش چیده شدن بلوک ها داخل کلاستر می پردازیم. علاوه بر این در این بخش ما بعضی ابزارهای hdfs را بررسی کرده و در مورد اینکه hdfs آیا به عنوان یک ذخیره ساز برودکست قابل استفاده است یا نه تصمیم می گیریم.

شکافتن داخل یک عملیات read

در یک عملیات read در HDFS ، کلاینت ابتدا با NameNode تماس گرفته و متادیتای فایل مورد نظر و آدرس نودهایی که بلوک های اطلاعات در آن ذخیره شده اند می گیرد. سپس کلاینت با دیتانود ها تماس گرفته و به ترتیب بلوک های فایل را از آنها می خواند. در مورد خواندن باید به موارد زیر توجه داشت:
عملیات خواندن بصورت عادی بصورت ترتیبی است. یعنی هر بلوک داده از یک نود خوانده شده و بعد از کامل شدن آن کلاینت به سراغ نود بعدی میرود. به عبارت دیگر با اینکه hdfs بصورت بالقوه امکان خواندن بلوک های مختلف از چندین نود بصورت پارالل برای افزایش سرعت را دارد، اما بصورت پیش فرض از آن استفاده نمی کند. برای استفاده از حالت کپی پارالل باید از distcp استفاده کرد که بعدا در مورد آن توضیح خواهیم داد.

ادامه‌ی خواندن→

بررسی فایل سیستم HDFS از Apache Hadoop و امکان سنجی استفاده از آن به عنوان یک ذخیره ساز برودکست – بخش اول

مقدمه

سرویس هادوپ آپاچی یکی از پایه های سیستم های distributed در قرن اخیر است که پایه بسیاری از کسب و کارهای بزرگ، مانند yahoo با ده هزار هسته cpu و facebook با 100 پتابایت اطلاعات بر روی آن قرار دارد. hadoop که اسم فیل اسباب بازی پسر یکی از توسعه دهندگان اصلی این سرویس بود، اکنون یکی از اسم های پر سر و صدای عرصه کامپیوتر امروز است.

یکی از بخش های مهم هادوپ، سیستم فایل آن است که به نام Hadoop Distributed File System یا بصورت خلاصه HDFS نامیده می شود. HDFS قابلیت های جالبی از جمله طراحی برای فایل های بسیار بزرگ، قابلیت replica گرفتن از فایل برای جلوگیری از دست رفتن آن، قابلیت کار روی سخت افزارهای عادی (commodity hardware) بدون نیاز به سخت افزارهای خاص و قابلیت توزیع شدن روی تعداد زیادی کامپیوتر و نمایش آنها بصورت یک سیستم واحد را دارد.

بسیاری از این قابلیت ها، قابلیت هایی هستند که می توانند برای سیستم های ذخیره سازی ویدئو بسیار مهم باشند. سیستم های ذخیره سازی ویدئو مخصوصا برای آرشیو، نیاز به ذخیره سازهای ارزان قیمتی دارند که که اهمیت حفظ فایل ویدئویی در آن بالاست و با فایل های بزرگ سر و کار دارد، و علاوه بر این از نظر اقتصادی استفاده از دیسک های SAN برای آنها مقرون به صرفه نیست.

ادامه‌ی خواندن→

بررسی بازدهی عملی یک پارتیشن GPFS به روش کپی فایل های متعدد همزمان توسط dd لینوکس

مقدمه

سیستم فایل GPFS یکی از سیستم فایل های بسیار مطرح دنیا در زمینه اشتراک دیسک های SAN است که به تازگی آزمون های استفاده از آن در اداره کل فنی سیاسی آغاز شده است. یکی از سوالاتی که در مورد این سیستم فایل و نحوه عملکرد آن مطرح است، بازدهی سرعت آن در هنگام کار تعداد زیادی از کاربران است، که ما در اینجا با ساخت یک سری کپی همزمان فایل سعی در شبیه سازی آن کرده ایم.

شرایط تست

در سیستم تست ما دو کنترلر وجود دارد که هر کدام دارای 4 اتصال FC چهار گیگابیت بر ثانیه هستند. دو سوییچ FC هم وجود دارد که از هر کنترلر دو اتصال FC به آنها برقرار شده است. به عبارت دیگر از هر کنترلر دو اتصال به سوییچ اول و دو اتصال به سوییچ دوم وجود دارد.

هر LUN تست ما از پنج عدد هارد دیسک FC ظرفیت 300 گیگابایت 10 هزار دور که با هم راید پنج بسته شده اند تشکیل شده است که هر لان در حدود یک ترابایت می شود. کل ولوم gpfs از شش عدد لان که یک پارتیشن GPFS نسخه 3.4 که در حالت استریپ و رپلیکا بسته شده است (با استریپ 3 و رپلیکا 2). این پارتیشن حجمی برابر 6 ترابایت دارد و از ترکیب شش LUN با همدیگر ساخته شده است.

ادامه‌ی خواندن→