مقدمه

فایل سیستم یکی از مهمترین بخش های هر سیستم استورج محسوب می شود، و zfs یکی از فایل سیستم هایی است که در چند سال اخیر سر و صدای بسیار زیادی کرده است. این فایل سیستم بسیار پیشرفته و شاید فراتر از زمان خود طراحی شده است و دارای قابلیت هایی است که بسیاری از سازندگان استورج گران قیمت مانند EMC و NetApp با لیسانس های گران قیمت به مشتریان خود می فروشند. این فایل سیستم به قدری پیشرفته است که بسیاری از متخصصین در StorageMojo و AnandTech پیش بینی کرده اند که تاثیر زیادی در بازار استورج خواهد داشت.

تاریخچه مختصر zfs

zfs به عنوان بخشی از سیستم عامل sun solaris طراحی شد. کسانی که با عرصه سیستمهای *nix آشنا هستند می داند که سه شاخه اصلی از این سیستم ها وجود دارد. سیستم های اپن سورس مبتنی بر لینوکس، سیستم های اپن سورس مبتنی بر یونیکس، مثل freeBSD, NetBSD و سیستم های یونیکس تجاری، مانند SUN Solaris یا HP AIX.

zfs به عنوان بخشی از سیستم عامل سولاریس در سال 2001 طراحی شد و بعد از اینکه سان تصمیم به سورس باز کردن سولاریس گرفت، zfs هم به عنوان بخشی از آن بصورت سورس باز ارائه شد. بعد از اینکه اوراکل سان را خرید تا مدتی به ارائه سولاریس بصورت سورس باز ادامه داد، ولی از سولاریس 11 اوراکل مجددا لیسانس سولاریس و به تبع آن zfs را بست و انحصاری خودش کرد، اما انشعاب های سورس باز سولاریس، در قالب پروژه illumos به کار خود ادامه دادند.

ادامه‌ی خواندن→

علی حاج محمد حسینی

متخصص در زمینه سیستم های استورج، استریمینگ و برودکست

xeta.ir/

مقدمه

همانطوری که من بارها گفته ام، تفاوت مرسدس بنز و در پیکان در تعداد چرخ آنها نیست، بلکه در این است که این چرخها با چه دقتی طراحی شده اند و کار می کنند!
در تمامی رشته های کاری ریزه کاری های فراوانی وجود دارد که عدم توجه به آنها، باعث از کار افتادن محصول نمی شود، بلکه باعث بدتر کار کردن آن، و نرسیدن آن به کارآیی مطلوب می شود.
یکی از این موارد در عرصه سیستم های ذخیره ساز، مبحث partition alignment یا تنظیم شروع پارتیشن است.

چرا سکتور 4k

افرادی که با سیستم های ذخیره ساز سر و کار دارند، می دانند که پایین ترین واحد تقسیم اطلاعات روی یک هارددیسک، یک سکتور است. در واقع یک سکتور حداقل مقداری از اطلاعات است که هر هارددیسک در هر دور خواندن یا نوشتن روی آن کار می کند، و حتی زمانی که شما یک بایت از هارددیسک می خوانید یا می نویسید، حداقل یک سکتور آن خوانده یا نوشته می شود.

ادامه‌ی خواندن→

علی حاج محمد حسینی

متخصص در زمینه سیستم های استورج، استریمینگ و برودکست

xeta.ir/

در بخش قبلی ما ساختار فایل سیستم HDFS و نحوه پیاده سازی High availability در آن را بررسی کرده و به نحوه دسترسی به فایل های داخل آن پرداختیم. در این بخش ما به ما عملیات درونی read / write را بررسی می کنیم و به روش چیده شدن بلوک ها داخل کلاستر می پردازیم. علاوه بر این در این بخش ما بعضی ابزارهای hdfs را بررسی کرده و در مورد اینکه hdfs آیا به عنوان یک ذخیره ساز برودکست قابل استفاده است یا نه تصمیم می گیریم.

شکافتن داخل یک عملیات read

در یک عملیات read در HDFS ، کلاینت ابتدا با NameNode تماس گرفته و متادیتای فایل مورد نظر و آدرس نودهایی که بلوک های اطلاعات در آن ذخیره شده اند می گیرد. سپس کلاینت با دیتانود ها تماس گرفته و به ترتیب بلوک های فایل را از آنها می خواند. در مورد خواندن باید به موارد زیر توجه داشت:
عملیات خواندن بصورت عادی بصورت ترتیبی است. یعنی هر بلوک داده از یک نود خوانده شده و بعد از کامل شدن آن کلاینت به سراغ نود بعدی میرود. به عبارت دیگر با اینکه hdfs بصورت بالقوه امکان خواندن بلوک های مختلف از چندین نود بصورت پارالل برای افزایش سرعت را دارد، اما بصورت پیش فرض از آن استفاده نمی کند. برای استفاده از حالت کپی پارالل باید از distcp استفاده کرد که بعدا در مورد آن توضیح خواهیم داد.

ادامه‌ی خواندن→

علی حاج محمد حسینی

متخصص در زمینه سیستم های استورج، استریمینگ و برودکست

xeta.ir/

مقدمه

سرویس هادوپ آپاچی یکی از پایه های سیستم های distributed در قرن اخیر است که پایه بسیاری از کسب و کارهای بزرگ، مانند yahoo با ده هزار هسته cpu و facebook با 100 پتابایت اطلاعات بر روی آن قرار دارد. hadoop که اسم فیل اسباب بازی پسر یکی از توسعه دهندگان اصلی این سرویس بود، اکنون یکی از اسم های پر سر و صدای عرصه کامپیوتر امروز است.

یکی از بخش های مهم هادوپ، سیستم فایل آن است که به نام Hadoop Distributed File System یا بصورت خلاصه HDFS نامیده می شود. HDFS قابلیت های جالبی از جمله طراحی برای فایل های بسیار بزرگ، قابلیت replica گرفتن از فایل برای جلوگیری از دست رفتن آن، قابلیت کار روی سخت افزارهای عادی (commodity hardware) بدون نیاز به سخت افزارهای خاص و قابلیت توزیع شدن روی تعداد زیادی کامپیوتر و نمایش آنها بصورت یک سیستم واحد را دارد.

بسیاری از این قابلیت ها، قابلیت هایی هستند که می توانند برای سیستم های ذخیره سازی ویدئو بسیار مهم باشند. سیستم های ذخیره سازی ویدئو مخصوصا برای آرشیو، نیاز به ذخیره سازهای ارزان قیمتی دارند که که اهمیت حفظ فایل ویدئویی در آن بالاست و با فایل های بزرگ سر و کار دارد، و علاوه بر این از نظر اقتصادی استفاده از دیسک های SAN برای آنها مقرون به صرفه نیست.

ادامه‌ی خواندن→

علی حاج محمد حسینی

متخصص در زمینه سیستم های استورج، استریمینگ و برودکست

xeta.ir/

مقدمه

سیستم فایل GPFS یکی از سیستم فایل های بسیار مطرح دنیا در زمینه اشتراک دیسک های SAN است که به تازگی آزمون های استفاده از آن در اداره کل فنی سیاسی آغاز شده است. یکی از سوالاتی که در مورد این سیستم فایل و نحوه عملکرد آن مطرح است، بازدهی سرعت آن در هنگام کار تعداد زیادی از کاربران است، که ما در اینجا با ساخت یک سری کپی همزمان فایل سعی در شبیه سازی آن کرده ایم.

شرایط تست

در سیستم تست ما دو کنترلر وجود دارد که هر کدام دارای 4 اتصال FC چهار گیگابیت بر ثانیه هستند. دو سوییچ FC هم وجود دارد که از هر کنترلر دو اتصال FC به آنها برقرار شده است. به عبارت دیگر از هر کنترلر دو اتصال به سوییچ اول و دو اتصال به سوییچ دوم وجود دارد.

هر LUN تست ما از پنج عدد هارد دیسک FC ظرفیت 300 گیگابایت 10 هزار دور که با هم راید پنج بسته شده اند تشکیل شده است که هر لان در حدود یک ترابایت می شود. کل ولوم gpfs از شش عدد لان که یک پارتیشن GPFS نسخه 3.4 که در حالت استریپ و رپلیکا بسته شده است (با استریپ 3 و رپلیکا 2). این پارتیشن حجمی برابر 6 ترابایت دارد و از ترکیب شش LUN با همدیگر ساخته شده است.

ادامه‌ی خواندن→

علی حاج محمد حسینی

متخصص در زمینه سیستم های استورج، استریمینگ و برودکست

xeta.ir/

مقدمه

شاید تا کنون برای شما این سوال پیش آمده باشد که یک سیستم استورج چه پارامترهایی را داراست. بعد از شناسایی این پارامترها، سوال بعدی این است که چگونه می توان پارامترهای یک سیستم استورج را سنجید و آنرا ارزیابی کرد، و اینکه آیا ممکن است که هر سیستم استورجی را در محیط عملی زیر بار برد، مثلا 50 ادیتور غیر خطی همزمان به آن وصل کرد و بعد تازه بررسی کرد که آیا توانایی های لازم را دارد یا خیر؟

بخش مهمی از کار مهندسی simulation و emulation است. در بسیاری از موارد ما امکان انجام یک تست شرایط واقعی از یک سیستم را نداریم، و بنابراین سعی می کنیم آن شرایط واقعی را شبیه سازی کنیم تا پاسخ سیستم را در آن شرایط بررسی کنیم.
این کاری است که برنامه های filesystem benchmark tool انجام می دهند. این برنامه ها شرایط بارهای مختلفی که می توان روی سیستم استورج تحمیل کرد شبیه سازی می کنند تا مشخص شود که آن استورج چه توانایی هایی دارد.

ادامه‌ی خواندن→

علی حاج محمد حسینی

متخصص در زمینه سیستم های استورج، استریمینگ و برودکست

xeta.ir/

مقدمه

بیشتر آنچه که ما در دنیای کامپیوتر با آن برخورد می کنیم، در عین پیچیدگی زیاد، دارای راه حل های نسبتا ساده ای است. یکی از این موارد، هاردهای کامپیوتری هستند که گاهی پس از روشن و خاموش کردن کامپیوتر، دیگر شناخته نشده و به نظر می رسد که خراب شده اند و دیگر غیر قابل مصرف هستند.

یکی از این موارد که شخصا برای خود من اتفاق افتاد، یک هارد سیگیت مدل ST31000340AS یک ترابایت بود که یک بار سال 1389 از کار افتاد و برای تعمیر فرستاده شد. همانموقع تعمیرکار هارد گفته بود که این هاردها یک مشکل فرم ویری دارند که به خاطر آن از کار می افتند و البته ظاهرا به خاطر اینکه استخوان لای زخم بماند، با وجودی که هارد را تعمیر کرده بود، فرم ویر آنرا ارتقا نداده بود تا مشکل کاملا حل شود!

وقتی دوباره همین هارد در سال 91 از کار افتاد، ما آستین را بالا زدیم تا بفهمیم مشکل از کجاست.

ادامه‌ی خواندن→

علی حاج محمد حسینی

متخصص در زمینه سیستم های استورج، استریمینگ و برودکست

xeta.ir/