بایگانی نویسنده: علی حاج محمد حسینی

علی حاج محمد حسینی

درباره علی حاج محمد حسینی

متخصص در زمینه سیستم های استورج، استریمینگ و برودکست

معرفی فایل سیستم zfs، قابلیت ها و نقاط ضعف آن

مقدمه

فایل سیستم یکی از مهمترین بخش های هر سیستم استورج محسوب می شود، و zfs یکی از فایل سیستم هایی است که در چند سال اخیر سر و صدای بسیار زیادی کرده است. این فایل سیستم بسیار پیشرفته و شاید فراتر از زمان خود طراحی شده است و دارای قابلیت هایی است که بسیاری از سازندگان استورج گران قیمت مانند EMC و NetApp با لیسانس های گران قیمت به مشتریان خود می فروشند. این فایل سیستم به قدری پیشرفته است که بسیاری از متخصصین در StorageMojo و AnandTech پیش بینی کرده اند که تاثیر زیادی در بازار استورج خواهد داشت.

تاریخچه مختصر zfs

zfs به عنوان بخشی از سیستم عامل sun solaris طراحی شد. کسانی که با عرصه سیستمهای *nix آشنا هستند می داند که سه شاخه اصلی از این سیستم ها وجود دارد. سیستم های اپن سورس مبتنی بر لینوکس، سیستم های اپن سورس مبتنی بر یونیکس، مثل freeBSD, NetBSD و سیستم های یونیکس تجاری، مانند SUN Solaris یا HP AIX.

zfs به عنوان بخشی از سیستم عامل سولاریس در سال 2001 طراحی شد و بعد از اینکه سان تصمیم به سورس باز کردن سولاریس گرفت، zfs هم به عنوان بخشی از آن بصورت سورس باز ارائه شد. بعد از اینکه اوراکل سان را خرید تا مدتی به ارائه سولاریس بصورت سورس باز ادامه داد، ولی از سولاریس 11 اوراکل مجددا لیسانس سولاریس و به تبع آن zfs را بست و انحصاری خودش کرد، اما انشعاب های سورس باز سولاریس، در قالب پروژه illumos به کار خود ادامه دادند.

ادامه‌ی خواندن

partition alignment چیست و چرا باید آنرا حتما رعایت کرد؟

مقدمه

همانطوری که من بارها گفته ام، تفاوت مرسدس بنز و در پیکان در تعداد چرخ آنها نیست، بلکه در این است که این چرخها با چه دقتی طراحی شده اند و کار می کنند!
در تمامی رشته های کاری ریزه کاری های فراوانی وجود دارد که عدم توجه به آنها، باعث از کار افتادن محصول نمی شود، بلکه باعث بدتر کار کردن آن، و نرسیدن آن به کارآیی مطلوب می شود.
یکی از این موارد در عرصه سیستم های ذخیره ساز، مبحث partition alignment یا تنظیم شروع پارتیشن است.

چرا سکتور 4k

افرادی که با سیستم های ذخیره ساز سر و کار دارند، می دانند که پایین ترین واحد تقسیم اطلاعات روی یک هارددیسک، یک سکتور است. در واقع یک سکتور حداقل مقداری از اطلاعات است که هر هارددیسک در هر دور خواندن یا نوشتن روی آن کار می کند، و حتی زمانی که شما یک بایت از هارددیسک می خوانید یا می نویسید، حداقل یک سکتور آن خوانده یا نوشته می شود.

ادامه‌ی خواندن

بررسی فایل سیستم HDFS از Apache Hadoop و امکان سنجی استفاده از آن به عنوان یک ذخیره ساز برودکست – بخش دوم

در بخش قبلی ما ساختار فایل سیستم HDFS و نحوه پیاده سازی High availability در آن را بررسی کرده و به نحوه دسترسی به فایل های داخل آن پرداختیم. در این بخش ما به ما عملیات درونی read / write را بررسی می کنیم و به روش چیده شدن بلوک ها داخل کلاستر می پردازیم. علاوه بر این در این بخش ما بعضی ابزارهای hdfs را بررسی کرده و در مورد اینکه hdfs آیا به عنوان یک ذخیره ساز برودکست قابل استفاده است یا نه تصمیم می گیریم.

شکافتن داخل یک عملیات read

در یک عملیات read در HDFS ، کلاینت ابتدا با NameNode تماس گرفته و متادیتای فایل مورد نظر و آدرس نودهایی که بلوک های اطلاعات در آن ذخیره شده اند می گیرد. سپس کلاینت با دیتانود ها تماس گرفته و به ترتیب بلوک های فایل را از آنها می خواند. در مورد خواندن باید به موارد زیر توجه داشت:
عملیات خواندن بصورت عادی بصورت ترتیبی است. یعنی هر بلوک داده از یک نود خوانده شده و بعد از کامل شدن آن کلاینت به سراغ نود بعدی میرود. به عبارت دیگر با اینکه hdfs بصورت بالقوه امکان خواندن بلوک های مختلف از چندین نود بصورت پارالل برای افزایش سرعت را دارد، اما بصورت پیش فرض از آن استفاده نمی کند. برای استفاده از حالت کپی پارالل باید از distcp استفاده کرد که بعدا در مورد آن توضیح خواهیم داد.

ادامه‌ی خواندن

بررسی فایل سیستم HDFS از Apache Hadoop و امکان سنجی استفاده از آن به عنوان یک ذخیره ساز برودکست – بخش اول

مقدمه

سرویس هادوپ آپاچی یکی از پایه های سیستم های distributed در قرن اخیر است که پایه بسیاری از کسب و کارهای بزرگ، مانند yahoo با ده هزار هسته cpu و facebook با 100 پتابایت اطلاعات بر روی آن قرار دارد. hadoop که اسم فیل اسباب بازی پسر یکی از توسعه دهندگان اصلی این سرویس بود، اکنون یکی از اسم های پر سر و صدای عرصه کامپیوتر امروز است.

یکی از بخش های مهم هادوپ، سیستم فایل آن است که به نام Hadoop Distributed File System یا بصورت خلاصه HDFS نامیده می شود. HDFS قابلیت های جالبی از جمله طراحی برای فایل های بسیار بزرگ، قابلیت replica گرفتن از فایل برای جلوگیری از دست رفتن آن، قابلیت کار روی سخت افزارهای عادی (commodity hardware) بدون نیاز به سخت افزارهای خاص و قابلیت توزیع شدن روی تعداد زیادی کامپیوتر و نمایش آنها بصورت یک سیستم واحد را دارد.

بسیاری از این قابلیت ها، قابلیت هایی هستند که می توانند برای سیستم های ذخیره سازی ویدئو بسیار مهم باشند. سیستم های ذخیره سازی ویدئو مخصوصا برای آرشیو، نیاز به ذخیره سازهای ارزان قیمتی دارند که که اهمیت حفظ فایل ویدئویی در آن بالاست و با فایل های بزرگ سر و کار دارد، و علاوه بر این از نظر اقتصادی استفاده از دیسک های SAN برای آنها مقرون به صرفه نیست.

ادامه‌ی خواندن

بررسی بازدهی عملی یک پارتیشن GPFS به روش کپی فایل های متعدد همزمان توسط dd لینوکس

مقدمه

سیستم فایل GPFS یکی از سیستم فایل های بسیار مطرح دنیا در زمینه اشتراک دیسک های SAN است که به تازگی آزمون های استفاده از آن در اداره کل فنی سیاسی آغاز شده است. یکی از سوالاتی که در مورد این سیستم فایل و نحوه عملکرد آن مطرح است، بازدهی سرعت آن در هنگام کار تعداد زیادی از کاربران است، که ما در اینجا با ساخت یک سری کپی همزمان فایل سعی در شبیه سازی آن کرده ایم.

شرایط تست

در سیستم تست ما دو کنترلر وجود دارد که هر کدام دارای 4 اتصال FC چهار گیگابیت بر ثانیه هستند. دو سوییچ FC هم وجود دارد که از هر کنترلر دو اتصال FC به آنها برقرار شده است. به عبارت دیگر از هر کنترلر دو اتصال به سوییچ اول و دو اتصال به سوییچ دوم وجود دارد.

هر LUN تست ما از پنج عدد هارد دیسک FC ظرفیت 300 گیگابایت 10 هزار دور که با هم راید پنج بسته شده اند تشکیل شده است که هر لان در حدود یک ترابایت می شود. کل ولوم gpfs از شش عدد لان که یک پارتیشن GPFS نسخه 3.4 که در حالت استریپ و رپلیکا بسته شده است (با استریپ 3 و رپلیکا 2). این پارتیشن حجمی برابر 6 ترابایت دارد و از ترکیب شش LUN با همدیگر ساخته شده است.

ادامه‌ی خواندن

معرفی IOzone ابزار تست سیستم های ذخیره ساز و نحوه کار با آن

مقدمه

شاید تا کنون برای شما این سوال پیش آمده باشد که یک سیستم استورج چه پارامترهایی را داراست. بعد از شناسایی این پارامترها، سوال بعدی این است که چگونه می توان پارامترهای یک سیستم استورج را سنجید و آنرا ارزیابی کرد، و اینکه آیا ممکن است که هر سیستم استورجی را در محیط عملی زیر بار برد، مثلا 50 ادیتور غیر خطی همزمان به آن وصل کرد و بعد تازه بررسی کرد که آیا توانایی های لازم را دارد یا خیر؟

بخش مهمی از کار مهندسی simulation و emulation است. در بسیاری از موارد ما امکان انجام یک تست شرایط واقعی از یک سیستم را نداریم، و بنابراین سعی می کنیم آن شرایط واقعی را شبیه سازی کنیم تا پاسخ سیستم را در آن شرایط بررسی کنیم.
این کاری است که برنامه های filesystem benchmark tool انجام می دهند. این برنامه ها شرایط بارهای مختلفی که می توان روی سیستم استورج تحمیل کرد شبیه سازی می کنند تا مشخص شود که آن استورج چه توانایی هایی دارد.

ادامه‌ی خواندن

معرفی سیستم FAST LTA برای آرشیو اطلاعات روی هارد دیسک

مقدمه

تا کنون بحث های زیادی در مورد مدیای آرشیو در سازمان های برودکست شده است. در مورد مدیای آرشیو برودکست سوالات زیادی وجود دارد، مثل اینکه:

  • مدیای آرشیو باید آنالوگ یا دیجیتال باشد؟
  • باید نوار یا رسانه های نوری (مثل blue-ray) باشد؟
  • اگر نوار است باید LTO یا SDLT یا SAIT یا مدل های دیگر باشد؟

که خود اینها ناشی از پارامترهای مختلفی مانند قیمت، طول عمر، راحتی دسترسی، ظرفیت و خیلی مسائل دیگر است.

اما بصورت معمول یکی از مدیاهایی که معمولا در این مقایسه ها در نظر گرفته نمی شود، هارد دیسک است.

با وجود اینکه ما بیشتر از هر مدیای دیگری با هارد دیسک سر و کار داریم، و قیمت هارد دیسک هم نسبت به بسیاری از مدیاهای دیگر بسیار ارزانتر، و دسترسی به آنهم بسیار راحت تر است، اما معمولا به دلایل زیر یک مدیای آرشیوی دیده نمی شود:

ادامه‌ی خواندن

روش تعمیر هاردهای سیگیت با مشکل فرم ویر

مقدمه

بیشتر آنچه که ما در دنیای کامپیوتر با آن برخورد می کنیم، در عین پیچیدگی زیاد، دارای راه حل های نسبتا ساده ای است. یکی از این موارد، هاردهای کامپیوتری هستند که گاهی پس از روشن و خاموش کردن کامپیوتر، دیگر شناخته نشده و به نظر می رسد که خراب شده اند و دیگر غیر قابل مصرف هستند.

یکی از این موارد که شخصا برای خود من اتفاق افتاد، یک هارد سیگیت مدل ST31000340AS یک ترابایت بود که یک بار سال 1389 از کار افتاد و برای تعمیر فرستاده شد. همانموقع تعمیرکار هارد گفته بود که این هاردها یک مشکل فرم ویری دارند که به خاطر آن از کار می افتند و البته ظاهرا به خاطر اینکه استخوان لای زخم بماند، با وجودی که هارد را تعمیر کرده بود، فرم ویر آنرا ارتقا نداده بود تا مشکل کاملا حل شود!

وقتی دوباره همین هارد در سال 91 از کار افتاد، ما آستین را بالا زدیم تا بفهمیم مشکل از کجاست.

ادامه‌ی خواندن

معرفی سیستم ذخیره ساز ساخته شده توسط شرکت BlackBlaze

مهم: اصل انگلیسی این مطلب توسط آقای میرزابیگی پیدا شده است و از آنجایی که سیستم بسیار جالبی را با توضیحات خوبی ارائه میدهد جای تشکر از ایشان دارد. من خلاصه فارسی آنرا تهیه کرده ام.

علاوه بر این ارقام و قیمتهای ارائه شده مربوط به سال 2009 است، و به عنوان مثال اکنون که در سال 2014 هستیم و قیمت هارد 3 ترابایت برابر قیمت هارد 1.5 ترابایت در سال 2009 شده است، هر pod می تواند 135 ترابایت ظرفیت با همان قیمت داشته باشد.

مقدمه

مقاله Petabytes on a budget: How to build cheap cloud storage مقاله بسیار جالبی است که روش ساخت نوعی سیستم استورج با حجم بسیار بالا (45 عدد هارد در هر کیس 4U) و هزینه بسیار پایین (8000 دلار به ازای هر سیستم با احتساب قیمت هارد!) را توضیح می دهد.

ادامه‌ی خواندن

معرفی دیتاسنتر مایکروسافت در شیکاگو و تکنولوژی به کار رفته در آن

مقدمه

جرقه نوشتن این مطلب از آنجا زده شد که خیلی ها 6-7 عدد راک نصب شده در سرورروم خود را دیتاسنتر خطاب میکنند! بنابراین برای آشنایی با آنچه در دنیا دیتاسنتر نامیده می شود، و ابعاد آن، بهتر است سری به یک دیتاسنتر واقعی بزنیم.

معرفی دیتاسنتر مایکروسافت در شیکاگو

دیتاسنتر مایکروسافت در شیکاگو یکی از بزرگترین پروژه های دیتاسنتر جهان محصوب می شود. هزینه ساخت این دیتاسنتر 500 میلیون دلار آمریکا شده است و مساحت آن 65 هزار متر مربع است.

این دیتاسنتر قابلیت نگهداری سیصد هزار سرور را دارد و نکته جالب توجه این است که برای نگهداری این سیصد هزار سرور، فقط 30 تا 45 نفر پرسنل (که شامل پرسنل حراست هم می شود) وجود دارد!

ادامه‌ی خواندن