خانه / اخبار آی تی / ساخت بزرگترین پایگاه داده تاریخ در AWS

ساخت بزرگترین پایگاه داده تاریخ در AWS

رگولاتوری وال استریت، FINRA به دنبال ساخت پایگاه داده‌ای در فضای ابری AWS (سرویس وب آمازون)است که از آن به عنوان ”بزرگترین پایگاه داده تاریخ” یاد می‌شود.

FINRA یکی از سه پیشنهاد دهنده تائید شده برای ساخت ”دنباله ممیزی یکپارچه”ی هر واحد داد و ستد و سفارش‌های بازار مالی آمریکا در هر روز می‌باشد.

سیستم نظارت بر بازار طراحی شده است تا مقدار داده موجود برای بازرسی را افزایش دهد تا از اتفاقاتی مثل اتفاق ”Flash Crash” سال ۲۰۱۰ (که در آن میانگین سهام داوجونز نزدیک به ۱۰۰۰ واحد بالا و پایین شد و باعث ضرر چند میلیارد دلاری بازار در عرض چند دقیقه شد)، جلوگیری کنند.

کمیسیون بورس اوراق بهادار چراغ سبز را برای ساخت پایگاه داده، داده است. و یک کمیته از مبادلات سهام اینکه چه کسی ساخت این پایگاه داده تقریباً ۲.۴ میلیارد دلاری را در اوایل ۲۰۱۷ بر عهده خواهد داشت، انتخاب میکند.

چیزی که پیشنهاد FINRA را از سایر رقبا-مثل شرکت Fidelity National Information Services (FIS) که با سرویس ایری گوگل همکاری میکند- متمایز میسازد، این است که FINRA کارش را از قبل شروع کرده است.

FINRA یک ورژن از سیستم را برای خود ساخته است برای بزرگ‌تر کردن مقیاس آن آماده میباشد.

 

این پایگاه داده تا چه اندازه بزرگ است؟

 

FINRA به تنهایی ۷۵ میلیارد رکورد تراکنش را در هر روز جمع‌آوری و پردازش می‌کند.

اخیرا در جلسه نوآوری AWS، مدیر ارشد اطلاعات FINRA استیو راندیچ گفت که چیزی معادل آنچه ویزا و مسترکارت در شش ماه پردازش می‌کنند را تجسم کنید.

“همه این داده‌ها را طی هفته‌ها و ماه‌ها کنار هم بگذارید. ما درباره تریلیون‌ها رکورد (بیش از ۲۰ پتابایت) حرف میزنیم!!”

یک رگولاتور بی‌طرف مسئول اعمال قوانین کمیسیون اوراق بهادار روی بیش از ۹۰٪ بازار و ۶۰٪ بازار اوراق بهادار ایالات متحده می‌باشد.

در زمینه سرکوب کردن کلاه‌برداری و دستکاری بازار، میلی ثانیه‌ها نیز حیاتی می‌باشند. FINRA بایستی به طور اثربخشی قادر به برگرداندن کل شبکه معاملات در یک ترتیب زمانی منظم باشد. و با این حال همه ۳۷۸۶ شرکت اوراق بهادار و ۶۴۱۴۹۴ فروشندگان اوراق تحت نظارت آن قادر به ادامه کار با ساعت‌های کاری  متفاوت باشند.

بایستی داده‌های حداقل دو سال نگه داشته شوند، چون که شما هیچ وقت نمی‌دانید که کی کلاه‌برداری اتفاق می‌افتد.

مدیر فنی FINRA ، بریت شریور نیز گفت که حجم معاملات هر سال ۲۰٪ افزایش می‌یابد!!

 

مثل تعداد کمی جستجوی روزانه در گوگل

راندیچ میراث FINRA، راه حل فرضی برای برخورد با داده‌های نظارتی خود، را به این تشبیه کرد که “نیاز به تحقیق درباره چیزی و اینکه فقط بتوانید تنها تعداد کمی جستجوی گوگل در هر روز انجام دهید.”

منابع غیر منعطف و پردازش‌های دسته‌ای آن به این معنی می‌باشد که اگر تیم نظارت نیاز به آنالیز مجدد قسمتی از معاملات باشد، بایستی در یک صف درخواست فضای اضافی سیستم بمانند که ممکن است تا ماه‌ها طول بکشد.

اگر آنها واقعا نیازمند فضای اضافی هستند، بایستی سخت افزار جدیدی به دیتا سنترها اضافه کنند و برنامه‌هایشان را آخر هفته روی آن پیاده سازی کنند و امیدوار باشند که با شروع هفته بعد کارمان به صفحه اول مجله وال استریت نکشد.

هزینه‌های نگهداری به هشت رقم رسیده است و سازمان حدس زدن درباره اینکه چه اندازه حافظه ذخیره‌سازی در سالهای پیش رو خواهد داشت، را کنار گذاشته است.

پس وقتی FINRA وارد رقابت ساختن دنباله ممیزی یکپارچه شد، تصمیم گرفتن که به هر نحوی که هست آن را بسازد.

راندیچ اینگونه گفت که : ما می‌توانیم از این معماری برای پلتفرم نظارتی و پایگاه داده‌ی کنونی‌مان استفاده کنیم. پس گفتیم که “بیایید بسازیمش!!!”

در اواسط این سال FINRA یک پلتفرم جدید بر پایه ابزار Apache’s Spark، HBase و Hive با استفاده از Amazon EMR با AWS S3 به عنوان فضای ذخیره‌سازی اولیه‌اش ایجاد کرد.

راندیچ می‌گوید که : موقعی که رگولاتور تصمیم به حرکت به سوی فضای ابری و متن باز گرفت، با مخالفان سرسختی مواجه بودیم.”یکی از مدیران ارشد اجرایی رده بالای بزرگترین شرکت‌های تکنولوژی دنیا به من گفت که این کار متعلق به فضای ابری نبوده و به هیچ عنوان قرار نیست که این چنین اتفاقی بیفتد.”

ما سیلی از شرکت‌های دارای پایگاه داده اختصاصی داشتیم که یکی یکی نزد ما آمده و می‌گفتند که کار عاقلانه‌ای نیست، این کار اجرایی نمی‌شود، کار با این مقیاس امکان پذیر نیست.

“ما ثابت کردیم که همه آنها اشتباه می‌کردند.”

این تلاش برای FINRA ستایش از طرف مدیرعامل AWS، اندی جسی را به دنبال داشت که شرکت ما را یکی از بهترین‌های این زمینه در AWS در دنیای امروز خواند.

FINRA هم‌اکنون دو تریلیون ردیف داده در HBase دارد. عددی که تیم متخصصین ما انتظار دارند که رشد چشمگیری داشته باشد.

تاثیر این کار بسیار سریع بود. به طوری که هم‌اکنون پرس و جوی پایگاه داده، ۴۰۰ بار سریعتر به نتیجه میرسند.

از دیدگاه مالی، استفاده FINRA از قیمت لحظه‌ای AWS (مزایده EC2 ارزان ولی غیر قابل پیشبینی)، هزینه زیادی را صرفه جویی کرده است. طبق گفته شریور، پرس و جوهای غیرحساس به زمان می‌توانند در صف بمانند تا محاسبات ارزان در دسترس باشند.

وی گفت : ما می‌توانیم هر چیزی را با هر سرعتی که می‌خواهیم انجام دهیم. و این ورق بازی را به نفع FINRA برگردانده است تا ما بتوانیم با تقاضاها همگام شویم.

منبع

مطلب پیشنهادی

ورایزون به دنبال کاهش قیمت نهایی یاهو می‌باشد

ظاهرا شرکت ارتباطاتی ورایزون (Verizon) که قرار بود یاهو را در آینده‌ ای نزدیک خریداری …

پاسخ دهید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *