22 січня 2009 р. у НТУУ «КПІ» відбулося засідання Консультативної ради з питань інформатизації при Верховній Раді України за участю народних депутатів – членів Комітету Верховної Ради України з питань науки і освіти. Поважне зібрання, зокрема, розглянуло питання, що стосувалися проекту Державної цільової програми впровадження і застосування Грід-технологій в Україні (доповідач – академік НАН України А.Г.Загородній), а також Світового центру даних з геоінформатики та сталого розвитку – українського сегменту європейської й світової Грід-інтеграції (доповідач – академік НАН України М.З.Згуровський). А розпочалося засідання з презентації суперкомп'ютера НТУУ «КПІ» в українській Грід-мережі та його використання, що її провели проф. НТУУ «КПІ», д.т.н. А.І.Петренко та директор НВП «Юстар» В.В.Савяк.
Засідання, як і презентація, пройшли досить успішно. У присутності представників преси і телебачення було продемонстровано суттєві успіхи нашого університету у здійсненні проекту «Створення національної Грід-інфраструктури для підтримки наукових досліджень» Державної цільової програми «Інформаційні та комунікаційні технології в освіті й науці на 2006-2010 роки». За підсумками роботи наради було схвалено основні засади нової Державної програми з впровадження і застосування Грід-технологій в Україні.на 2009-2013 рр., замовниками якої виступили НАН України та Міністерство освіти і науки України.
Ми звернулися до проф. Анатолія Івановича Петренка, наукового керівника Центру суперкомп'ютерних обчислень, з проханням докладніше розповісти про згадані презентацію й засідання.
– На презентації прозвучало, що суперкомп'ютер НТУУ «КПІ» після останньої модернізації знову став найпотужнішим в Україні. Які його нинішні можливості?
– Ми провели вже три модернізації нашого кластеру, причому остання була найбільш значною. Судіть самі: продуктивність кластеру за прийнятими тестами зросла майже вдвічі і тепер складає 5,83 Тфлопс/с, тобто 5,83 мільярда операцій за секунду. Кластер Інституту кібернетики СКІТ-3 зі своїми 5,32 Тфлопс/с трохи поступився нашому. Але те, чий кластер – ІК НАНУ чи НТУУ «КПІ» – більш продуктивний, сьогодні для споживачів не має значення, адже вони обидва разом з іншими українськими кластерами об'єднані в одну вітчизняну Грід-мережу, завдання на обчислення в якій розподіляються автоматично менеджером ресурсів з урахуванням розміру задачі і наявності вільних обчислювальних ресурсів. Саме в цій віртуалізації ресурсів полягає одна з переваг побудованої Грід-інфраструктури.
– Розкажіть, будь ласка, про відмінності кластеру НТУУ «КПІ» від інших кластерів.
– Зазвичай кластери відрізняються, перш за все, процесорами, які в них використовуються. Кластер НТУУ «КПІ» налічує 44 вузли з двома чотириядерними процесорами Intel Xeon E5440 (2,83 ГГц та 8 Гб оперативної пам'яті в кожному) та 78 вузлів з двома двоядерними процесорами Intel Xeon 5160 (3,00 ГГц та 4 Гб оперативної пам'яті в кожному), тобто в цілому 624 обчислювальних ядра. При цьому використані мережа обміну даними InfiniBand й операційна система Linux CentOS release 5.2.
Приблизно на таких самих компонентах побудований кластер СКІТ-3 (50 процесорів Intel Xeon E5440 і 72 процесори Intel Xeon E5440) та інші кластери.
Першою відмінністю кластеру НТУУ «КПІ» є додаткова система з 128 ядрами, тобто з 16-ма восьмиядерними процесорами Intel Xeon E534 (2,33 ГГц, 8 Гб оперативної пам'яті та диском ємністю 500 Гб у кожному), на якій встановлено операційну систему MS Windows Server 2008 HPC Edition. Таким чином, вперше в Україні користувачам, які звикли до ОС Windows і відповідних прикладних програм, надається можливість застосовувати паралельні обчислення за допомогою програми розпаралелювання MS MPI 2.0.1551.
Другою відмінністю кластеру НТУУ «КПІ» є наявність апаратного прискорювача операцій. У рамках третьої модернізації обчислювального комплексу НТУУ «КПІ» створено обчислювальний модуль на базі ПЛІС (FPGA). Результати для вибраних алгоритмів показують доцільність використання цього типу обчислювальних модулів для виконання низки ресурсоємних задач.
– Хто і як обслуговує кластер? Чи є вже місцеві «фани» кластеру?
– Треба визнати, що на першому етапі розбудови Центру суперкомп'ютерних обчислень основна увага приділялася нарощуванню його обчислювальних потужностей. Протягом цього етапу в Центрі працювали переважно два співробітники: асистент кафедри СП к.т.н. С.Велічкевич (директор) і аспірант кафедри ОТ О.Аленін (головний інженер). З вересня 2008 р. до них приєдналися аспірант кафедри СП В.Чекалюк і магістр цієї ж кафедри В.Хондар. Вони працювали в тісному контакті зі співробітниками компанії «Юстар», з якими налагоджували системи кластеру. На нинішньому етапі більше уваги приділяється підвищенню ефективності використання ресурсів Центру суперкомп'ютерних обчислень у навчальній та науковій роботі університету (у складі Єдиного інформаційного середовища університету), створенню належних умов для співробітництва з науковими і освітніми організаціями, установами та підприємствами щодо спільного застосування обчислювальних ресурсів та сучасних інформаційних технологій. Для досягнення цього Центр суперкомп'ютерних обчислень включено до складу Конструкторського бюро інформаційних систем (далі КБ ІС), де зосереджені інші університетські обчислювальні ресурси і яким керує проф. А.Й.Савицький. КБ ІС і далі буде забезпечувати функціонування і розвиток кластеру та доступ до нього. Розширено також і склад самого Центру за рахунок доц. С.Г.Стиренка (теперішнього директора Центру) та ще одного представника кафедри ОТ. Таким чином, кластер обслуговували і обслуговують фахівці двох кафедр університету: системного проектування (СП) та обчислювальної техніки (ОТ). Вони на шляху до створення згуртованого, креативного і відповідального колективу, здатного вирішувати найскладніші сучасні завдання.
Звичайно, є і «фани» кластеру. Наприклад, викладачі кафедри СП доц. В.В.Ладогубець, асистенти О.Ю.Безносик і О.Д.Феногенов активно розробляють версію вітчизняної програми ALLTED для паралельних обчислень під час проектування нелінійних динамічних систем, включаючи мікроелектронно-механічні системи (МЕМС).
– Чи сформувався контингент користувачів кластеру? Що робиться для більш активного використання його можливостей?
– Це найбільш актуальне і болюче питання, яке визначається, на жаль, переважно підготовкою самих користувачів, їх обізнаністю з прикладним програмним забезпеченням для ОС Linux, яка є основною для суперкомп'ютерів і Грід-інфраструктур. Поки що для користувачів ми маємо систему розпаралелювання обчислень OpenMPI 1.2.8, компілятори C++: intel 10.1, gcc 4.1.2, прикладне ПЗ типу GROMACS 4.0.2 (аналізатор динаміки молекул), GEMESS (аналізатор структур кристалів), fftw 3.2 (бібліотека підпрограм для обчислення дискретного перетворення Фур'є). Включення нашого кластеру до Грід-інфраструктури дозволяє нашим клієнтам використовувати ППЗ типу MATHEMATIСA і GAUSSIAN (комплекс програм визначення орбітальної густини молекул), придбане Інститутом тео-
ретичної фізики для академічного сегменту Грід-інфраструктури.
Для прискорення впровадження послуг кластеру серед кафедр університету, наказом ректора додатково введено ще два напрями діяльності Центру: організації робіт із запровадження прикладного програмного забезпечення для вирішення складних науково-технічних задач (науковий керівник – д.т.н., проф. О.М.Новіков) і розвиток системного програмного, технічного та інформаційного забезпечення (науковий керівник – д.т.н., проф. Г.М. Луцький). Так що незабаром викладачі і студенти університету зможуть отримувати додаткові послуги, такі як консультації з існуючих прикладних програм для кластерів і розпаралелювання чи оптимiзацiї алгоритмів, послуги навчання паралельним мовам програмування і написання скриптів запуску, консультації з можливості запуску задач на кластері під ОС Windows додатково до використання ОС Linux та інше.
Сьогодні (окрім послуг через Грід-інфраструктуру) ми постійно обслуговуємо 78 користувачів, які офіційно зареєструвалися через наш сайт www.hpcc.org.ua. На жаль, найбільш активними є сторонні користувачі – з Інституту клітинної медицини і генетики (Київ), Інституту фізики конденсованих систем (Львів), Запорізького національного технічного університету та інші. Про поточне завантаження кластеру можна дізнатися через сайт http://hpcc.org.ua/ganglia/.
– Що Ви можете віднести до найбільш вагомих результатів виконання проекту з Грід?
– За два роки виконання проекту створено освітянський сегмент національної Грід-інфраструктури для використання в освітніх і дослідницьких цілях, зокрема, для навчання користувачів Грід. Розроблено робочу навчальну програму експериментальної дисципліни «Грід-технології в науці і освіті», для реалізації якої було підготовлено і видано у жовтні 2008 р. навчальний посібник «Вступ до Грід-технологій для науки і освіти» (автор – проф. А.І.Петренко). На базі цього посібника розроблено дистанційний курс «Вступ до Grid-технологій в науці і освіті», який розміщено на сайті http://moodle.kpi.ua.
Розроблено портал доступу SDGrid (www.sdgrid.org.ua) до Грід-інфраструктури як єдиної точки доступу користувачів до різнорідних інформаційних ресурсів і додатків. На базі порталу SDGrid розроблено віртуальну навчальну лабораторію для демонстрації і вивчення можливостей технологій Грід, до складу якої входять п'ять територіально-рознесених серверів: Web-сервер, сервер MyProXy, сервер CА (Сертифікаційний центр), НРС сервер обчислювального ресурсу, сервер моніторингу і резервного копіювання, призначений для збирання статистики про стан серверів навчальної Грід-системи.
– Ви перелічуєте здобутки, впроваджені в нашому університеті. А що вже отримали інші ВНЗ і громадяни України?
– Перш за все, реалізовано умови для регіональних університетів – учасників проекту (Харківський національний університет радіоелектроніки, Донецький національний політехнічний університет, Національний гірничий університет, Львівська політехніка, Запорізький національний технічний університет), які не володіють суперкомп'ютерами або великими кластерами, використовувати Грід-інфраструктуру і тим забезпечити можливість науковцям цих університетів у режимі віддаленого доступу вирішувати складні завдання, пов'язані з ресурсоємними обчисленнями і обробкою великих масивів даних, на кластері НТУУ «КПІ» чи інших кластерах в академічному сегмент і Грід-інфраструктури. По-друге, створений і розпочав у січні 2008 р. свою діяльність (у співпраці з європейською організацією EUGridPMA) Сертифікаційний центр відкритих ключів, відповідальний за реєстрацію національних Грід-ресурсів, реєстрацію віртуальних організацій і користувачів, за надання українським користувачам доступу до європейських ресурсів і сховищ даних (www.сa.ugrid.org). Також створено тримовний інформаційний сайт проекту (www.grid.kpi.ua), інформаційний ресурс якого вже перевищив 90 Мб. На ньому регулярно розміщується і обновляється інформація, яка висвітлює хід виконання проекту та містить навчальні матеріали. Подібні сайти створено і в регіональних ресурсних центрах, наприклад, у Харкові (www.grid.kture.kharkov.ua).
– Як відбувається взаємодія з компанією «Юстар»? Чи можна сьогодні говорити про вітчизняне кластеробудування?
– Можна почути думку, що створення кластерів сьогодні відбувається відповідно до «викруткової» технології (на зразок складання студентами персональних комп'ютерів з готових компонентів). Це так, у всьому світі кластери будуються з подібних компонентів. Але на відміну від персонального комп'ютера тут існує більше ступенів свободи, що дає простір для творчості й оптимальних рішень. Скажімо, всі котеджі будуються з подібних будівельних матеріалів: цеглин, дощок, черепиці, труб та іншого. Але готові будівлі відрізняються як своїм виглядом, так і умовами проживання – залежно від того, хто їх проектував і хто будував. Дуже приємно, що в Україні плідно працює молода компанія «Юстар», яка вже має свій підхід і стиль проектування, що базується на використанні найновітніших результатів в організації суперкомп'ютерних обчислень. З цією компанією, яку очолюють випускники КПІ, ми впевнено і швидко примножуємо свої обчислювальні можливості.
– Як результати діяльності Центру суперкомп'ютерних обчислень вплинули на формування другої Державної програми? Що можна очікувати від цієї програми?
– Я радий, що нині налагоджено плідну співпрацю з фахівцями Інституту теоретичної фізики, головної організації НАНУ з Грід-технологій. Триває реальне об'єднання існуючих сегментів наукової й освітньої обчислювальної та комунікаційної інфраструктури НАНУ і МОНУ в єдину Українську Національну Грід-ініціативу (UNGI), проект якої було підготовлено ще в серпні 2007 року і прийнято як складову європейських провідних проектів EGEE (Enabling Grids for E-sciencE) і EGI (European Grid Initiatives). НАНУ і МОНУ розробляли головні засади нової Державної програми з впровадження Грід-технологій, яка була озвучена 22 січня на згаданому вище засіданні Консультативної ради з питань інформатизації при Верховній Раді України.
Відповідно до нової програми на організації МОНУ припадає майже третина запланованих в Україні досліджень і розробок. Тут і спільні роботи з іншими відомствами з подальшого розвитку матеріально-технічної бази національної Грід-інфраструктури, й її інтегрування в міжнародний Грід-простір; і роботи з розроблення і впровадження технологій функціонування розподіленого обчислювального середовища з підтримкою широкого доступу до Грід-ресурсів; і дослідження засобів та методів забезпечення інформаційної безпеки для територіально розподілених обчислювальних систем; і розроблення та впровадження Грід-технологій в науково-технічну та соціально-економічну сфери діяльності шляхом створення Грід-додатків для розв'язання наукових, інженерних, промислових, медичних і соціально-економічних задач. При цьому організації МОНУ виступають провідними в розвитку засобів формування даних, їх збереження й інтелектуальної обробки, використання їх для створення різноманітних баз даних, які є елементами Грід-інфраструктури, і в підготовці кадрів для роботи в Грід-середовищі й застосування Грід-технологій в науці, освіті та інших галузях.
Так що нас очікує величезний обсяг досліджень і розробок, які мають суттєво змінити стан і умови наукової роботи в країні.
– Що б Ви хотіли сказати на завершення розмови?
– Хотів би зазначити, що розвиток Центру суперкомп'ютерних обчислень і Грід-технологій є лише складовими загальної стратегії інформатизації українського суспільства взагалі, і інформатизації діяльності нашого університету зокрема. Ця стратегія запропонована і розвивається в НТУУ «КПІ» під науковим керівництвом ректора університету академіка НАНУ М.З.Згуровського. Без його особистої допомоги та постійної уваги ректорату нам не вдалося б здійснити те, що зроблено. Хіба запрацював би освітянський сегмент національної Грід-інфраструктури без існування навчально-академічної мережі URAN і її підключення до європейської мережі GEANT-2, здійснених під керівництвом академіка НАН України Ю.І.Якименка? Хіба змогли б ми тричі провести тендери, необхідні на кожному етапі модернізації кластеру, без допомоги проф. В.І.Тимофєєва, проф. Г.Б.Варламова, Л.М.Субботіної та ін.? Хіба без допомоги проректора М.В.Печеника Центр суперкомп'ютерних обчислень мав би таке зручне і облаштоване приміщення?
Говорю це для того, щоб підкреслити причетність усього колективу університету до отриманого результату, адже вже сьогодні, завдяки об'єднанню ресурсів академічного й освітянського сегментів національної Грід-інфраструктури, відкриттю Сертифікаційного центру і зв'язку мереж URAN-GEANT-2 принципово забезпечено можливість підтримки міжнародної співпраці вітчизняних учених.