In cadrul proiectului SEE-GRID-SCI o componenta importanta a fost cea legata de activitatea de diseminare si training, astfel ca fiecare partener din proiect a organizat cel putin un seminar, workshop sau training pentru aplicatia dezvoltata, sau pentru diseminarea rezultatelor obtinute. Lista evenimentelor de training si de diseminare desfasurate pana acum este gestionata de catre SZTAKI, si poate fi consultata aici:

http://seegrid3.lpds.sztaki.hu/indico/

Vineri, 12 martie 2010, a fost organizat la UPB un training pentru administatorii de site grid. Agenda evenimentului este mai jos:

Agenda training administratori site grid

Acest eveniment si-a propus in primul rand sa familiarize noii administratori de site cu metoda de instalare a middleware-ului grid gLite folosind YAIM, cu aplicatiile de monitorizare ale infrastructurii grid si cu procedurile operationale din cadrul proiectelor SEE-GRID-SCI si EGEE.

Prezentarea “Site installation and upgrade” de Alexandru Stanciu (ICI) a fost urmata de o parte practica in care s-a utilizat infrastructura VO-ului GridMOSI, respectiv obtinerea unui certificat de la CA-ul GridMOSI, inregistrarea in VO, si apoi instalarea serviciior grid cum ar fi UI, DPM, CreamCE si WN.

Celelalte prezentari ale training-ului au constat intr-o introducere “optimista” in grid computing, realizata de Prof. Nicolae Tapus (UPB), prezentarea proiectului SEE-GRID-SCI realizata de Dr. Gabriel Neagu (ICI), prezentarea RomanianGRID CA, realizata de Cosmin Nistor (ROSA), si prezentarea instrumentelor de monitorizare si adminsitrare site, realizata de Alexandru Herisanu (UPB).

October 13th, 2009 | Tags: , , ,

Un nou instrument care faciliteaza comunicarea si colaborarea in cadrul proiectelor curente in care participa ICI Bucuresti este disponibil din acest moment membrilor Organizatiei Virtuale GridMOSI si altor utilizatori interesati. Astfel, pentru a putea comunica mai usor si mai repede, si deasemenea, pentru a avea un mediu colaborativ cu aplicatii precum instant messaging, liste de discutii, forum, calendar, contacte, liste de activitati, partajarea documentelor, am instalat o noua aplicatie, GridMOSI Forum.

GridMOSI Forum bazat pe Citadel

GridMOSI Forum bazat pe Citadel

Aceasta aplicatie, bazata pe Citadel, ofera facilitatile mentionate mai sus, inclusiv ofera membrilor sai conturi de email ce pot fi accesate prin intermediul unui client de email obisnuit. Toate mesajele care sunt postate in cadrul acestui sistem sunt disponibile prin intermediul protocolului IMAP. Spre exemplu, am creat contul “alexs”, si apoi am adaugat in cadrul clientului de email un nou cont cu urmatoarele date:

  • server imap: for.gridmosi.ro
  • username: alexs
  • password: *******

Astfel, contul de email “alexsNOSPAMfor.gridmosi.ro”, creat in cadrul sistemului poate fi folosit pentru a trimite si a primi email-uri, ca un cont de email obisnuit. Acest sistem de comunicare, ce poate fi considerat a fi si un mediu colaborativ, poate fi structurat in “camere” de discutie ce sunt similare cu listele de discutii, astfel ca, toate mesajele trimise in cadrul unei camere sunt distribuite tuturor membrilor sai si celor care au subscris pentru a primi mesaje. Nu este strict necesar ca o persoana sa se inregistreze, si sa isi creeze un cont in sistem pentru a primi mesaje, ci se poate subscrie cu o adresa de email la camera/lista de interes, aici. Camerele de discutie sunt organizate pe “etaje/nivele” sau categorii de interes, aplicatia fiind structurata pe urmatoarele nivele:

  • Deployment: pentru discutii legate de implementarea infrastructurii hardware&software, spre exemplu proiectul de fonduri structurale POSCCE223, astfel in cadrul acestui nivel a fost creata o camera numita “POSCCE223″
  • Operations: pentru discutii si anunturi legate de activitatile specifice administrarii, monitorizarii si operarii infrastructurii. Aici este camera EGEE-SA1, similara cu lista de discutii egee-sa1NOSPAMrogrid.ro sau gridopsNOSPAMrogrid.ro
  • Applications: pentru discutii legate de utilizarea aplicatiilor specifice infrastructurii de calcul distribuite de tip Grid, aici incluzand activitatile de suport, de gridificare si portare de noi aplicatii si discutii legate de utilizarea middleware-ului Grid.

Astfel, camerele de discutii actuale pot fi utilizate trimitand un email catre urmatoarele adrese: - poscce223NOSPAMfor.gridmosi.ro – egee-sa1NOSPAMfor.gridmosi.ro – gridificationNOSPAMfor.gridmosi.ro – middlewareNOSPAMfor.gridmosi.ro – supportNOSPAMfor.gridmosi.ro Mesajele sunt pastrate si prezentate ca un forum ce este accesibil online. Aceste nivele sau domenii pot fi imbunatatite, pot fi adaugate altele noi sau modificate cele actuale, de asemenea, se pot crea noi camere de discutii (grupuri sau liste de discutii) daca este nevoie. Am incercat sa creez o structura bazata pe domeniile functionale, respectiv orientata catre principalele activitati desfasurate in cadrul proiectelor curente in domeniul Grid, ca suport, sub forma unui mediu colaborativ, independent de proiect. Desigur ca anumite proiecte necesita camere de discutii specifice, ce pot fi create cu anumite limitari de acces cum ar fi protejarea prin parole, invitatii sau camere secrete. Alte functionalitati importante si utile oferite de acest sistem sunt:

  • Comunicarea in timp real, prin intermediul protocolului Jabber, astfel ca, membrii inregistrati pot schimba mesaje instant sau pot discuta in cadrul unui chat-room. Este foarte util atunci cand problemele se pot rezolva punctual foarte rapid. Pentru aceasta nu este neceara  decat logarea in cadrul site-ului si imediat se pot schimba mesajele.
  • Crearea si utilizarea calendarelor pentru a programa activitati si evenimente. In plus, acestea pot fi sincronizate cu alte aplicatii client cum ar fi Thunderbird/Outlook folosind protocoalele IMAP si GroupDAV.
  • Crearea si utilizarea de task-uri pentru managementul activitatilor. Asemeni Calendarului acestea pot fi sincronizate cu alte aplicatii client prin intermediul protocolului GroupDAV.

In final as vrea sa explic situatia actualelor liste de discutii si a serverului Jabber, acestea fiind utilizate pana acum ca instrumente suport pentru comunicare. Astfel, serverul jabber.rogrid.ro, va fi inlocuit de modulul de comunicare online din Citadel, ce este bazat tot pe Jabber, insa listele de discutii actuale vor fi folosite in continuare, cel putin pana la finalizarea proiectelor pentru care au fost create. Aceasta noua aplicatie este intentionata a fi un complement pentru acestea, si nu are scopul de a le inlocui.

June 14th, 2009 | Tags: , ,

A fost publicat raportul referitor la performantele site-urilor grid din cadrul infrastructurii EGEE vis-a-vis de cerintele SLA de 70% Availability si 75% Reliability. Acesta este disponibil aici.

Rapoartele lunare sunt publicate aici:

https://edms.cern.ch/document/963325/

iar cele intermediare, care mai pot suferi mici corectii, se pot genera automat aici:

http://gvdev.cern.ch/GVPC/Excel/

De asemenea, pentru a vedea exact cum este monitorizat un site grid, se poate utiliza aplicatia GRIDVIEW, ce este disponibila aici:

http://gridview.cern.ch/GRIDVIEW/dt_index.php

Programul Operaţional Sectorial „Creşterea Competitivităţii Economice”
Proiect finanţat prin Fondul European de Dezvoltare Regională

9.06.2009


Dezvoltarea site-ului RO-01-ICI ca nod în infrastructura naţională Grid pentru cercetare


Institutul Naţional de Cercetare-Dezvoltare în Informatică – ICI Bucureşti, în calitate de beneficiar, derulează, începând cu data de 11.05.2009, proiectul intitulat “Dezvoltarea site-ului RO-01-ICI ca nod în infrastructura naţională Grid pentru cercetare / RO-01-ICI_v2“, în baza contractului pentru acordarea finanţării nerambursabile încheiat cu Autoritatea Naţională pentru Cercetare Ştiinţifică, în calitate de Organism Intermediar, în numele şi pentru Ministerul Economiei şi Finanţelor în calitate de Autoritate de Management pentru Programul Operaţional Sectorial “Creşterea Competitivităţii Economice”. Valoarea totală a proiectului este de 2.268.368 lei, din care asistenţa financiara nerambursabilă solicitată este de 1.997.760 lei.

Site-ul RO-01-ICI funcţionează în regim de producţie din anul 2004, în infrastructurile Grid pentru cercetare la nivel european (EGEE) şi regional (SEE-GRID).

Obiectivul principal al proiectului îl constituie upgrade-ul site-ului Grid RO-01-ICI, în vederea îmbunătăţirii calităţii şi performanţei resurselor şi serviciilor Grid oferite utilizatorilor. In acest sens, se au în vedere: extinderea capacităţii de calcul şi de stocare, achiziţionarea de licenţe software pentru dezvoltatorii şi utilizatorii de aplicaţii ştiinţifice, amenajarea unui spaţiu tehnologic cu dotări de tip data-center, dezvoltarea unei aplicaţii de asistare inteligentă a operării la nivel de site şi infrastructură Grid.

Autoritatea contractantă: Autoritatea Naţională pentru Cercetare Ştiinţifică.
Persoana de contact: Neagu Gabriel, Şef serviciu cercetare, ICI Bucureşti, tel. 021-316.12.56, fax: 021-316.10.30, e-mail: gneagu@ici.ro.

Initiativa Nationala Grid, sau National Grid Initiative (NGI). acesta este cuvantul care se “asorteaza” cel mai bine cu EGI.
Initiativa Nationala Grid – o organizatie care opereaza infrastructura grid dintr-o tara, ca de exemplu HellasGrid in Grecia, sau ItalianGrid in Italia, – in Romania, RoGrid poate fi considerat ca fiind un NGI.

Seria de proiecte EGEE si evolutia catre EGI

Seria de proiecte EGEE si evolutia catre EGI

Aceste NGI-uri s-au format in urma seriilor de proiecte EU FP5, FP6 si FP7, cum ar fi EU DataGrid, seriile de proiecte EGEE1, 2 si 3, sau seriile de proiecte SEE-GRID1, SEEGRID2, si SEE-GRID-SCI, care au inclus zona Balcanilor si au extins infrastructura grid in jurul Marii Negre, incluzand noi tari cum ar fi Armenia si Georgia.

Astfel, in cazul Romaniei, in prima serie de proiecte grid EGEE1 si SEE-GRID1 (2004-2006) s-a reusit instalarea si includerea in cadrul infrastructurii grid europene a urmatoarelor site-uri: RO-01-ICI :: Institutul National de Cercetare – Dezvoltare in Informatica – ICI Bucuresti, RO-02-NIPNE :: Institutul National de Cercetare-Dezvoltare pentru Fizica si Inginerie Nucleara “Horia-Hulubei”, RO-03-UPB :: Universitatea Politehnica Bucuresti, NIHAM sau RO-04-NIPNE :: Institutul National de Cercetare-Dezvoltare pentru Fizica si Inginerie Nucleara “Horia-Hulubei”, RO-05-INCAS :: Institutul National de Cercetare-Dezvoltare Aerospatiala “Elie Carafoli” – INCAS Bucuresti, si RO-07-NIPNE :: Institutul National de Cercetare-Dezvoltare pentru Fizica si Inginerie Nucleara “Horia-Hulubei”.

Numele folosite pentru aceste site-uri grid este specific zonei Sud-Est Europe, fiind aplicat atat de catre Federatia Sud-Est Europeana din proiectele EGEE, cat si in cadrul proiectelor SEE-GRID, si respecta protocolul conform caruia numele unui site este dat de acronimul institutiei din care face parte, la care se adauga un prefix format din codul tarii (i.e. ISO) si un numar serial care reprezinta ordinea de inregistrare a site-urilor ( aceasta fiind data de momentul la care un site este instalat si configurat si solicita inregistrarea ), astfel incat sa se asigure unicitatea numelui unui site in aceasta zona operationala, si in plus sa fie usor de retinut si utilizat.

In cea de a doua serie de proiecte EGEE2 si SEE-GRID2, la care se adauga si proiectul GridMOSI (2006 – 2008), – ce a avut si un rol similar cu acela al proiectului SEE-GRID2 raportat la EGEE2 -, respectiv de a extinda infrastructura grid in Romania, si de a incuba noi site-uri grid, au fost activate urmatoarele site-uri: RO-06-UNIBUC :: Universitatea din Bucuresti, RO-08-UVT :: Universitatea de Vest Timisoara, RO-09-UTCN :: Universitatea Tehnica Cluj-Napoca, RO-10-TUIASI :: Universitatea Tehnica “Gheorghe Asachi” din Iasi, RO-11-NIPNE :: Institutul National de Cercetare-Dezvoltare pentru Fizica si Inginerie Nucleara “Horia-Hulubei” si RO-12-ICI :: Institutul National de Cercetare – Dezvoltare in Informatica – ICI Bucuresti.

Ar trebui mentionat faptul ca seria de proiecte SEE-GRID1 si 2, a avut ca strategie incubarea site-urilor grid mici in cadrul infrastructurii regionale, si apoi, in momentul in care acestea capatau experienta si erau stabile din punct de vedere operational, migrarea acestora in cadrul infrastructurii extinse operate de catre EGEE.

In ultima serie de proiecte SEE-GRID-SCI si EGEE3 au fost instalate si inregistrate in cadrul infrastructurii de productie site-urile: RO-13-ISS :: Institutul de Stiinte Spatiale, RO-14-ITIM :: Institutul National de Cercetare-Dezvoltare pentru Tehnologii Izotopice si Moleculare si RO-15-NIPNE :: Institutul National de Cercetare-Dezvoltare pentru Fizica si Inginerie Nucleara “Horia-Hulubei”.

Mai jos, in Google Maps, au fost marcate, si se pot accesa paginile detaliate pentru aceste site-uri din sistemul de informatii:


View RO NGI in a larger map

In legatura cu infrastructura grid a proiectului EGEE3, respectiv a seriei de proiecte EGEE, ar trebui mentionat faptul ca un catalizator deosebit de important l-a constituit experimentul LHC condus de catre CERN.

Astfel, in Romania, colaborarea cu CERN in cadrul Organizatiilor Virtuale LHC, respectiv Alice, Atlas si LHCb, si nu numai, a implicat un efort deosebit mai ales pentru site-urile grid administrate de catre IFIN, ISS, ITIM si UPB si ICI care au fost sustinute si de asemenea trebuie sa raspunda cerintelor Memorandumului in baza caruia a fost constituita Romanian Tier2 Federation si care participa in cadrul proiectului WLCG – The Worldwide LHC Computing Grid.

Un alt element important il constituie middleware-ul grid utilizat. Astfel daca in cadrul proiectelor EGEE si SEE-GRID o cerinta specifica a fost aceea de a utiliza middleware-ul grid gLite de catre toate Organizatiile Virtuale, politica unor VO-uri in afara acestui proiect, a fost sa utilizeze middleware-ul grid care era cel mai eficient pentru cerintele proprii. Astfel ca, spre exemplu, Alice, a dezvoltat in continuare si a utilizat middleware-ul grid AliEn.

Specific fiecarui proiect de infrastructura grid sunt cerintele minime de disponibiliate a resurselor, a performantelor cerute, exprimate printr-un document de genul Service Level Description sau Service Level Agreement. Site-urile din Romania inregistrate in cadrul infrastructurii grid a proiectului EGEE trebuie sa conformeze SLA-ului EGEE.

Pentru site-urile SEE-GRID-SCI, care sunt marcate mai jos in Google Maps, aceste cerinte sunt mai relaxate, insa si pentru acest proiect exista un SLA ce trebuie respectat.


View RO SEE-GRID-SCI in a larger map

Toate site-urile romanesti operationale care participa in cadrul proiectului SEE-GRID-SCI sunt inregistrate si participa si in cadrul proiectului EGEE3, deasemenea si Organizatia Virtuala GridMOSI, care a fost inregistrata initial in cadrul infrastructurii EGEE, faca parte si din infrastructura regionala a proiectului SEE-GRID-SCI.

Este evident ca infrastructurile grid ale diferitelor proiecte se suprapun intr-o anumita masura, diferite site-uri grid fac parte fie din anumite proiecte, fie doar din unul, sau altul. De asemenea, Organizatiile Virtuale se pot constitui si pot utiliza resurse de calcul oferite de catre infrastructuri grid ale unor proiecte diferite, utilizand middleware-uri grid diferite.

Astfel, o Initiativa Nationala Grid nu este foarte usor de consituit si de operat. Si apoi, la un nivel superior, – Initiativa Grid Europeana. Respectiv, alegerea unui middleware grid comun, pe baza utilizarii standardelor stabilite in principal prin intermediul OGF – Open Grid Forum, a stabilirii structurilor operationale si de suport, etc. Si apoi, a politicii care guverneaza aceste organizatii.

Asa cum am anuntat mai intai pe Twitter, am activat monitorizarea infrastructurii grid a Organizatiei Virtuale GridMOSI utilizand aplicatia Ganglia.

Aceasta are cateva carecteristi deosebit de atragatoare pentru un sistem de monitorizare distribuit, putand grupa mai multe clustere (site-uri) ce formeaza o infrastructura grid, si prezentand apoi intr-un mod foarte intuitiv si eficient cele mai importante informatii referitoare la starea sistemelor monitorizate, cum ar fi incarcarea procesoarelor, traficul de retea, spatiul de stocare disponibil (si nu numai).

Fiecare site care face parte din VO-ul GridMOSI, respectiv RO-01-ICI, RO-03-UPB, RO-08-UVT si RO-09-UTCN, a instalat componenta ganglia-gmond pe fiecare nod din cadrul site-ului, iar pe o masina a instalat si configurat serviciul ganglia-gmetad, care are sarcina de agregare a informatiilor obtinute de la fiecare ganglia-gmond, astfel ca in cadrul fiecarui site grid exista o instanta a serviciului ce prezinta o imagine de ansamblu a starii sistemelor componente.

In plus, in cadrul site-ului RO-01-ICI, a fost configurata o instanta ganglia-gmetad ce are rolul de a integra toate instantele ganglia-gmetad disponibile in cadrul site-urilor grid ce formeaza infrastructura Organizatiei Virtuale GridMOSI, prezentand o imagine de ansamblu asupra intregii infrastructui grid.

Aceasta poate fi accesata aici:

http://wiki.gridmosi.ro/wiki/GridMOSI:Infra

Mai jos sunt prezentate cateva capturi de ecran care exemplifica performatele sistemului de monitorizare Ganglia,  respectiv calitatea deosebita a modului de prezentare a informatiilor.

Astfel, prima captura de ecran prezinta o imagine de ansamblu asupra intregii infrastructuri grid, in care sunt prezentate sintetic principale informatii despre site-urile grid:

ganglia-gridmosi1

O alta imagine de ansablu asupra intregii infrastructuri grid:

ganglia-gridmosi2

Asa cum am mentionat anterior, Ganglia poate oferi atat o imagine de ansamblu, cat si informatii detaliate referitoare la fiecare site grid (cluster), sau nod care este monitorizat cu ajutorul componentei ganglia-gmond.

Astfel, in mai jos sunt cateva capturi de ecran ce prezinta informatii detaliate pentru un site grid, cum ar fi RO-01-ICI:

ganglia-ici

sau RO-09-UTCN, din care se poate constata structurarea ierarhica in care a fost conceput acest sistem de monitorizare distribuit:

ganglia-utcn

Mai mult, daca sunt necesare anumite detalii referitoare la starea unui anumit nod (cum ar fi incarcarea procesorului in ultima ora, memoria ocupata, traficul de retea, spatiul de stocare disponibil, s.a), acestea se pot obtine cu usurinta:

ganglia-nod

Utilizarea acestui sistem de monitorizare este un prim pas catre realizarea unui centru de suport operational pentru infrastructura grid din Romania, care va fi necesar chiar in viitorul imediat deoarece in acest moment se afla in desfasurare procesul de regionalizare a operatiunilor din cadrul proiectului EGEE3, potrivit strategii de migrare catre EGI (Initiativa Grid Europeana) ce va fi formata din NGI-uri (Initiative Nationale Grid), ca de exemplu RoGrid in Romania.

A fost publicat raportul referitor la performantele site-urilor grid din cadrul infrastructurii EGEE in raport cu cerintele SLA de 70% Availability si 75% Reliability. Acesta este disponibil aici.

Monitorizarea si testele se fac in continuare in cadrul VO-ul ops, insa incepand din luna aceasta (inceputul anului al 2-lea al proiectului EGEE3 ) se va trece la regionalizarea acestor activitati de operare si suport, in care fiecare Federatia va avea ca responsabilitate monitorizarea si suportul propriilor site-uri. Aceasta este conform cu strategia de migrare a EGEE catre EGI.org.

In acest sens mai multe detalii sunt aici.

April 28th, 2009 | Tags: ,

O mare sursa de probleme, dupa cum am descoperit de curind, e neexecutarea din cron a scripului /etc/cron.d/fetch-crl ce poate duce la erori de genul :
in cazul myproxy-init :
Error authenticating: GSS Major Status: Authentication Failed
GSS Minor Status Error Chain:
globus_gss_assist: Error during context initialization
globus_gsi_callback_module: Could not verify credential
globus_gsi_callback_module: Could not verify credential
globus_gsi_callback_module: Invalid CRL: The available CRL has expired

in cazul testelor SAM de CE-sft-job pot sa apara erori de genul :
authentication failed: GSS Major Status: Authentication Failed
GSS Minor Status Error Chain: init.c:499: globus_gss_assist_init_sec_context_async: Error during
context initialization init_sec_context

Rezolvare: executarea de mina a comenzii din fetch-crl

April 16th, 2009 | Tags: , , , , ,

La Institutul National de Cercetare-Dezvoltare pentru Fizica si Inginerie Nucleara – Horia Hulubei a fost instalat si este certificat pentru infrastructura de productie EGEE un nou site grid: RO-15-NIPNE. Acesta este implicat in cadrul VO-urilor ilc si lhcb si este administrat de catre Marius Ciprian Orlandea.

Felicitari si mult succes in continuare!

April 16th, 2009 | Tags: , , , ,

Raportul EGEE League Table pentru luna martie 2009 este aici. Legat de fiabilitatea middleware-ului gLite, urmarirea testelor care conteaza pentru SLA si raportarea problemelor ce apoi sunt rezolvate e interesant acest thread pe LCG-ROLLOUT si ticketul GGUS #46735.