Tie­to­va­ras­to­rat­kai­sun hyp­py pilveen

Nyky­ään tie­to­va­ras­toin­ti­rat­kai­sut tukeu­tu­vat isok­si osak­si pil­ven resurs­sei­hin. Isle­til­lä iso osa uusis­ta rat­kai­suis­ta toteu­te­taan Lake­house- rat­kai­su­na joko Synap­se Ana­ly­tic­sin tai Data­brick­sin pääl­le. Toteu­tus mää­räy­tyy vaa­ti­mus­ten perus­teel­la ja tie­to­va­ras­toin­ti­rat­kai­suk­si vali­taan vaa­ti­muk­set par­hai­ten täyt­tä­vää tekniikkaa.

Har­vois­sa tapauk­sis­sa pil­vi­pal­ve­lui­den käyt­tö aloi­te­taan tuo­mal­la osa van­haa rat­kai­sua muka­na. Näi­tä har­vo­ja tapauk­sia on esi­mer­kik­si sel­lai­set, jois­sa alku­pe­räi­nen rat­kai­su on niin laa­ja tai tär­keä saa­da toi­min­ta jat­ku­maan saman­lai­se­na. Käym­me läpi nii­tä tapo­ja, miten pil­vi­hyp­py voi­daan teh­dä tuo­mal­la muka­na osa van­haa ratkaisua.

Pil­ven hyödyt

Nyt käym­me läpi tapo­ja aloit­taa Mic­ro­sof­tin pil­vi­pal­ve­lui­den käyt­tö hel­pos­ti ja vai­vat­to­mas­ti datan ja ana­ly­tii­kan näkö­kul­mas­ta. Pil­vi­pal­ve­lut tar­joa­vat usei­ta etu­ja, kuten jous­ta­vuut­ta, suo­ri­tus­ky­kyä ja kustannustehokkuutta.

Jous­ta­vuus on yksi mer­kit­tä­vim­mis­tä pil­vi­pal­ve­lui­den eduis­ta. Mic­ro­soft tar­jo­aa usei­ta eri­lai­sia pal­ve­lui­ta ja rat­kai­su­ja, jot­ka voi­daan skaa­la­ta tar­peen mukaan. Voit hel­pos­ti lisä­tä tai vähen­tää kapa­si­teet­tia ja resurs­se­ja yri­tyk­se­si tar­pei­den mukai­ses­ti. Tämä antaa sinul­le jous­ta­vuut­ta ja mah­dol­li­suu­den sopeu­tua nopeas­ti muut­tu­viin liiketoimintaolosuhteisiin.

Suo­ri­tus­ky­ky on toi­nen tär­keä etu, jon­ka pil­vi­pal­ve­lut tar­joa­vat. Mic­ro­sof­tin pil­vi­pal­ve­lut ovat suun­ni­tel­tu tar­joa­maan kor­ke­aa suo­ri­tus­ky­kyä ja teho­kas­ta resurs­sien käyt­töä. Voit hyö­dyn­tää pil­vi­pal­ve­lui­den tar­joa­maa skaa­lau­tu­vuut­ta ja suo­ri­tus­ky­kyä esi­mer­kik­si käsi­tel­les­sä­si suu­ria data­mää­riä tai suo­rit­taes­sa­si ras­kai­ta las­ken­ta­teh­tä­viä. Näin voit var­mis­taa yri­tyk­se­si toi­min­nan tehok­kuu­den ja nopeuden.

Kus­tan­nus­te­hok­kuus on kol­mas tär­keä teki­jä, joka hou­kut­te­lee yri­tyk­siä siir­ty­mään pil­vi­pal­ve­lui­den käyt­töön. Mic­ro­sof­tin pil­vi­pal­ve­lut tar­joa­vat jous­ta­vat hin­noit­te­lu­mal­lit, jois­sa mak­sat vain käy­te­tyis­tä resurs­seis­ta. Sinun ei tar­vit­se inves­toi­da suur­ta alku­pää­omaan tai yllä­pi­tää kal­lii­ta infra­struk­tuu­re­ja. Pil­vi­pal­ve­lut tar­joa­vat skaa­lau­tu­vuu­den myö­tä myös mah­dol­li­suu­den opti­moi­da kus­tan­nuk­sia ja mak­saa ainoas­taan tar­vit­se­mis­ta­si palveluista.

Perin­tei­nen tietovarastoratkaisu

Perin­tei­nen Mic­ro­sof­tin tuot­teil­la toteu­tet­tu tie­to­va­ras­to­rat­kai­su perus­tuu yleen­sä SQL Ser­ver ‑pal­ve­li­meen, SSIS-paket­tei­hin tie­don­siir­toon sekä ajas­tuk­siin SQL Ser­ver Agen­tin kanssa.

SQL Ser­ver on tun­net­tu ja luo­tet­ta­va tie­to­kan­ta­rat­kai­su, joka tar­jo­aa tehok­kaan perus­tan tietovarastointiympäristölle.

SSIS (SQL Ser­ver Inte­gra­tion Ser­vices) on Mic­ro­sof­tin tar­joa­ma ETL (Ext­ract, Trans­form, Load) ‑työ­ka­lu, joka hel­pot­taa tie­don­siir­toa eri jär­jes­tel­mien välillä.

Ajas­tuk­set SQL Ser­ver Agen­tin kans­sa tar­joa­vat auto­maa­tio­ta ja aika­tau­lu­tus­ta tietovarastointiympäristössä.

Tämä yhdis­tel­mä SQL Ser­ve­riä, SSIS-paket­te­ja ja SQL Ser­ver Agent­tia on tar­jon­nut van­kan perus­tan tie­don­hal­lin­nal­le ja analysoinnille.

Tie­to­va­ras­to­rat­kai­sun hyp­py pil­veen tuo­mal­la osa van­haa rat­kai­sua mukana

Ensim­mäi­nen askel on päät­tää, mitä osia nykyi­ses­tä tie­to­va­ras­tos­ta halu­taan siir­tää pil­veen. Täs­tä voi­daan vali­ta tiet­ty osa tai kaik­ki osat riip­puen tar­peis­ta ja lii­ke­toi­min­nal­li­sis­ta tavoit­teis­ta. Tär­ke­ää on var­mis­taa, että pil­veen siir­ret­tä­vät rat­kai­sut ovat yhteen­so­pi­via uuden ympä­ris­tön kans­sa, jot­ta siir­ty­mi­nen tapah­tuu saumattomasti.

Mic­ro­sof­tin tuot­teil­la toteu­tet­tu perin­tei­nen tie­to­va­ras­to­rat­kai­su sovel­tuu hyvin nos­to ja siir­to (lift-and-shift)- tyyp­pi­seen pilveistämiseen.

Siir­tä­mäl­lä omil­la pal­ve­li­mil­la sijait­se­van SQL Ser­ver- tie­to­va­ras­ton, sekä SSIS- ajot Mic­ro­sof­tin Azu­re SQL Mana­ged- ins­tans­sil­le, sekä otta­mal­la käyt­töön Azu­re Data Fac­to­ryn sekä myös Azu­re Synap­sen, saa­daan van­ha rat­kai­su ajau­tu­maan mah­dol­li­sim­man vähäl­lä vai­val­la, sekä mah­dol­lis­te­taan uuden pil­vi­na­tii­vin kehit­tä­mi­sen tekeminen.

Azu­re SQL Mana­ged Ins­tance tar­jo­aa lähes 100% yhteen­so­pi­vuu­den pai­kal­li­sen SQL Ser­ve­rin kans­sa, mikä hel­pot­taa siir­ty­mis­tä pai­kal­li­sis­ta tie­to­va­ras­tois­ta pil­veen. Lisäk­si SSIS-paket­tien suo­rit­ta­mi­nen Azu­re Data Fac­to­rys­sä mah­dol­lis­taa ole­mas­sa ole­vien ETL-pro­ses­sien käyt­tä­mi­sen mini­maa­li­sin muutoksin.

Pil­vi­poh­jai­nen tie­to­va­ras­to tar­jo­aa kus­tan­nus­te­hok­kaam­man tavan skaa­la­ta resurs­se­ja tar­peen mukaan. Asiak­kaat voi­vat vähen­tää kus­tan­nuk­sia siir­tä­mäl­lä tie­to­va­ras­ton käyt­tä­män rau­dan han­kin­nas­ta mak­sa­mal­la vain käy­te­tyis­tä resurs­seis­ta pil­ves­sä. Täl­löin ei tar­vit­se sitou­tua ker­ran nel­jäs­sä vuo­des­sa mit­ta­viin kus­tan­nuk­siin, vaan kus­tan­nuk­sia voi­daan seu­ra­ta ja sää­tää käy­tet­ty­jen resurs­sien mukai­ses­ti. Useim­mat resurs­sit Azu­ren- pil­ves­sä tar­joa­vat skaa­lau­tu­vuut­ta, sekä mah­dol­li­suu­den sam­mut­taa resurs­sit sil­loin kun nii­tä ei käytetä

Azu­re SQL Mana­ged Ins­tance tar­jo­aa skaa­lau­tu­van suo­ri­tus­ky­vyn pai­kal­li­seen tie­to­va­ras­toon ver­rat­tu­na. Skaa­lau­tu­vat resurs­sit takaa­vat, että jär­jes­tel­mä kapa­si­teet­ti mukau­tuu asiak­kai­den tar­pei­siin ja mah­dol­lis­taa tehok­kaan työs­ken­te­lyn suur­ten tie­to­mää­rien kans­sa. Har­voin tulee tilan­tei­ta, mil­loin Azu­ren resurs­se­ja tar­joa­mat resurs­sit eivät tar­joai­si enää lisää skaa­lau­tu­vuut­ta. Ark­ki­teh­tuu­ris­sa täy­tyy aina ottaa huo­mioon eri resurs­sien luon­ne, rat­kai­sun käyt­tö­vaa­ti­muk­set ja sitä kaut­ta teh­dä oikean­lai­set resurssivalinnat.

Pil­vi­pal­ve­lui­den avul­la asiak­kaat voi­vat hyö­dyn­tää kehit­ty­nei­tä tie­to­tur­va­rat­kai­su­ja, jot­ka päi­vit­ty­vät pal­ve­lun muka­na. Täl­löin huo­len­pi­to päi­vi­tyk­sien ajan tasal­la olos­ta siir­tyy pil­vi­pal­ve­lun yllä­pi­det­tä­väk­si. Lii­an usein pai­kal­li­set rat­kai­sut ovat jää­neet päi­vi­tyk­sis­sä jäl­keen tai ovat jopa tip­pu­neet päi­vi­tys­ten ulko­puo­lel­le käyt­tö­jär­jes­tel­mien van­hen­tu­mis­ten takia.

Pil­vi­na­tii­vin rat­kai­sun jatkokehitys

Pil­veis­tet­ty rat­kai­su ei suin­kaan pysäh­dy siir­tä­mi­seen pil­veen. Se on vas­ta ensim­mäi­nen askel mat­kal­la koh­ti pil­vi­na­tii­via kehi­tys­tä. Jat­ko­ke­hi­tyk­sen mah­dol­lis­ta­mi­sek­si voit luo­da uusia ympä­ris­tö­jä ja hyö­dyn­tää pil­ven tar­joa­mia pal­ve­lui­ta entis­tä tehokkaammin.

Kun pil­veis­tä­mi­ses­sä pääs­tään sii­hen, että nopea siir­ty­mi­nen pil­veen on saa­vu­tet­tu alku­pe­räi­sen rat­kai­sun poh­jal­ta, niin tämän jäl­keen jou­du­taan miet­ti­mään, että miten uuden kehit­tä­mi­nen toteu­te­taan. Täl­löin rat­kai­su on jär­ke­vää jat­kaa teke­mäl­lä pil­vi­na­tii­via rat­kai­sua, joka tar­koit­taa siir­ty­mis­tä SQL Ser­ver ja SSIS- poh­jai­ses­ta rat­kai­sus­ta vähi­tel­len poispäin.

Ohes­sa esi­merk­ki pil­vi­na­tii­viin kehit­tä­mi­seen käy­tet­ty­jen resurs­sien hyö­dyis­tä, jos vali­taan pil­vi­na­tii­viin kehit­tä­mi­seen esim. Azu­re Synapse.

Azu­re Synap­sen Data Lake ‑poh­jai­sen rat­kai­sun edut:

1. Mas­sii­vi­nen skaa­lau­tu­vuus: Data Lake ‑poh­jai­set rat­kai­sut ovat erit­täin skaa­lau­tu­via, mikä mah­dol­lis­taa val­ta­vien tie­to­mää­rien tal­len­ta­mi­sen ja käsit­te­lyn. Azu­re Synap­se yhdes­sä Azu­re Data Lake Sto­ra­ge Gen2:n kans­sa tar­jo­aa kor­kean suo­ri­tus­ky­vyn ja skaa­lau­tu­vuu­den sekä raken­teel­li­sil­le että raken­teet­to­mil­le tiedoille.
2. Jous­ta­vuus: Azu­re Synap­sen Data Lake ‑rat­kai­su hyväk­syy eri­lai­sia tie­to­tyyp­pe­jä ja ‑for­maat­te­ja, kuten teks­ti­tie­dos­to­ja, kuvia, videoi­ta ja JSON-tie­dos­to­ja. Tämä jous­ta­vuus mah­dol­lis­taa moni­mut­kais­ten tie­to­ra­ken­tei­den käsit­te­lyn ja inte­graa­tion, min­kä ansios­ta yri­tyk­set voi­vat ana­ly­soi­da moni­puo­li­sem­pia tietolähteitä.
3. Kus­tan­nus­te­hok­kuus: Data Lake ‑poh­jai­set rat­kai­sut, kuten Azu­re Synap­se, tar­joa­vat edul­li­sen tal­len­nus­vaih­toeh­don suu­ril­le tie­to­mää­ril­le. Tal­len­nus­kus­tan­nuk­set pysy­vät alhai­si­na, kos­ka voit mak­saa vain käy­te­tys­tä tal­len­nus­ti­las­ta ja laskentaresursseista.
4. Tie­to­jen hal­lin­ta: Azu­re Synap­se ja Data Lake Sto­ra­ge Gen2 yhdes­sä tar­joa­vat tehok­kaan tie­to­jen­hal­lin­ta­rat­kai­sun. Hie­rark­ki­nen tal­len­nus­ra­ken­ne ja meta­da­ta-hal­lin­ta mah­dol­lis­ta­vat tie­to­jen luo­kit­te­lun, haun ja jär­jes­tä­mi­sen entis­tä helpommin.
5. Tie­to­jen suo­jaus ja vaa­ti­mus­ten­mu­kai­suus: Azu­re Synap­se ‑rat­kai­su sisäl­tää kehit­ty­nei­tä tie­to­tur­vao­mi­nai­suuk­sia, kuten tie­to­jen salauk­sen lepo­ti­las­sa ja liik­kues­sa. Lisäk­si se nou­dat­taa tiuk­ko­ja tie­to­suo­jas­tan­dar­de­ja, kuten GDPR:ää, aut­taen yri­tyk­siä var­mis­ta­maan tie­to­jen suo­jaa­mi­sen ja vaatimustenmukaisuuden.
6. Reaa­liai­kai­nen ana­ly­tiik­ka: Azu­re Synap­se ja Data Lake ‑rat­kai­su mah­dol­lis­ta­vat reaa­liai­kai­sen ana­ly­tii­kan suur­ten tie­to­mää­rien käsit­te­lys­sä. Tämä mah­dol­lis­taa nopeat oival­luk­set ja tie­toon perus­tu­van pää­tök­sen­teon tukemisen.
7. Yhteen­so­pi­vuus ja inte­graa­tio: Azu­re Synap­se on yhteen­so­pi­va monien pil­vi­pal­ve­lui­den ja työ­ka­lu­jen kans­sa, mukaan lukien Azu­re Mac­hi­ne Lear­ning, Power BI ja Azu­re Data Fac­to­ry. Tämä hel­pot­taa tie­to­vir­to­jen hal­lin­taa, ana­ly­tiik­kaa ja visualisointia.

Pil­vi­na­tii­vin kehi­tyk­sen mah­dol­lis­ta­mi­sek­si on siis tär­ke­ää luo­da uusia ympä­ris­tö­jä ja hyö­dyn­tää pil­vi­pal­ve­lui­ta kuten Azu­re Synap­se ja Data­la­ke. Näi­den avul­la voit jat­kaa rat­kai­susi kehit­tä­mis­tä, skaa­la­ta resurs­se­ja tar­peen mukaan ja hyö­dyn­tää pil­ven tar­joa­mia etuja.

Mic­ro­soft tar­jo­aa myös mui­ta pil­vi­na­tii­ve­ja kehi­tys­mal­le­ja data ja ana­ly­tiik­ka­rat­kai­sui­den tuek­si, joi­ta saa­tam­me käy­dä läpi myös muis­sa Isle­tin blo­geis­sam­me. Kan­nat­taa siis seu­ra­ta tarkkaan!