Microsoft Data & Power Platform yhteenveto vuodelta 2022 ja katsaus tulevaan - Isletin data-ja analytiikkatiimin silmin

Tässä blogikirjoituksessa sukelletaan näin vuoden lopun kunniaksi Microsoft Data Platformin ja Power Platformin maailmaan. Näiden pilvipalveluiden tuomaa lisäarvoa ja mahdollisuuksia tarkastellaan käytännössä päivänsä näiden ratkaisujen parissa viettävän kahden pilvidata-arkkitehdin, Ilkan ja Mikon, näkövinkkelistä. Kuinka me hyödynnämme Microsoftin pilvipalveluita tukeaksemme asiakkaidemme liiketoimintaa ja menestystä? Mitä hyötyjä näistä on ja kuinka niitä voidaan hyödyntää erilaisissa toteutuksissa? Mitkä ovat eniten odottamamme uudet ominaisuudet näissä palveluissa lähitulevaisuudessa ja miksi?

Meillä molemmilla on pitkä kokemus Microsoftin ekosysteemin käytöstä tietovarastoinnin puolella, ja molemmilla on myös koodauskokemusta menneisyydestä. Viimeisimpänä muttei vähäisimpänä, olemme molemmat Microsoft pilvisertifioituja omilla vahvimmilla osa-alueillamme; Mikko on erikoistunut Data Platform- puolelle ja Ilkka tekee paljon low-code- kehitystä Power Platformilla ja yrittää hyödyntää sitä tietovarastoinnin näkökulmasta parhaalla mahdollisella tavalla.

Vuodelta 2022 Islettereiden lokikirjoihin jäi merkintöjä useammista Microsoft Data- ja Power Platformiin liittyvistä julkaisuista ja uudistuksista. Alla onkin nyt summattuna kiinnostavimpia nostoja aiheittain. Emme malttaneet olla kiikaroimasta hieman myös jo tulevaan ja siihen, mitä uusia mahdollisuuksia uusi vuosi 2023 tuo tullessaan näiden ratkaisujen saralla.

POWER APPS

Power Appsilla oli vuonna 2022 uusia julkaisuja erityisesti PowerApps Canvas- sovelluksen kehityksessä, mutta olisi hyvä hieman valaista vähän myös sitä, miksi Power Platform-kehitys kannattaisi sisällyttää tietovarastointiympäristöön.

Power Platform antaa kaikki mahdollisuudet tietojen automatisointiin, liittimien kautta tapahtuvaan integrointiin ja jopa tiettyihin tekoälyllisiin tehtäviin.
Tietovarastoympäristöstä puuttuu useasti hyvä tapa toteuttaa asiakaslähtöistä tiedonsyöttöä. Useimmissa tapauksissa “ainoa tapa” on ollut SharePoint tai Excel, jotka sopivat erinomaisesti siihen, mihin ne ovat kehitetty, mutta esimerkiksi tietojen käsittely käyttäjien syöttämistä tiedoista aiheuttaa aina ongelmia integraatioissa jossain vaiheessa tietovarastoprojektia.

Jos asiakaslähtöistä tiedonsyöttöä tai hallintaa tarvitaan, käytämme useimmin Power Apps- Canvasia SQL- liittimellä ja Power Automatella (Flow). Tähän liittyvät lisenssiasiat ovat itsessään ihan oman blogin arvoinen juttu, joten jätämme ne tällä erää käymättä läpi, ja keskitymme eri ominaisuuksiin.

Parhaat tai eniten keskustelua herättäneet asiat (2022) – Power Apps

Haku sekä Etsi ja korvaa

Haku- tai Etsi ja korvaa -toiminto yleisesti ottaen eivät ehkä kuulosta kovin uusilta tai uraauurtavilta ominaisuuksilta, mutta itse asiassa PowerApps Canvas– kehittämisestä ne ovat aikaisemmin vielä puuttuneet. Nyt uusien toimintojen avulla uudelleen nimeämiset, koodin tarkistukset, muuttujien käsittely, teeman muutokset (lähinnä värien vaihdokset) jne. tulivat helpoiksi. Ne tehostavat toimintaa ja muuttavat koko kehityskokemusta selkeästi parempaan suuntaan.

Tekoäly (AI)

Tekoäly on ollut iso aihe vuoden 2022 lopulla. Tekoäly näyttää olevan vastaus kaikkeen.

PowerApps Canvasilla on jo nyt olemassa omat tekoälyllä toimivat ominaisuudet. Power Apps Ideas- ominaisuuden avulla voit koodata jopa entistä vähemmän. Ideas mahdollistaa, että kehittäjä voi kirjoittaa selkokielellä halutun kyvyn, joka PowerFx:n pitäisi toteuttaa, ja Ideas antaa sinulle erikseen kommentoidun koodin, mitä kyseinen koodinpätkä tekee. Näitä kykyjä ei ole tultu testailtua, koska eniten käytetyt PowerFx-komennot ovat jo melko selkeitä, mutta jos koodattavaa olisi paljon ja käyttötapaus esitettäisiin selkeästi Ideasille, se voisi johtaa vielä koodausmäärän pienenemiseen ja sitä kautta ajankäyttöön vähentävästi. Nämä ovat edelleen varsin hämmentäviä kykyjä, mitä tekoäly voi tarjota, mutta se on selvästi koodauksen tulevaisuutta.

Lisäksi, jos päätät koodata itse, voit käyttää apunasi uutta Formula Repair- koodikorjausominaisuutta ongelmien ratkomiseksi (esikatselu).

Muutokset ympäristöjen valinnassa

Ympäristöryhmittely ja muutokset ympäristön aktiivisena/valittuna pitämiseen on helpottanut paljon työskennellessä monien eri ympäristöjen kanssa. Ei ole ollut mitään turhauttavampaa, kuin vaihtaa Default-ympäristön valinta joka kerta, kun kirjaudut make.powerapps.com.

Uudet tulevat ominaisuudet (2023) – Power Apps

Tiimityöstä helpompaa yhteiskäytön (”Coauthoring”), Gitin ja kommentoinnin avulla

Yleensä sovelluskehitysprojektissa on useita kehittäjiä, jotka tekevät kehitystyötä yhteiseen sovellukseen samanaikaisesti. Tämän yhteistyön sujuvoittamiseen on tulossa muutama hyvä ominaisuus. Canvas- kehityksessä voit käyttää Gitiä ja siten hyödyntää Gitin tehokkaita ominaisuuksia kehitystyössä. Mallipohjaisissa (Model-driven) kehityksessä on Office- tyyppinen “Coauthoring”-kokemus, jossa näet kaikki työtoverisi tekemät muutokset reaaliajassa. Kommentit-ominaisuus mahdollistaa koodia koskevien huomautusten ja kysymysten lisäämisen sekä tiedon jaon tiimin kehittäjien välillä suoraan Canvas- sovelluksen kehitysnäkymässä.

Nimetyt kaavat

Jokainen Canvas- kehitystä tekevä tuntee App.OnStart- funktion ja sen, mitä se voi tehdä ja mitä tiettyjä ongelmia sillä voi olla sovelluksen käynnistysaikoihin liittyen. Yleensä ongelmat ilmenevät, kun useita globaaleja parametreja on määritetty sovelluksen käynnistyksen yhteydessä. Jos haet tietoja tietokantakerroksesta ja asetat tiedot parametreiksi, tietojen latausajat voivat aiheuttaa viiveitä sovelluksen varsinaisessa käynnistyksessä.

Nimetyt kaavat tehostavat perusparametrien käyttöä asettamalla ne nimetyiksi kaavoiksi. Kun käytät kaavaa sovelluksessasi, arvot ovat valmiina käyttöön, mutta niiden lataaminen ei vaikuta sovelluksen varsinaiseen käynnistämiseen.

Canvas- sovellus, käyttöliittymän luominen kuvasta

Nyt voit luoda toimivan käyttöliittymän suoraan tiimisi suunnittelutaululta ottaman kuvan avulla ja lataamalla sen palveluun. Tämä ominaisuus tuntuu olevan vielä “hauska demo” -vaiheessa, mutta se voi tulevaisuudessa tulla älykkäämmäksikin. Kokeilimme ominaisuutta ja kyllä, se teki sovelluksen, mutta joitain tekstejä ominaisuus ei lukenut oikein ja jotkut laatikot jäivät generoitumatta. Käyttöliittymä oli piirretty mahdollisimman tarkasti. Todennäköisesti tätä tullaan näyttämään, jos halutaan demonstroida Power Platformin uusia hienoja ominaisuuksia ja mahdollisuuksia.

Jos todella haluat aloittaa käyttöliittymäsi suunnittelun jollakin muulla kuin Canvas- sovelluksen editointiportaalista, niin nyt se onnistuu suoraan Figma-tiedostoilla. Voit luoda koko sovelluksen jokaisen tarvittavan näytön. Käyttöliittymäasiantuntijat voivat käyttää Figmaa, ja voit pyytää heitä luomaan käyttöliittymän.

Hallittujen ympäristöjen (Managed environments) siirto ympäristöjen välillä

Automatisoituja käyttöönottoputkia on käytetty kehitysprojekteissa automatisoimaan ratkaisujen käyttöönottoa ylempiin testaus- ja tuotantoympäristöihin. Tärkeintä tässä on yleensä parantaa näkyvyyttä ympäristöjen välisestä tilanteesta ja versiohistoriasta.

PowerPlatform- putkistot ovat oma asennettava sovellus, jonka asennat valittuun ympäristöön. Sovelluksella voit hallita kaikkia ympäristöjä ja nähdä tarkastuslokit, käyttöönottotoiminnot, käyttövirheet ja paljon muuta.

POWER BI

Power BI -kehitys on ja tulee olemaan tärkeä osa Isletin Data & analytiikka- tiimien työtä. Mallit, mittarit ja visualisoinnit eivät synny itsestään, vaikka tekoäly voi nykyään antaa mukavia ehdotuksia, mutta silti tarvitaan hyviä analyyttisiä näkemyksiä datakontekstista, jotta raportointiratkaisut toimivat oikein. Power BI on nopeasti kehittyvä raportointiympäristö, joten uusien ominaisuuksien perässä pysyminen on tärkeää.

Parhaat tai eniten keskustelua herättäneet asiat (2022) – Power BI

Päivitetyt komposiittimallit

PowerBI- tietojoukkojen luominen ei ole aina ollut niin joustavaa kuin mitä se nykyään on, ja lisää parannuksia on tulossa. Komposiittimallit ovat osoittautuneet hyväksi tavaksi toteuttaa tietojoukkoja, joissa esimerkiksi yhdistyvät kerran päivässä päivitettävän tietovaraston tiedot ja päivittäin vaihtuva käyttäjän syöte (PowerApps jne.). Siten on mahdollista saada aikaiseksi reaaliaikaisesti päivittyvät visualisoinnit ja data. Olemme käyttäneet tätä ominaisuutta paljon. Se on hieno tunne, kun tiedonsyöttämisen jälkeen juuri syötetyt tiedot nousevat raportille raportin sivun päivittämisen jälkeen. Ominaisuudesta on vielä julkaisuja tulossa, ja nyt uutena asiana on, että voimme käyttää Azure Analysis Services -malleja komposiittimallissa.

Tietojoukon päivityksen peruutus on nyt saatavilla Power BI Premiumissa

Suuren tietojoukon päivittäminen voi kestää todella pitkään. Power BI Pro -työtilassa tietojoukon enimmäiskoko on 1 Gt ja yleensä sen maksimikapasiteetti ei täyty, tai muuten ollaan todella rajoilla ratkaisun kestävyyden kanssa.

Premium-kapasiteetissa tietojoukot voivat olla paljon suurempia, joten jos olet klikannut tietojoukon päivitystä vahingossa, prosessointi voi kestää kauan. On kätevää pystyä peruuttamaan nykyinen tietojoukon päivitys kesken prosessoinnin.

Uudet tulevat ominaisuudet (2023) – Power BI

Azure Analysis Services -palveluiden automatisoitu siirtotyökalu Power BI- malliksi

Power BI Premium- palvelu on tullut hyvin lähelle Azure Analysis Services -palvelua ominaisuuksiensa osalta. Microsoft julkisti automaattisen siirtotyökalun, jonka avulla käyttäjät voivat siirtää Azure Analysis Services -mallinsa Power BI- tietomalleiksi. Myöhemmin tästä tulee ominaisuus Power BI -raporttien tietojoukkojen uudelleensitomiseksi olemassa oleville raporteille, mutta toistaiseksi raportin uudelleensidonta on tehtävä manuaalisesti.

Mallien edut Power BI Premiumissa ovat se, että se tarjoaa keskitetyn paikan tiedoille ja lisää samalla toteutusten kustannustehokkuutta (jos Premium- kapasiteetti on jo käytössä).

Yritysten välinen Power BI -tietojoukon jakaminen

Kohta voit luoda tietojoukkoja Power BI -palvelussa ja jakaa ne sitten toisen yrityksen (tenant) käyttäjille. Tällä on paljon todellisia käyttötapauksia, esimerkiksi yritysten välinen tiedon jakaminen ja tietojen yhteiskäyttö helpottaa liiketoiminnan muutos- ja laajennustilanteita uuden ominaisuuden myötä.

AZURE DATA PLATFORM

Azure Data Platform on tietovarastoratkaisun selkäranka. Jatkuvat ominaisuuspäivitykset ja uudet tavat toteuttaa toimivia ratkaisuja pitävät kehitystyön kiinnostavana ja mielekkäänä.

Parhaat tai eniten keskustelua herättäneet asiat (2022) – Azure Data Platform

Azure Machine Learning – automatisoitu koneoppiminen

Automaattinen koneoppiminen antaa hyvän lähtökohdan tarjota toimivia ennusteratkaisuja käyttäjille, joilla on vähemmän kokemusta ennustemalleista tai niiden kehittämiseen vaadituista työkaluista. Se ei poista tarvetta datatieteilijöiden työlle, koska automaattisen koneoppimisen tuottama malli on vasta alku, joka vaatii säätöjä, ja näihin tarkempiin tai monimutkaisempiin käyttötapauksiin ihmisen tekemä työ on pakollista.

Ominaisuuden testauksen jälkeen hämmästys oli suuri, kun malleja oli iso määrä ja jokaisesta mallista sai halutessaan kommentoidun version. Kokonaisuudessaan kaikki oli dokumentoitu hyvin, vaikka joitain dokumentoimattomia ominaisuuksia löytyi.

Azure Data Factoryn käyttöliittymän muutokset

Yksi Azure Data Factoryn hyvistä muutoksista oli se, että tiettyjen komponenttien validoinnista tehtiin älykkäämpiä. Pystyit käyttämään sisäkkäisiä komponentteja ja jatkaa kehitystä, kunnes sitten kokeilit ensimmäistä kertaa ajaa ko. ajoa, ja vasta sitten se tuli virhe, että käyttämääsi tapaa käyttää komponentteja ei tueta. Tämän jälkeen jouduit tekemään kaiken uudelleen. Nyt käyttöliittymällä ei voi käyttää komponentteja. Myös yksi pieni asia oli erittäin tervetullut uudistus – komponenttien oletusaikakatkaisu muutettiin 7 päivästä 12 tuntiin.

Parannelty Synapse-yhteys – Synapse Link SQL:lle

Ominaisuus tarjoaa lähes reaaliaikaisen (near-real time) tiedonsiirron SQL:stä (Azure SQL Database tai SQL Server 2022) Synapse Dedicated pooliin. Se on loistava nopeaan raportointitarpeeseen. Voit jopa tehdä päivittäistä toiminnallista raportointia tietovarastoympäristösi kautta, koska näet “nykyisen”, melkein reaaliaikaisen, tilanteen raporteilla. Tämä ei poista tarvetta tietovarastointiin, raportointimalleille ja integroinneille, mutta mahdollistaa nopeammat integraatiosyklit tietovarastoinnissa.

Odotettavia asioita (2023) – Azure Data Platform

Virtual Network (VNet) datayhdyskäytävä (Data Gateway)

Ominaisuus on edelleen esikatselussa ja vain Power BI Premium- versiossa. Datayhdyskäytävä loi suojatun yhteyden VNET:iin ja poistaa On-Premgatewayn tarpeen, kun muodostetaan yhteys yksityisen VNET:n resursseihin. Tämä tekee yhteyden muodostamisesta paljon helpompaa ja poistaa suurimman osan hallinnollisista töistä, joita tarvitaan yhdyskäytävän ylläpitoon.

SQL DB -proseduuri REST API

Mahdollisuus laukaista periaatteessa mikä tahansa REST API Azure SQL DB-tietokannasta on nyt mahdollista, ja tämä laajentaa esimerkiksi proseduurien käyttötapoja. Dokumentaatiosivulla on luettelo, joka kertoo kaikki sallitut päätepisteet (endpoint), mutta voit myös käyttää omaa API- rajapintaa. Voit käyttää Azure Functions -toiminnallisuuksia tai esimerkiksi Power Automate -ajoja, jotka ovat RESTillä ajettavia.

If you want to invoke a REST service that is not within the allowed list, you can use API Management to securely expose the desired service and make it available to sp_invoke_external_rest_endpoint

Time-To-Live (TTL) hallitussa virtuaaliverkossa (managed virtual network)

Tämä ominaisuus on vielä esikatselussa, mutta se on jo tällä hetkellä pakollinen kaikille, jotka käyttävät hallittuja virtuaaliverkkoja Synapsessa. Ennen tätä ominaisuutta resurssit jouduttiin hakemaan jokaista silmukan sisällä olevaa kutsua varten erikseen. Nyt Time-To-Live- ominaisuuden avulla voidaan resursseille määrittää elinaika, joka määrittää sen, kuinka kauan resurssia käytetään uudelleen. Tämän hyöty on iso, kun isossa silmukassa ajetaan esimerkiksi kopiointitoimintoja ja kopioinnin tarvitsemaa resurssia ei aina luoda uudestaan, vaan käytetään olemassa olevaa.

Microsoft luonnollisesti kehittää ratkaisujaan jatkuvasti ja ominaisuuksia tulee koko ajan lisää. Olemme siis valppaina ja aina valmiina oppimaan, ja hyvästä syystä – niiden tuomat edut voivat olla isojakin. Vuosi 2022 oli tässä kontekstissa hieno, emmekä malta odottaa seuraavaa vuotta.

Parhain terveisin,

Ilkka ja Mikko

PS. Meiltä on tulossa lisää jännittäviä asioita ensi vuoden aikana, pysy kuulolla!

PPS. Alla innostuneita kuvatunnelmia Microsoftin järjestämältä Kumppaniarkkitehtipäivältä. Parasta oli kun pääsi taas tauon jälkeen tapaamaan ihmisiä!