Miksi käyttää Jupyter Notebookia DesignSafessa?

TACC puhui Kalifornian yliopiston Los Angelesin (UCLA) rakennus- ja ympäristötekniikan osaston apulaisprofessori Scott Brandenbergin kanssa kertoakseen kokemuksistaan ​​Jupyter-muistikirjojen uutena käyttäjänä. Brandenberg on myös UC Davisin geoteknisen mallinnuksen keskuksen NHERI Centrifuge Experimental Facilityn käyttäjä. Hänen tutkimuksensa kattaa geoteknisen maanjäristystekniikan, vedenjaon ja maanalaisten rakenteiden seismiset vaikutukset.

Millainen on tutkimus, johon käytät Jupyter-muistikirjoja?

Scott Brandenberg:

Tutkimusprojektin aihe, jota varten olemme kehittäneet Jupyter-muistikirjan, on seismiset vaikutukset maanalaisiin rakenteisiin. Hankkeessa tarkastellaan maanpaineiden kehitystä maanjäristysten aikana. Yksi keskeisistä ongelmista, jotka insinöörit joutuvat ratkaisemaan maanalaisia ​​rakenteita suunnitellessaan, on se, kuinka paljon painetta maaperä kohdistaa rakenteeseen maanjäristyksen aikana. Kun maanjäristys tapahtuu, maa tärisee ja paine voi lisääntyä maanalaisessa rakenteessa, jonka aiheuttavat maanjäristysaallot, jotka ovat vuorovaikutuksessa rakenteen kanssa, kuten rummun tai tunnelin kanssa.

Apulaisprofessori, rakennus- ja ympäristötekniikan laitos, Kalifornian yliopisto Los Angeles (UCLA)

Yksi ​​suurimmista alueista, jonka kanssa rakennusten omistajat kamppailevat, on se, että insinöörien tällä hetkellä käyttämä lähestymistapa näiden maanpaineiden laskemiseen ei ole erityisen realistinen, ja heillä on taipumus yli ennustaa nämä paineet. Kehitämme uusia analyyttisiä menetelmiä, jotka ovat realistisempia ja perustuvat nykymenetelmiä perustavanlaatuisempaan teoriaan. Suoritimme sentrifugikokeita maanalaisissa rakenteissa tuottaaksemme seismiset maanpainetiedot, joita käytetään arvioimaan uutta teoriaamme sekä olemassa olevia menetelmiä. Toivomme, että uusi menetelmä selittää paremmin näiden kokeiden aikana tehdyt havainnot.

Kuinka liityit DesignSafeen?

Scott Brandenberg:

Olen ollut NEES:n (Earthquake Engineering Simulation Network) käyttäjä pitkään, ja olen tehnyt paljon kokeita ja arkistoinut tietoni NEES:n kautta. Mielestäni on tärkeää, että tutkijat jakavat tietonsa kaikkien kanssa eivätkä vain pidä niitä itselleen. Tämä on NEES:n visio. Tämä on myös DesignSafen visio. NEES-työskentelyni ansiosta DesignSafen päätutkija (PI) Ellen Rathje kutsui minut mukaan DesignSafe-tiimiin. Ensimmäisen DesignSafe-kehitysprosessin aikana viime vuonna käytimme rummussa äskettäin suoritettuja sentrifugikokeita testialustana tutkiaksemme joitain DesignSafen tarjoamia teknologioita, kuten Jupyter-kannettavia ja parannettuja tiedonsiirtoominaisuuksia.

Mikä on mielestäsi houkuttelevinta DesignSafessa?

Scott Brandenberg:

Aion verrata DesignSafea NEES:iin, koska olen keskittynyt tehtyihin parannuksiin. NEES kehitti tietovaraston. Tämä tarkoitti, että kun saimme kokeen päätökseen, arkistoimme tiedot ja metatiedot (joka kuvaavat dataa), kuten Excel-taulukot ja anturiluettelot. Sitten tiedot olisivat NEES:ssä, jotta muut ihmiset voivat ladata ja käyttää. Emme kuitenkaan käyttäisi NEES-tietovaraston tietoja; menimme arkistoon lataamaan tiedot ja toimisimme sitten omalla paikallisella tietojen esiintymillämme. Tietojen lataaminen NEES:iin oli siksi ylimääräinen vaihe, joka projektitiimin oli suoritettava, eikä se suoraan helpottanut uusien löydösten löytämistä tiedoista.

Pidän DesignSafessa todella siitä, että se muuttaa tätä paradigmaa. Nyt pystymme analysoimaan tiedot itse DesignSafe-kyberinfrastruktuurissa. Lataamme dataa, voimme käsitellä dataa siellä ja voimme jakaa työkaluja datan analysointiin. Yksi asia, jolla oli tapana tapahtua NEES:n kanssa, on se, että ohjasin tohtoriopiskelijaa, joka suoritti kokeita. He kirjoittaisivat omia skriptejä tietojen käsittelemiseksi. Kirjoittaisimme papereita; lähetä ne; ja sitten opiskelija valmistui ja otti kaikki käsikirjoituksensa mukaan. Minulla olisi pääsy tietoihin, mutta en kaikkiin käsittelytiedostoihin. DesignSafe ratkaisee tämän ongelman. Aiomme työstää skriptejä pilvessä, ja kaikilla on pääsy niihin. Kun opiskelija on saanut projektin valmiiksi, kaikki hänen tekemänsä työt arkistoidaan DesignSafeen. Heidän koko työnkulkunsa dokumentoidaan ja on käytettävissä myöhempää uudelleenkäyttöä varten. Se on minulle todella houkutteleva ominaisuus monien näiden projektien PI:nä.

Mikä on oma kuvaussi Jupyter-muistikirjasta?

Scott Brandenberg:

Se on tehokas työkalu. Uskon, että se muuttaa tapaa, jolla vaarayhteisössä työskentelevät ihmiset työskentelevät tietojen kanssa. Jupyter-muistikirja on ohjelma, jonka avulla voit integroida useita erilaisia ​​koodauskieliä – esimerkiksi Python tai R – aktiiviseen verkossa toimivaan dokumenttiin. Jupyter-muistikirjat mahdollistavat koodilohkojen, jotka todella toimivat datalla. Ja ne on yhdistetty markdown-soluihin, jotka tarjoavat selityksiä siitä, mitä tapahtuu. Se on hyvä tapa syntetisoida laskelmat selityksen kanssa. Sen avulla on helpompi palata takaisin ja selvittää, mitä tapahtui ja mitä työnkulkua käytettiin. Jupyter-kannettavat voivat toimia pilvessä DesignSafessa, mikä tarkoittaa, että voimme käyttää keräämiämme tietoja ja laittaa ne DesignSafeen ilman, että meidän tarvitsee ladata niitä ensin omalle paikalliselle tietokoneellemme. Se on todella mukavaa, koska se tarkoittaa, että opiskelija voi työstää käsikirjoitusta ja kertoa minulle, että hän on tehnyt joitain muutoksia. Sitten voin kirjautua sisään ja katsoa heidän Jupyter-muistikirjaansa ja lisätä itse uusia muutoksia tai kommentteja. Olen käyttänyt muita laskentatyökaluja noin 20 vuotta, joten muistikirjat ovat minulle melko uusia. Se oli ensimmäinen kerta, kun käytin esimerkiksi Pythonia.

Millä tavoilla tutkimuksesi tehtiin ennen Jupyter-muistikirjojen käyttöä?

Scott Brandenberg:

Uskon, että tutkijoiden yleisin käyttämä lähestymistapa oli se, että opiskelijoilla oli dataa omalla tietokoneella ja he käyttävät työkaluja, kuten MATLAB tai Mathcad tietojen käsittelemiseen ja tulosten julkaisemiseen. Tietoja saatettiin jakaa, mutta skriptejä ei jaettu, tai jos ne jaettiin, ne linkitettiin tiettyihin hakemistoihin, joihin opiskelijat tallensivat tiedot, eivätkä ne siksi olleet helposti siirrettävissä. Kokeelliset datatutkijat kirjoittaisivat myös "dataraportteja", kirjallista dokumentaatiota aineistosta. Dataraportti oli kriittinen muille tutkijoille, jotta he ymmärtäisivät, miten datajoukkoa käytetään (kumpi sarake vastaa esimerkiksi mitä anturia). Yleensä tietoraportit ovat .pdf-tiedostoja, jotka käyttäjät lataavat. Ja ne sisältäisivät satoja sivuja datakaavioita. Olemme tehneet rumpuprojektimme kanssa interaktiivisen digitaalisen dataraportin DesignSafessa käyttämällä Jupyter-muistikirjaa. Koska Jupyter-muistikirja käyttää merkintäkieltä, pystyimme ottamaan kaiken .pdf-tiedostossa tavallisesti näkyvän tekstin, muotoilemaan sen html-muotoon ja laittamaan sen muistikirjaan.

Miten tiedot jaetaan ja jaetaan?

Scott Brandenberg:

Käyttäjät voivat olla vuorovaikutuksessa tietojen kanssa Jupyter-muistikirjan avulla, mutta he voivat myös ladata tiedot Jupyterin ulkopuolelle. Lataamme datatiedostoja ja päätämme milloin haluamme julkaista tiedot; kun se on julkinen, kuka tahansa voi kirjautua sisään DesignSafeen ja käyttää näitä tiedostoja. Joten he voisivat mennä Jupyteriin ja katsoa tietoja kyseisen työkalun avulla tai ladata tiedot suoraan omaan käyttöönsä. Tai he voisivat jopa kehittää oman Jupyter-muistikirjan DesignSafessa ja käsitellä tietoja siellä. He voisivat myös simuloida koetta käyttämällä äärellistä elementtiä, kuten OpenSEES-ohjelmaa, ja kirjoittaa Jupyter-muistikirjan, joka vertaa tietokonesimuloinnin tuloksia kokeellisiin tietoihin.

Kuinka pääset käyttämään Jupyter-muistikirjoja?

Scott Brandenberg:

Yleensä käytät Jupyter-muistikirjoja DesignSafen kautta. Jos kirjaudut sisään DesignSafeen, näet Research Workbench -alueen, joka sisältää Data Depotin. Sieltä pääset käyttämään julkaistuja tietoja sekä omia yksityisiä projektitietojasi. DesignSafe sisältää myös Discovery Workspacen, joka sisältää työkaluja, kuten Jupyterin, jotka voivat käyttää Data Depotin tietoja. Voit avata Jupyterin DesignSafessa: napsauta vain painiketta Discovery Workspacessa, se avautuu suoraan verkkoselaimessasi ja sitten voit avata Jupyter-muistikirjan Data Depotin hakemistosta. Lisäksi Jupyter-muistikirjat ovat avoimen lähdekoodin, joten voit ladata asiakkaan ja käyttää sitä paikallisesti tietokoneellasi.

Jupyter-muistikirjani on kaikkien saatavilla yhteisön datahakemistossa: https://tinyurl.com/lvefwb3

Mitkä ovat Jupyter-kannettavien tärkeimmät edut?

Scott Brandenburg:

Muiden PI:iden tärkein etu on se, että kaikki opiskelijasi käsikirjoitukset ovat kaikkien projektin osallistujien käytettävissä. Kaikki, mitä opiskelijat työskentelevät, on olemassa jaettavaksi, mikä on parempi kuin se, että opiskelijat työskentelevät paikallisesti omalla tietokoneella. Aina tulee olemaan käyttäjiä, jotka ovat haluttomia ottamaan käyttöön uutta tekniikkaa. Pythonin toimintatapa on samanlainen kuin MATLAB, joten harppaus ei ole niin suuri, ja tutkimusryhmämme on sopeutunut melko helposti.

Lopuksi, kuinka luulet muistikirjojen edistävän tutkimustasi?

Scott Brandenberg:

Jupyter-muistikirjat eivät tarjoa suoraan uusia laskentamenetelmiä tai komentosarjoja, joita meillä ei aiemmin ollut. Todellinen hyöty on, että samat prosessit ovat yhdessä samassa työnkulussa, joten tiedot ovat siellä ja käsittelyskriptit ovat sen mukana pilvessä. Mielestäni se on todellinen innovaatio. Kyse on enemmän työnkulun laadusta ja siitä, että kaikki on hyvin dokumentoitu yhdessä paikassa. Uskon, että sillä on kyky muuttaa perusteellisesti tapaamme, jolla teemme työtämme.

Olen esimerkiksi osa toista yritystä juuri nyt, joka käyttää DesignSafea suuren tietokannan kenttätapaushistorian rakentamiseen kaikkialla maailmassa tapahtuneista nesteytystapahtumista. Tietoa tulee olemaan melko vähän – enemmän kuin yksittäinen käyttäjä haluaisi ladata ja yrittää käsitellä omalla tietokoneella. Jupyter-kannettavat tarjoavat meille mahdollisuuden käyttää kaikkia näitä tietoja DesignSafessa, joten meidän ei tarvitse ladata niitä. Sillä on suuri vaikutus, kun analysoimme paljon dataa samanaikaisesti. Voimme käyttää näitä pilviresursseja tehdäksemme asioita, joita emme voineet tehdä aiemmin.

###