PDEBENCH: una serie di criteri per una simulazione dipendente dal tempo per misurare le prestazioni di nuovi modelli di apprendimento automatico

I recenti progressi nel campo emergente dell’apprendimento automatico scientifico (noto anche come apprendimento automatico per le scienze fisiche o scienza basata sui dati) hanno esteso la portata dei metodi tradizionali di apprendimento automatico (ML) all’evoluzione temporale dei sistemi fisici. Sono stati compiuti rapidi progressi in questo campo nell’uso delle reti neurali per fare previsioni utilizzando le osservazioni disponibili su campi continui o con vincoli difficili e leggi di conservazione motivate fisicamente. Queste reti neurali offrono un modo per risolvere i dispositivi PDE che integrano le soluzioni digitali tradizionali. I metodi di machine learning basati sui dati, ad esempio, sono utili quando le osservazioni sono rumorose o il modello fisico sottostante deve essere completamente conosciuto o definito.

Inoltre, i modelli neurali hanno il vantaggio di essere continuamente distinguibili nei loro input, utile in diverse applicazioni. Nella progettazione di sistemi fisici, ad esempio, i modelli sono oggetti fisici e quindi non possono essere distinti da un punto di vista analitico. Allo stesso modo, le simulazioni fisiche standard esistono in molti campi, come l’idrologia, ma le simulazioni in avanti sono scatole nere non differenziabili. Ciò rende più difficile la risoluzione di problemi di ottimizzazione, controllo, analisi della sensibilità e inferenza a posteriori. Mentre metodi complessi come l’ottimizzazione bayesiana o la modellazione di basso ordine tentano di compensare questa mancanza di differenziazione, i gradienti per le reti neurali sono prontamente disponibili ed efficienti.

Esistono molti criteri comuni alle applicazioni ML classiche, come la classificazione delle immagini, la previsione di serie temporali e l’estrazione di testo, e le valutazioni che utilizzano questi criteri forniscono un mezzo standard per testare l’efficacia e l’efficienza dei modelli ML. Attualmente è necessario disporre di standard ampiamente disponibili, praticamente semplici e statisticamente impegnativi con set di dati pronti per l’uso per confrontare i metodi nella scienza dell’apprendimento automatico. Sebbene negli ultimi anni siano stati compiuti alcuni progressi verso gli standard di riferimento, essi sperano di fornire uno standard più completo in termini di PDE coperte e consentire modi più diversi per valutare l’efficienza e l’accuratezza del metodo ML.

I problemi coinvolgono diverse equazioni di governo e diverse ipotesi e condizioni; Per un teaser visivo, vedere la figura seguente. I dati possono essere generati eseguendo il codice tramite un’interfaccia standard o scaricando set di dati di simulazione ad alta risoluzione. Tutto il codice è distribuito con una licenza open source che consente un facile riutilizzo ed estensione. Inoltre, propongono un’API per facilitare l’implementazione e la valutazione di nuovi approcci, metodi di base competitivi esistenti come FNO e modelli autoregressivi basati su U-Net e una serie di metriche delle prestazioni precalcolate per questi algoritmi. Di conseguenza, possono confrontare le loro previsioni con la “verità di base” fornita dai simulatori di base utilizzati per generare i dati.

Gli standard di riferimento nella scienza ML, come in altre aree delle applicazioni di apprendimento automatico, possono fornire dati di addestramento prontamente disponibili per lo sviluppo e il test di algoritmi senza dover creare i dati da zero. I dati di addestramento/test in queste attività di simulazione sono teoricamente illimitati perché la simulazione può generare più dati. In pratica, la produzione di tali set di dati può essere molto gravosa in termini di tempo di elaborazione, archiviazione e accesso alle competenze specialistiche richieste. PDEBENCH soddisfa anche la necessità di dati di addestramento rapidi e pronti, evitando questi blocchi stradali e fornendo al contempo una rampa facile per l’espansione futura.

In questo articolo propongono un versatile set di riferimento per Scientific ML che:

1. Fornisce diversi set di dati con caratteristiche distinte basate su 11 note PDE dipendenti dal tempo e indipendenti dal tempo.
2. Copre sia i problemi di apprendimento delle impostazioni “classiche” che quelle inverse.
3. È possibile accedervi tramite un’interfaccia unificata per leggere/memorizzare i dati in molte applicazioni.
4. È espandibile.
5. Contiene i risultati per i modelli ML più recenti (FNO, elementare e (ad es. viscosità).

Ciascun set di dati contiene campioni sufficienti per l’addestramento e il test per un’ampia gamma di valori di parametro, con una precisione sufficientemente elevata per acquisire le dinamiche locali. Inoltre, il loro obiettivo non è fornire uno standard completo che includa solo alcune possibili combinazioni di compiti di inferenza in tutti gli esperimenti conosciuti, ma rendere più facile per i futuri ricercatori valutare i loro metodi preferiti. Il loro obiettivo qui è invitare altri ricercatori a utilizzare i loro modelli pronti per l’uso per colmare le lacune stesse. Per valutare i metodi ML per problemi scientifici, prendono in considerazione molte scale che vanno oltre l’MSE standard e includono proprietà fisiche.

I risultati sperimentali preliminari ottenuti utilizzando PDEBENCH sottolineano l’importanza di criteri scientifici esaurienti di ML: non esiste un modello valido per tutti e vi è un ampio spazio per nuovi sviluppi di ML. I risultati mostrano che l’MSE nei dati dei test, la misura dell’errore standard in ML, può essere un proxy migliore per la valutazione dei modelli ML, specialmente nei sistemi turbolenti e non uniformi dove non riesce a catturare piccoli cambiamenti spaziali. Discutono anche di un’applicazione in cui il parametro PDE di base influenza notevolmente la difficoltà del problema delle linee di base ML. Il set di dati, il codice e i modelli pre-testati sono disponibili gratuitamente sul web.

This Article is written as a research summary article by Marktechpost Staff based on the research paper 'PDEBENCH: An Extensive Benchmark for Scientific Machine Learning'. All Credit For This Research Goes To Researchers on This Project. Check out the paper and code.

Please Don't Forget To Join Our ML Subreddit

READ  Chrono Trigger ora può essere giocato ufficialmente alle 21:9 su Steam

Anish Tiko è uno stagista consulente presso MarktechPost. Attualmente sta conseguendo una laurea in Data Science e Intelligenza Artificiale presso l’Indian Institute of Technology (IIT), Bhilai. Trascorre la maggior parte del suo tempo lavorando su progetti che mirano a sfruttare il potere dell’apprendimento automatico. Il suo interesse di ricerca è l’elaborazione delle immagini ed è appassionato di costruire soluzioni attorno ad essa. Ama comunicare con le persone e collaborare a progetti interessanti.