‎Un consorzio di 40 società del settore Hi-Tech, MLPerf, che comprende anche aziende del calibro di Facebook e Google, è stato fondato per stabilire una serie di benchmark di valutazione per le IA del futuro‎‎. Secondo il consorzio, misurando le proprie realizzazioni con questi benchmark le aziende del settore saranno infatti in grado di individuare soluzioni ottimali, guadagnando così anche fiducia nella correttezza del proprio operato.‎

‎I parametri di riferimento, denominati MLPerf Inference v 0.5, si incentrano attorno a tre tipici compiti del machine learning: classificazione delle immagini, ‎‎rilevamento di oggetti‎‎ e traduzione automatica. Date le differenti capacità di elaborazione di dispositivi diversi, i benchmark variano a seconda delle diverse piattaforme, quali smartphone, server e chip.‎

‎Oltre a fornire le linee guida consigliate alle aziende del settore per lo sviluppo delle IA, il consorzio spera che i benchmark contribuiranno a velocizzare ulteriormente l’innovazione nel settore perché le aziende, nonostante l’hype degli ultimi anni sulle IA, a quanto pare sono state abbastanza lente nell’adottare questo tipo di soluzioni.

“Creando metriche comuni e rilevanti per valutare nuove infrastrutture software di machine learning, acceleratori hardware e piattaforme cloud e edge computing in situazioni di vita reale, questi benchmark consentiranno di stabilire un piano di sarà stabilire un piano di parità su cui si potranno misurare anche le imprese più piccole”, ha dichiarato Peter Mattson, presidente generale del consorzio MLPerf.‎