Articles


Mai

29

2019

Databricks



Unifying Data Science and Engineering


Nous sommes confrontés à un marché où la demande est en très forte croissance, que ce soit aux Etats-Unis, mais aussi en zones Europe, Moyen-Orient et Afrique comme en Asie-Pacifique. Toutes les entreprises, des start-up aux grands groupes en passant par les sociétés de taille moyenne, se rendent compte qu’elles ne pourront pas faire sans l’IA. Et la tendance devrait s’étaler sur au moins une dizaine d’années.

Ali Ghodsi, cofondateur et CEO de Databricks


Fondation

Databricks a été fondée à l’UC Berkeley AMPLab par l’équipe qui a créé Apache Spark. Nous avons travaillé pendant les six dernières années sur les systèmes de pointe pour extraire la valeur du Big Data. Nous croyons que le Big Data est une opportunité énorme qui est encore largement inexploité, et nous travaillons à révolutionner ce que vous pouvez en faire.

Les objectifs

Démocratiser l’IA quelle que soit la taille de l’entreprise, tel est l’objectif du californien Databricks. Pour relever ce défi, la société de San Francisco est parvenue à lever pas moins de 498,5 millions de dollars depuis sa création en 2013. Lors de son dernier tour de table début 2019 (de 250 millions de dollars), Databricks a annoncé avoir hissé sa valorisation à 2,75 milliards de dollars, et passé le cap des 100 millions de dollars de revenu annuel récurrent à l’issue de 2018. Il faut dire que ses fondateurs ne sont pas nés de la dernière pluie. Il s’agit des créateurs de la célèbre infrastructure de calcul distribuée Apache Spark. Le framework constitue la base de leur offre. Avec des bureaux en Allemagne, au UK, en Australie, en France, en Inde, à Singapour et aux Pays-Bas, Databricks compte quelque 800 salariés à ce jour, et entend dépasser le millier d’employés d’ici 2020. 

La valeur ajoutée de databrick

La valeur ajoutée de Databricks ?
Proposer une plateforme cloud conçue pour faire face à la fois au défi du big data (traiter des Po de données) et à l’enjeu de l’intelligence artificielle (appliquer à ces volumes d’informations des algorithmes de machine learning).

Databricks recouvre l’intégralité du processus d’IA. En amont, elle gère via Spark la fédération des données réparties au sein des bases relationnelles, data warehouses, services cloud de stockage de l’entreprise. Ensuite, par le biais de la brique Delta Lake, elle cible la gouvernance des données, leur mise en conformité, leur sécurité, le management de leur qualité. Puis avec MLFlow et Runtime for ML, elle permet de créer les modèles d’IA, les entrainer en se basant là encore sur Spark et, enfin, les déployer sur le terrain.


l’automatisation du machine learning

Pour la suite, Databricks est en train de développer une infrastructure de management IT sans serveur ou serverless. « Les données pourront être gérées sur Delta Lake sans avoir à piloter de serveur virtuel », explique Ali Ghodsi. En parallèle, Databricks planche sur des fonctionnalités d’automatisation du machine learning qui viendront se greffer à MLFlow. « Elles permettront de dénicher automatiquement le bon modèle, les bons paramètres et la bonne architecture d’entraînement, en fonction du data set. »
Databricks compte aussi livrer des mécanismes de transfert d’apprentissage, que ce soit entre les modèles d’un même client ou de plusieurs clients (pour peu que ces derniers parviennent à se mettre d’accord sur ce mode opératoire), ou encore en tirant profit du savoir-faire d’un modèle mis en open source par un tiers.

Les liens externes

Microsoft investit dans la start-up Databricks :

Microsoft vient de prendre une participation dans la jeune pousse spécialisée en Big data : Databricks. Cette société vient de boucler une levée de fonds de 250 millions de dollars à laquelle ont pris part Microsoft ainsi qu’Andreessen Horowitz, Coatue Management et New Enterprise Associates. L’opération valorise Databricks à 2,7 milliards de dollars.
La société prévoit d’utiliser cet argent frais pour embaucher, ouvrir de nouveaux bureaux et prendre pied sur de nouveaux marchés comme les médias, le commerce de détail et les administrations

Parmi les concurrents de cette start-up, on peut citer Saagie, ForePaaS, Verteego et Dataiku.

Microsoft et Azur

Quelques liens sur l’imbrication Azur et Databricks :

Azure Databricks : Fast, easy, and collaborative Apache Spark–based analytics service
Didacticiel : Extraire, transformer et charger des données à l’aide d’Azure Databricks

Pour le futur

Inscrit également à sa feuille de route, Databricks envisage en outre de porter sa solution sur d’autres clouds que ceux d’Amazon (AWS) et de Microsoft Azur.

Il y aura d’autres clouds. Mais il est encore trop tôt pour dire lesquels. Sur cette question, nous sommes attentifs aux demandes de nos client

Ali Ghodsi

Pour aller plus loin

Le site de certification : academy.certifications

Le forum FAQ : forums.databricks.com

Capterra : avis sur databricks


Voir l’article


Article précédent : Open source – quand internet révolutionne le partage


Title

Databricks
Mai

29

2019

Databricks

Unifying Data Science and Engineering Nous sommes confrontés à un marché où la demande est en très forte croissance, que ce soit aux Etats-Unis, mais aussi en zones Europe, Moyen-Orient et Afrique comme en Asie-Pacifique. Toutes les entreprises, des start-up aux grands groupes en passant par les sociétés de taille moyenne, se rendent compte qu’elles ne pourront pas faire sans l’IA. Et la tendance devrait…


Retour