Journal des sciences théoriques et computationnelles
Libre accès

Abstrait

Simplification des architectures d'apprentissage automatique avec une plateforme de streaming d'événements

Kai Waehner

L'apprentissage automatique (ML) est séparé en formation de modèles et en inférence de modèles. Les frameworks ML utilisent généralement un lac de données comme HDFS ou S3 pour traiter les données historiques et former des modèles analytiques. L'inférence et la surveillance de modèles à l'échelle de la production en temps réel constituent un autre défi courant à l'aide d'un lac de données. Mais il est possible d'éviter complètement un tel magasin de données en utilisant une architecture de streaming d'événements. Cette conférence compare l'approche moderne aux alternatives traditionnelles de traitement par lots et de big data et explique les avantages tels que l'architecture simplifiée, la capacité de retraiter les événements dans le même ordre pour former différents modèles et la possibilité de créer une architecture ML évolutive et critique pour les prédictions en temps réel avec beaucoup moins de maux de tête et de problèmes. La conférence explique comment cela peut être réalisé en exploitant les frameworks open source Apache Kafka et TensorFlow.