Reinforcement Learning Scheduling PPO stable-baselines3 RLlib PoC

Schedulazione di test chimici

Sistema ibrido NeuroSymbolic AI e Reinforcement Learning per l'ottimizzazione della schedulazione di test chimici, focalizzato su minimizzazione dei tempi interpretabile con Explainable AI.

Hero Media

Il Problema

Il progetto affronta la sfida della schedulazione di test chimici per lotti di produzione. L'obiettivo principale è ottimizzare la sequenza dei test per ogni lotto al fine di minimizzarne la durata complessiva, garantendo al contempo il rigoroso rispetto di vincoli di processo e temporali (scadenze dei lotti). Oltre all'efficienza temporale, il problema richiede la capacità di estrarre informazioni utili per spiegare e giustificare la soluzione ottenuta agli operatori umani.

La Soluzione

L'approccio proposto si basa su un'architettura ibrida che integra NeuroSymbolic AI e Reinforcement Learning. Il sistema elabora un elenco di test da eseguire e genera una schedulazione ottimizzata. Un ulteriore componente fondamentale è l'Explainable AI, introdotta per rendere trasparente il processo decisionale dell'algoritmo generando diagrammi di Gantt della soluzione ottimizzata ed heat-map che permettono di avere sotto controllo il carico delle macchine.

Approfondimento tecnico
  • 🚀 Panoramica: Il problema viene modellato come Flexible Job‑Shop Scheduling Problem (FJSSP).
  • 🧩 Ambiente (FJSSPEnv): ambiente Gym‑compatibile, altamente configurabile (job, task, macchine, durate e variabilità degli interventi umani) per simulare scenari di diversa complessità.
  • 🤖 Agent & Algoritmi: implementazioni di riferimento per PPO (stable‑baselines3) e esperimenti comparativi con RLlib per benchmarking.

Risultati

Il PoC ha prodotto risultati incoraggianti: nelle istanze di test gli agenti hanno mostrato riduzioni del makespan e un migliore utilizzo delle risorse rispetto a politiche casuali e greedy, spingendo a proseguire nello sviluppo e nell'affinamento degli agenti.

Ti interessa questa tecnologia e vuoi applicarla nella tua azienda?

Contattaci