Modelação e simulação de processos de decisão de Markov

Os modelos de processos de decisão de Markov (MDP) são amplamente utilizados para modelar problemas de tomada de decisão em muitos domínios de investigação. Os MDP podem ser facilmente concebidos através de modelação e simulação (M&S) utilizando o formalismo de Especificação de Sistemas de Eventos Discretos (DEVS) devido aos seus aspectos modulares e hierárquicos que melhoram a explicabilidade dos modelos. Em particular a separação entre o agente e os componentes do ambiente envolvidos no algoritmo tradicional de aprendizagem por reforço (RL) como o Q-Learning é claramente formalizada para melhorar a observabilidade e prever a integração de componentes de IA no processo de tomada de decisão. O modelo DEVS proposto também melhora a confiança dos decisores atenuando o risco de delegação em máquinas nos processos de tomada de decisão. O foco principal deste trabalho é fornecer a possibilidade de conceber um sistema Markoviano com um formalismo de modelação e simulação para otimizar um processo de tomada de decisão com maior explicabilidade através da simulação. Além disso o trabalho envolve uma investigação baseada na gestão de processos financeiros sua especificação como um sistema RL baseado em MDP e sua M&S com o formalismo DEVS.