Skip to content

Uma Educação sobre Simulação Discussão

  • Academic

O desafio

por Andrew J. Collins, Ying Thaviphoke, James F. Leathrum, Jr., David Sturrock

Conforme apresentado na Conferência de Simulação de Inverno de 2019

Este artigo apresenta três pontos de vista diferentes sobre os problemas enfrentados no desenvolvimento de material educacional de modelagem e simulação (M&S). Dois ambientes educacionais - acadêmico e comercial - são discutidos. O artigo começa com uma discussão sobre o estabelecimento do programa de graduação em engenharia de M&S na Old Dominion University. Em seguida, o documento explora a educação em um ambiente comercial, discutindo os desafios e as possíveis conexões entre os dois ambientes. As questões associadas que surgiram na comunidade de M&S, especialmente o problema de acessibilidade, são discutidas por meio dos resultados de um workshop. Há uma forte relação entre a educação em M&S e a facilidade de determinar a utilidade da M&S (ou seja, a evidência de sucesso em aplicativos de M&S). Este documento defende que estudos de caso detalhados sejam desenvolvidos e usados nas salas de aula de M&S. Quanto mais estudos de caso (bem-sucedidos e não bem-sucedidos), maior a chance de entender diferentes tipos de problemas complexos.

Introdução

Embora muitas vezes tenhamos a tendência de pensar em "educação" em termos de educação formal oferecida por faculdades e universidades (Acadêmica), a educação fora desses limites (Comercial) também é significativa. Tanto a acadêmica quanto a comercial têm suas demandas exclusivas. Um dos objetivos mais importantes de um ambiente acadêmico é formar graduados que estejam prontos para trabalhar em um setor, enquanto a educação em um ambiente comercial gravita em torno da solução de problemas específicos. O ensino de M&S não é exceção. É necessário garantir que os participantes (ou seja, os alunos) estejam equipados com conhecimentos gerais para entender o conceito de M&S no meio acadêmico. Por outro lado, na área comercial, a necessidade é garantir que os participantes (ou seja, a equipe) adquiram as habilidades necessárias para resolver problemas específicos. Este documento discute alguns dos desafios enfrentados pelos desenvolvedores de conteúdo educacional nesses dois ambientes e conclui apontando algumas de suas semelhanças.

O restante deste documento está dividido em três seções, cada uma escrita por um autor diferente. A primeira seção analisa os problemas do desenvolvimento de um curso de graduação em M&S. Em seguida, discute-se os desafios enfrentados no ambiente educacional de simulação comercial. A última seção discute a acessibilidade e a necessidade de bons estudos de caso de M&S. Por fim, são apresentadas as conclusões.

A solução

Educação acadêmica em engenharia de M&S - James Leathrum

A discussão desta seção vem da perspectiva da criação do primeiro programa de graduação em engenharia de modelagem e simulação na Old Dominion University (ODU) e seu impacto no programa de pós-graduação associado. O programa de pós-graduação é relativamente maduro, tendo formado seu primeiro aluno em 1999, enquanto o programa de graduação é relativamente novo, tendo formado seus primeiros alunos em 2013. O programa se esforça para ser um programa de engenharia em que os formandos sejam capazes de dar suporte a outras áreas de ciência/engenharia/econômica para entender e prever o comportamento de sistemas de interesse.

Currículo

O programa de graduação foi desenvolvido como resultado de várias tendências do governo (NSF 2006; NRC 2006; Scott 2007) e da literatura predominante (Rogers 1997; Petty 2006; Mielke 2009). Em (Leathrum e Mielke 2012; Mielke et al. 2011; McKenzie et al. 2015), foram apresentados os vários fatores que influenciaram o projeto do currículo. Os fatores incluem o Corpo de Conhecimento em M&S (Oren 2005), um conselho consultivo industrial (inclui membros do setor e do governo), o Conselho de Credenciamento de Engenharia e Tecnologia (ABET) (McKenzie 2015; ABET 2012), necessidades internas de pesquisa e requisitos de educação geral da universidade. Essas influências geralmente são opostas; por exemplo, os requisitos de educação geral da universidade retiram horas de crédito que poderiam ter sido empregadas para dar uma cobertura melhor/qualquer cobertura a tópicos como álgebra linear e modelagem baseada em agentes.

Nossa meta para o desenvolvimento curricular era produzir um graduado bem equilibrado. Buscou-se um equilíbrio entre:

  • Conceitos básicos de M&S - paradigmas de modelagem e simulação: evento discreto, contínuo e Monte Carlo (embora Monte Carlo receba um tratamento mínimo, devido às restrições de horas de contato),
  • Análise - modelagem de dados de entrada, probabilidade e estatística, geração de números aleatórios, análise de saída, verificação e validação, e
  • Projeto de software de simulação - aplicativo de simulação, executivo de simulação e projeto e desenvolvimento de ferramentas de simulação.

O currículo desenvolvido está ilustrado na Figura 1. Além disso, foi considerado importante expor os alunos aos campos de aplicação, já que a M&S é realmente uma disciplina de apoio. Portanto, os alunos são obrigados, por meio de cursos eletivos, a fazer aulas de nível superior em um campo de sua escolha relacionado à M&S. As disciplinas eletivas devem ser aprovadas por um orientador para garantir que proporcionem uma experiência adequada. As áreas de aplicação frequentemente escolhidas incluem física, biologia, engenharia biomédica e sistemas autônomos. Para ajudar nesse processo, o aluno pode usar esses cursos para satisfazer uma concentração, por exemplo, fabricação digital, segurança cibernética, transporte e jogos sérios. Eles também tendem a optar por fortalecer suas habilidades básicas em matemática e ciência da computação. Esses cursos fortalecem sua capacidade de se comunicar com especialistas no assunto.

Os alunos do programa de graduação são muito procurados pelos empregadores. Antes da formatura, os alunos estão tendo várias oportunidades de estágio, e frequentemente temos mais solicitações de estagiários do que alunos. Também estamos observando uma alta porcentagem de alunos que vão para a pós-graduação. Aqueles que optam por entrar no mercado de trabalho estão encontrando emprego em vários setores (construção naval, transporte, simulação, empreiteiras do governo etc.), bem como no governo, especialmente na Marinha (a ODU fica em Norfolk, VA, que é uma cidade da Marinha). A turma de formandos de 2017 (a mais recente para a qual há dados completos disponíveis) teve 100% de formandos com emprego ou que continuaram a pós-graduação após a formatura. Sessenta por cento da turma de 2020 teve oportunidades de estágio na área de M&S.

Problemas educacionais encontrados

Infelizmente, nem tudo são rosas. Há uma série de problemas encontrados no ensino de um curso de graduação em M&S. Vários problemas particularmente difíceis são discutidos aqui.

Prática vs. Educação Clássica

Sempre que se cria um novo currículo, é comum o problema de encontrar material educacional adequado para apoiar os cursos. No início, isso não parecia ser um grande problema, já que os programas de pós-graduação em M&S existem há décadas. Uma exceção é que os programas de pós-graduação geralmente não abordam o desenvolvimento de software, o que resulta em uma falta de livros didáticos. Um exemplo de livro-texto (Nutaro 2011) orienta o aluno no desenvolvimento de software para uma simulação de eventos discretos, mas não aborda a criação de um executivo de simulação reutilizável, o que exige conhecimento de conceitos de programação que não costumam ser ensinados nem mesmo em um curso de graduação em ciência da computação - um exemplo de conceito são os padrões de comando para encapsular chamadas de método para execução futura.

Figura 1: Núcleo curricular do curso de graduação em Engenharia de M&S da Old Dominion University (McKenzie et al., 2015).

Um problema maior surgiu quando ficou óbvio que o material educacional existente não aborda necessariamente o estado atual da M&S. Um exemplo é a simulação de eventos discretos, em que originalmente seguimos o material clássico gerado no campo da engenharia industrial. Mas rapidamente surgiram vários problemas. Primeiro, os modelos de filas utilizados não se aplicam bem a todos os campos, como a simulação de circuitos digitais. Segundo, o material se baseia principalmente no ensino da visão de mundo do agendamento de eventos, que se concentra na execução de eventos que modificam o estado do sistema e agendam novos eventos em um determinado momento. No entanto, Rashidi (2017) mostrou que a maioria do setor utiliza a visão de mundo da interação de processos, sendo a programação de eventos a segunda mais predominante. A interação do processo se concentra nos processos ou no fluxo lógico de entidades por meio do sistema. Isso exigiu que o material ensinado fosse reconsiderado, mas esperamos que sem criar uma quantidade maior de conteúdo. Procuramos encontrar pontos em comum entre as visões de mundo para fins de ensino, em vez de tratá-las como conceitos distintamente diferentes (Leathrum et al. 2017). No entanto, há pouca literatura educacional para apoiar esse esforço.

Impacto no currículo de pós-graduação

À medida que nossos alunos de graduação concluem o curso, é desejável dar-lhes opções para continuar a estudar. Vários deles se formaram em outras disciplinas, inclusive em sistemas autônomos, transporte e até mesmo em medicina. Para aqueles que desejavam continuar no campo principal de M&S, era desejável adaptar nosso programa de pós-graduação para dar suporte a esses alunos. Infelizmente (ou felizmente, dependendo do seu ponto de vista), os alunos de graduação eram superqualificados para o nosso próprio programa de mestrado. Isso resultou na atualização do programa de pós-graduação. Isso estava se tornando cada vez mais necessário, mesmo sem o programa de graduação, pois o aluno médio que entrava no programa não era capaz de suportar grande parte dos esforços de pesquisa em andamento, especialmente aqueles que envolviam o desenvolvimento de software. Foram criados cursos de nivelamento acelerado para levar os alunos de outras disciplinas a um nível aceitável antes do início do curso básico, permitindo que nossos próprios alunos de graduação se beneficiassem do programa de pós-graduação, ignorando os cursos de nivelamento.

Recrutamento

O recrutamento foi o problema mais desafiador encontrado no desenvolvimento do programa de graduação. O programa de pós-graduação sempre se baseou nas necessidades do setor/governo/pesquisa, conforme as experiências dos alunos em potencial, seja como alunos de graduação ou retornando à escola para obter um diploma com base nas necessidades do local de trabalho. No entanto, os possíveis alunos de graduação não conhecem/compreendem a M&S. Quaisquer preconceitos tendem a ser influenciados por jogos e eles não apreciam a engenharia envolvida.

As dificuldades de recrutamento incluem a educação do público e os bloqueios/expectativas institucionais. Ao conversar com os possíveis alunos, o principal esforço é educá-los sobre o que é a engenharia de M&S, um problema que não é encontrado em outros programas de engenharia (embora os possíveis alunos não entendam de fato as outras disciplinas, eles apenas acreditam que entendem e, portanto, estão interessados). Entretanto, uma vez que se tenha acesso aos alunos, não é difícil deixá-los entusiasmados com as possibilidades.

Mas o acesso aos alunos é o segundo obstáculo que é mais bem resolvido com recursos institucionais. Se a universidade não estiver disposta a fornecer recursos para ter acesso aos alunos, seja pessoalmente ou por meio da mídia, fica difícil para um programa autofinanciar esses esforços. A ODU tem um programa acadêmico exclusivo que deve ser bem vendido em todo o país, mas que requer acesso a bancos de dados de alunos qualificados para comunicação direta ou acesso à mídia para comunicações por transmissão. Além disso, os acadêmicos de engenharia não são bem qualificados no campo da publicidade, especialmente com a rápida mudança no campo da comunicação com adolescentes por meio das mídias sociais.

Por fim, estamos observando o impacto das percepções internas dos alunos sobre o programa. Inicialmente, os alunos viam o programa como difícil, o que resultava em um número baixo de alunos, mas de alta qualidade. Em seguida, houve uma mudança em que os alunos pareciam ver o programa como o mais fácil, o que resultou em um maior número de matrículas, mas um maior desgaste devido à má preparação dos alunos. Agora, a percepção voltou a ser difícil, mas resultando em alunos de alta qualidade, mas em um número maior deles. Acredita-se que essa flutuação se deva a falhas na orientação externa (divisão de calouros) e nas interações entre colegas. A orientação foi resolvida, mas é mais difícil lidar com as interações entre colegas. A atração por alunos de alta qualidade é destacada pelo fato de que, em seu curto período de existência, o programa formou dois alunos premiados como os melhores alunos de engenharia da faculdade, apesar de o aluno ter uma fração do tamanho dos outros programas.

Interesse em computação

Outro problema encontrado na ODU é fazer com que os engenheiros se interessem por computação. Infelizmente, o curso de ciência da computação para calouros não tem pré-requisitos de matemática, portanto, o material do curso é de pouco interesse para os alunos de engenharia e muitos alunos acabam perdendo o interesse pelo lado computacional da engenharia, um problema que a engenharia da computação tem sofrido. Uma tentativa de resolver esse problema começou com a engenharia ensinando seu próprio curso de programação para calouros. Isso envolve as tarefas de programação dos alunos com foco na solução de problemas de engenharia, incluindo controle robótico, criptografia de dados, programação de máquina de estado e análise de dados. O resultado é que, embora seja mais difícil, os alunos percebem a conexão com a engenharia. Essa ideia foi bem recebida por outros programas de engenharia, pois ofereceu a eles a chance de influenciar o conteúdo para incluir uma introdução ao MATLAB.

Ensino à distância

O momento da criação do programa de graduação coincidiu com uma iniciativa da universidade de criar programas de ensino à distância. Por ser um programa novo, a universidade o considerou um candidato perfeito para um programa de ensino à distância. Isso teve prós e contras. Os prós se referem ao apoio institucional para o recrutamento, já que o ensino à distância forneceu o único apoio publicitário. Os contras estão relacionados às dificuldades de trabalhar com as dificuldades de se tornar on-line enquanto ainda se desenvolve o programa. Acreditamos que tivemos sucesso com o conteúdo on-line, mas síncrono, embora apenas dentro do nosso controle. Perdemos um pouco do apoio ao ensino à distância, pois não podemos oferecer o programa completo on-line, já que dependemos de outros programas para oferecer matemática e ciências e, se eles não estiverem dispostos a oferecer conteúdo on-line, não poderemos divulgar o programa inteiro on-line.

Credenciamento ABET

Há desafios associados ao credenciamento por sermos o primeiro programa de uma nova disciplina de engenharia. O credenciamento é importante para se estabelecer como um programa legítimo de engenharia. O leitor deve consultar (McKenzie et al. 2015; McKenzie 2015) para obter detalhes sobre esse processo. Mas, em resumo, um novo programa em uma nova disciplina deve ser credenciado como um programa de engenharia geral na ausência de uma categoria ABET estabelecida. Isso cria obstáculos adicionais no processo. Ficamos extremamente surpresos e satisfeitos por receber o credenciamento total (6 anos) sem nenhuma preocupação como resultado da primeira visita. Mas é fundamental planejar a ABET no desenvolvimento do currículo para garantir que todas as áreas de conteúdo sejam suficientemente cobertas e avaliadas.

Resultados curriculares

Vários resultados importantes foram obtidos com o desenvolvimento do currículo e a população de alunos resultante. Em primeiro lugar, o programa se tornou o primeiro programa de engenharia de M&S credenciado pela ABET, recebendo o credenciamento total, para grande satisfação do corpo docente envolvido. O aprimoramento contínuo por meio da contribuição do corpo docente, do nosso conselho consultivo industrial (um grupo altamente envolvido) e dos alunos formados resultou em uma experiência ainda melhor do que o currículo original.

Mas o mais importante é o próprio corpo discente. O programa atraiu alunos de alta qualidade. As primeiras sete turmas de graduação produziram duas vezes o melhor aluno de engenharia da faculdade, um feito e tanto para um programa que ainda é, de longe, o menor em uma ordem de magnitude. Os alunos também têm acesso a uma grande variedade de oportunidades de pós-graduação, incluindo escolas de pós-graduação de grande prestígio, faculdade de medicina e empregos de alta qualidade no setor e no governo. Embora os problemas destacados aqui sejam reais e justifiquem mais atenção para melhorar a experiência educacional, a qualidade resultante dos graduados justifica facilmente o esforço.

Simulação na educação comercial - David Sturrock

Quando as organizações implementam inicialmente a simulação para resolver problemas urgentes, elas geralmente buscam primeiro o conhecimento interno, mas esse conhecimento geralmente não existe. Às vezes, já se passou tempo suficiente para que o conhecimento tenha sido esquecido em grande parte ou tenha se tornado desatualizado à medida que a tecnologia continua avançando. Às vezes, o produto aprendido na escola não é o produto selecionado para uso, ou talvez não haja conhecimento de simulação entre a equipe atual.

Em muitos casos, as organizações simplesmente identificam a simulação como uma tecnologia tão importante que desejam oferecer à sua equipe um treinamento oportuno e especializado no produto escolhido para maximizar a probabilidade de sucesso e minimizar o tempo de sucesso. Esse treinamento geralmente é fornecido pelo setor privado - por exemplo, os fornecedores dos produtos de simulação, parceiros desses fornecedores ou instrutores que são independentes de qualquer produto.

No entanto, esse treinamento comercial tem muitos problemas e desafios diferentes que normalmente não são encontrados no treinamento acadêmico tradicional. Exploraremos alguns desses problemas nas seções a seguir.

Histórico e homogeneidade do aluno

Os cursos acadêmicos geralmente são oferecidos em níveis específicos (3º ano, pós-graduação, ...), mas os cursos comerciais geralmente são frequentados por uma grande variedade de participantes. Não é incomum que uma turma seja composta por alguns "especialistas" que usaram a simulação amplamente durante anos, vários novatos com um mínimo de experiência em simulação (e, muitas vezes, com um mínimo de experiência técnica) e outros com diferentes graus de experiência. Esse tipo de curso às vezes é chamado de "aula de banheira" com base no gráfico de frequência do histórico dos participantes. Manter os especialistas desafiados e interessados, sem deixar os novatos para trás, pode ser um grande desafio.

Em cursos comerciais oferecidos nas instalações do cliente, os clientes geralmente querem aproveitar o fato de os gerentes e as partes interessadas participarem de pelo menos uma parte do curso. Isso permite que esses usuários entendam melhor os projetos e as atividades dos modeladores. No entanto, isso também aumenta a pressão para que os materiais ou módulos do curso possam ser ensinados a alunos com diferentes históricos, objetivos e expectativas.

Avaliação e preparação do aluno

Enquanto os alunos acadêmicos esperam ser avaliados, os alunos comerciais raramente esperam esse grau de rigor, mas esperam um certificado para reconhecer suas realizações. "Se você der nota, eles farão" é um ditado frequentemente citado no meio acadêmico. Mas isso geralmente não se aplica aos cursos comerciais. Os participantes comerciais têm "empregos diários" que, muitas vezes, impedem a realização do trabalho prévio e da preparação que eles gostariam de fazer. Portanto, embora possamos sugerir e até mesmo "exigir" pré-tarefas e pré-requisitos para ajudar a superar a "banheira" discutida acima, em um ambiente comercial geralmente precisamos ensinar as pessoas que aparecem, independentemente de sua formação ou grau de preparação.

Participação/foco

Outro aspecto comercial é que os "trabalhos diários" dos participantes muitas vezes não permitem que eles se concentrem totalmente no curso em si. Não é incomum que uma pessoa seja chamada por uma hora ou meio dia para tratar de assuntos urgentes. Isso é especialmente comum em cursos oferecidos no site do cliente. Em um curso acadêmico, ministrado em uma longa série de intervalos de curta duração (como 30 aulas de 1,25 hora), há bastante tempo entre as aulas para recuperar os materiais perdidos. Em um curso comercial, se alguém perder meio dia de um curso intensivo de vários dias, haverá muito pouca oportunidade de recuperar o atraso.

Expectativas de uso imediato

Os alunos acadêmicos geralmente buscam a simulação porque ela é necessária, para obter informações gerais ou talvez para usar em um curso ou projeto posterior. No entanto, espera-se que os alunos da área comercial concluam um projeto importante e de tempo crítico dentro de semanas após o curso. Embora a competência básica seja uma expectativa razoável em um curso curto, desenvolver o domínio em nível de projeto é um desafio. Por esse motivo, é comum estender o curso formal com uma sessão informal de "início rápido", na qual os instrutores ajudam a determinar a abordagem correta e proporcionam um bom começo em seu primeiro projeto.

Aprendizado geral versus aprendizado específico do produto

Em um curso universitário, geralmente considera-se importante preparar os alunos para usar a simulação com qualquer produto, em qualquer domínio. Portanto, os instrutores geralmente se concentram em tópicos genéricos, como o funcionamento de um calendário de eventos ou como abordar a verificação e a validação. Mas nas aulas comerciais, dada a necessidade de uso imediato, os alunos querem se concentrar apenas em tópicos de uso imediato e apenas no produto que usarão. Portanto, eles estão mais interessados em tópicos como "Como o calendário de eventos do produto X afeta minha modelagem?" ou "Como posso usar os recursos de depuração do produto X para verificar e validar meu modelo?" Por mais que um instrutor deseje transmitir mais informações gerais e de "fundo", as pressões de tempo e as demandas dos clientes geralmente limitam a oportunidade de fazer isso em um curso comercial.

Esse mesmo conceito também se aplica a questões estatísticas. Dada a grande variedade de experiências dos alunos em um curso comercial, não é incomum ter alunos com pouca ou nenhuma experiência em estatística. É um desafio transmitir conhecimento estatístico adequado dentro do escopo de um curso relativamente curto. Uma solução parcial é concentrar-se na análise estatística incorporada ao produto que está sendo ensinado.

Domínio do aplicativo

Semelhante às aulas acadêmicas, as aulas públicas comerciais geralmente incluem alunos de vários domínios de aplicativos, mas, diferentemente das aulas acadêmicas, é mais provável que os alunos comerciais tenham grande interesse e conhecimento em um único domínio e pouco interesse ou conhecimento de outros domínios. Eles esperam que os materiais e os exemplos das aulas sejam personalizados para que possam compreender o máximo possível. Isso é ainda mais verdadeiro quando os cursos comerciais são ministrados de forma privada (por exemplo, no local para um único cliente). Por exemplo, um cliente do setor aeroespacial não quer ver o treinamento ilustrado com exemplos do setor de saúde, mas sim com exemplos do setor aeroespacial. Em um ambiente acadêmico, muitas vezes é possível reutilizar os mesmos materiais para todas as aulas, mas há uma necessidade muito maior de personalização no ambiente comercial.

Resumo dos desafios na educação comercial

Embora, superficialmente, possa parecer que os cursos de simulação acadêmicos e comerciais sejam semelhantes, na verdade, há muitas diferenças. A variedade de experiências dos alunos, o nível de preparação e o foco/intensidade, combinados com suas expectativas de uso imediato na solução de problemas em seu próprio domínio de aplicação, tornam os cursos comerciais bastante desafiadores para o ensino. Ao levantar essas questões neste painel de discussão, espera-se que possamos trocar ideias, abordagens e possíveis soluções para tornar o ensino comercial mais fácil e eficaz.

A necessidade de estudos de caso - Andrew Collins e Ying Thaviphoke

As duas seções anteriores forneceram algumas informações sobre a educação de M&S, tanto do ponto de vista acadêmico quanto comercial. Essas seções destacaram algumas das dificuldades técnicas da criação de conteúdo educacional nesses domínios. A premissa subjacente dessas seções é que aqueles que estão sendo educados precisam aprender sobre M&S. E quanto à educação daqueles que não conhecem a M&S ou que têm pouco ou nenhum interesse nela? Para que a M&S se expanda, novas pessoas precisam tomar conhecimento de sua capacidade. Para entender como podemos conscientizar mais pessoas sobre a M&S, realizamos um workshop com profissionais de M&S para entender o que pode ser feito para ajudar a educar a comunidade em geral.

A simulação é amplamente usada para educação e treinamento em determinados domínios (ou seja, militar e de saúde). Somente o mercado de simulação e treinamento militar dos EUA é estimado em US$ 10,31 bilhões em 2016 (Marketsandmarkets 2016) e há um mercado de simulação de saúde em expansão, que pode valer mais (Severinghaus 2012). Considerando esse sucesso fenomenal nessas áreas, pode ser surpreendente que a M&S não seja usada em todos os lugares. A falta de propagação da simulação, além de suas áreas tradicionais, pode estar relacionada a alguns dos desafios que os novos modeladores de simulação enfrentam. Há vários desafios práticos que a simulação enfrenta, desde ter os recursos financeiros para desenvolver plataformas de simulação em um ambiente tecnológico cada vez mais aberto (Joshi e Murphy, 2007) até o uso da visualização de uma simulação como um dispositivo retórico (Collins et al., 2015). A compreensão de alguns desses limites nos ajudará a entender quais requisitos educacionais precisamos oferecer aos novos usuários potenciais de M&S e tornar a M&S mais acessível à comunidade em geral.

Workshop sobre como tornar a M&S acessível

Para entender como tornar a M&S mais acessível, realizamos um workshop com especialistas em M&S para ajudar a entender esse problema (Thaviphoke e Collins 2019b). O workshop foi realizado na MODSIM World Conference & Expo 2018 em Norfolk, Virgínia, EUA. O workshop foi intitulado "Simulação para o homem comum: como tornar a M&S acessível?" A conferência MODSIM é uma conferência voltada para profissionais, o que esperávamos que pudesse dar um enfoque prático à questão do workshop. O workshop foi realizado em uma sessão curta de meio dia, com a participação de aproximadamente 20 pessoas. Os participantes eram provenientes de diversas disciplinas de M&S e incluíam pessoas dos setores público e privado. A abordagem do workshop foi usar uma versão abreviada do Strategic Options Development and Analysis (SODA) (Eden e Ackermann, 2001).

O SODA é um método de estruturação de problemas (PSMs) (Rosenhead e Mingers, 2001). O SODA foi criado para ajudar as pessoas a explorar a situação problemática antes de tomar uma decisão importante (Ackermann e Eden, 2001). Embora não fosse necessária nenhuma decisão para a pergunta feita, sentimos que o SODA representava uma maneira estruturada e sistemática de explorar a questão da acessibilidade. O objetivo principal do SODA não é agir como uma ferramenta de solução de problemas, mas sim como um dispositivo reflexivo de uma situação problemática - solução reflexiva de problemas (Eden 1988). É uma ferramenta para "fazer sentido" (Thaviphoke e Collins 2019b). O resultado do workshop foi um mapa cognitivo. O mapa cognitivo tinha trinta e dois nós (conceitos), que agrupamos em seis grupos e resumimos na Figura 2 (Thaviphoke e Collins 2019a).

Os seis metaconceitos de nosso mapa cognitivo são acessibilidade, conscientização, facilidade de determinar a utilidade, educação, multidisciplinaridade e venda. A acessibilidade refere-se à facilidade de implementação das técnicas para um novato em termos de requisitos de conhecimento e de recursos. Conscientização é o grau de conhecimento dos possíveis usuários de M&S e seus recursos. A facilidade de determinar a utilidade é autoexplicativa. Multidisciplinar refere-se ao quanto a M&S é usada em vários campos acadêmicos. Venda refere-se à facilidade de vender M&S, como uma solução, aos proprietários de problemas. Por fim, educação refere-se à disponibilidade e à qualidade do material educacional, tanto na forma escrita quanto por meio de cursos.

Todos os seis grupos, mostrados na Figura 1, estão ligados por setas de influência. Essas influências podem ser tanto positivas (verde) quanto negativas (vermelho). É perceptível que a educação está ligada a cinco dos seis grupos, o que destaca sua importância para tornar a M&S acessível. O conceito multidisciplinar teve uma influência negativa. Vamos nos concentrar aqui em como a educação em simulação pode facilitar a determinação da utilidade da simulação e como ela ajuda na acessibilidade.

Então, qual foi o principal conceito subjacente do metaconceito educacional? Foi a necessidade de estudos de caso. Os estudos de caso fornecem evidências da utilidade da M&S. Eles também fornecem informações sobre as limitações da M&S; conhecer as limitações da M&S é algo que um novo usuário em potencial provavelmente gostaria de saber. Como era de se esperar, o conceito da necessidade de estudos de caso estava fortemente ligado tanto à acessibilidade quanto à facilidade de determinar a utilidade da M&S. Portanto, concluímos que são necessários mais estudos de caso para aumentar a acessibilidade da M&S. Por que os estudos de caso são importantes?

A facilidade de determinar a utilidade da simulação é difícil. As simulações tendem a ser grandes caixas pretas que exigem um grande conjunto de habilidades para serem desenvolvidas (modelo de concepção, programação, testes etc.). É difícil mostrar como uma simulação pode beneficiar diretamente o problema de uma parte interessada porque o resultado de uma simulação não fornece necessariamente uma resposta simples para um determinado problema. Uma simulação pode proporcionar uma compreensão conceitual, especialmente de situações complexas, e é difícil quantificar essa compreensão conceitual em algum benefício. Essa falta de quantificação do benefício dificulta a determinação do retorno sobre o investimento (ROI) da simulação e não há maneiras universalmente aceitáveis de determinar o ROI de uma simulação (Oswalt et al. 2012).

Figura 2: Resultado do workshop sobre acessibilidade do problema de simulação (Thaviphoke e Collins 2019a). As setas verdes indicam uma influência positiva, enquanto as vermelhas indicam uma influência negativa.

Uma pessoa iniciante em simulação precisa fazer um alto investimento, tanto em termos de tempo quanto de equipamento, antes de poder usar uma simulação na prática para ajudá-la a entender seus problemas. Ele precisa fazer esse investimento sem contar com os números do ROI e precisa aceitar a palavra do modelador de simulação de que se trata de uma ferramenta útil. Na verdade, os novos usuários de simulação precisam dar um "salto de fé", investindo seus recursos na nova técnica de simulação. Essa não é uma situação ideal para atrair novos modeladores de simulação. Não é adequado simplesmente esperar que os tomadores de decisão usem a simulação porque a comunidade de simulação acha que ela é ótima. Existem muitas comunidades que acham que suas idéias são "ótimas" e verdadeiras (por exemplo, o recente movimento dos defensores da terra plana). Há também aqueles que estão divulgando abordagens alternativas para a simulação, prometendo altos retornos com baixos investimentos, ou seja, a solução de 80% (Collins 2012). A "venda" da simulação está acontecendo em um mercado lotado de ideias. O que precisamos fazer é mostrar aos tomadores de decisão que a simulação é excelente e, mais importante, útil, usando evidências reais. Argumentamos que fornecer estudos de caso detalhados é a chave para fornecer essas evidências e acreditamos que esse é o motivo pelo qual os estudos de caso foram um conceito tão importante em nosso metaconceito de educação no mapa cognitivo.

O que queremos dizer com estudos de caso?

Por estudos de caso, queremos dizer os detalhes do desenvolvimento de simulações reais que foram de fato usadas para ajudar os tomadores de decisão reais. Não são os casos de brinquedo fornecidos em nossos livros didáticos de simulação. Acreditamos que a criação de um banco de estudos de caso detalhados, que destacam os pontos fortes e fracos de uma simulação, fornecerá as evidências para mostrar o valor da M&S.

É necessário um banco de estudos de caso porque um tomador de decisão desejará estudar um caso que seja relativamente próximo do problema que enfrenta para que possa responder a perguntas como: a simulação será apropriada para o meu problema? Quais são suas desvantagens?

Alguns podem argumentar que as plataformas modernas de desenvolvimento de simulação facilitam a criação de uma simulação para um novo usuário e que um usuário potencial de simulação pode explorar suas ideias por meio de simulações criadas de forma simples. Não estamos contestando esse fato; no entanto, há uma grande diferença entre uma simulação de protótipo de brinquedo que pode ser criada em um pacote de software pronto para uso e uma simulação que fornece insights úteis para um problema que alguém está enfrentando. Os modelos simples são úteis quando o tomador de decisões precisa tomar a decisão de investir tempo para aprender a criar uma simulação útil e há muitas ferramentas de ensino de simulação por aí (Padilla et al. 2016); eles não são necessariamente úteis para determinar se a simulação final será de fato útil. Por isso, argumentamos que são necessários melhores estudos de caso de simulação em nossa comunidade.

Alguns já usaram uma abordagem de estudo de caso para mostrar aos novos usuários os benefícios da simulação. O livro introdutório de Wilensky e Rand (2015) sobre modelagem e simulação baseadas em agentes é efetivamente um estudo de caso após o outro, o que é uma abordagem diferente do desenvolvimento técnico usual apresentado nos livros didáticos da ABMS (Macal e North 2013).

Problemas com estudos de caso

O uso de estudos de caso tem seus problemas. Há uma série de questões que a derivação e a implementação de estudos de caso enfrentam, incluindo como incorporar estudos de caso em um currículo de educação formal e derivar estudos de caso que sejam universalmente aplicáveis a todos os usuários potenciais da simulação.

O estudo de um estudo de caso requer tempo e pode exigir um instrutor experiente. Analisar detalhadamente um estudo de caso do mundo real pode levar mais tempo do que o tempo padrão de uma aula ou workshop. Isso pode significar que os estudos de caso precisam ser incluídos em uma aula universitária. A Modelagem e Simulação, como disciplina, tem muitos tópicos a serem abordados em um currículo formal (Leathrum et al. 2017) e a inclusão de um curso de estudo de caso pode não ser possível, especialmente considerando os requisitos de credenciamento que um curso de simulação de nível universitário pode exigir. Alguns argumentariam que há coisas mais importantes do que os estudos de caso para os alunos de simulação estudarem, como os fundamentos da disciplina (Padilla et al. 2011). Portanto, se um estudo de caso exigir muito tempo para realmente explorar seu benefício, estaremos, mais uma vez, pedindo a um modelador de simulação em potencial que invista muito de seu tempo para determinar o benefício das simulações.

Nem todos os usuários de simulação têm a mesma formação acadêmica. O uso da simulação abrange desde a engenharia até a saúde e a educação. Cada assunto tem suas próprias peculiaridades, expectativas e terminologia. Por exemplo, os engenheiros defendem que a Linguagem de Modelagem Unificada (UML) seja usada como forma padrão de representar modelos baseados em agentes (Bersini 2012), enquanto os cientistas sociais defendem o protocolo ODD para representação de modelos baseados em agentes (Grimm et al. 2010). A UML é uma abordagem de nó-arco, que os engenheiros de sistemas estão acostumados a ler e interromper. O protocolo ODD é baseado em prosa, o que é mais adequado para acadêmicos de ciências humanas e sociais (Collins et al. 2015). Assim, diferentes disciplinas têm diferentes requisitos para seus padrões, o que dificulta a criação de uma abordagem universal que possa ser tentada e valorizada por todos (Collins et al. 2012; Turnitsa et al. 2012). Argumentamos que o mesmo se aplica aos estudos de caso de M&S e que é difícil encontrar estudos de caso que sejam universalmente úteis para todos os possíveis praticantes de simulação. Portanto, pode ser necessário um grande conjunto de estudos de caso.

Como um "crente" no poder da simulação, pode ser difícil imaginar nosso mundo antes da simulação. A simulação nos proporcionou imensos benefícios na maneira como entendemos as complexidades ao nosso redor; no entanto, expressar esse benefício para um leigo pode ser difícil. Embora não seja isento de problemas, o desenvolvimento de estudos de caso educacionais detalhados pode ser um passo nessa direção para ajudar outras pessoas a entender os benefícios da simulação e torná-la mais acessível.

O impacto nos negócios

Conclusão

Este artigo apresenta três pontos de vista sobre os problemas enfrentados pelo ensino de simulação. Ele discute o problema de desenvolver um curso de graduação em M&S, o problema de ensinar habilidades de simulação sob medida em um ambiente não universitário e o problema de fornecer educação em M&S a não usuários para ajudar a tornar a M&S mais acessível. Alguns temas surgiram dessa discussão, incluindo os problemas de atrair novas pessoas para a simulação (tanto para recrutar para programas universitários quanto para fazer com que novas empresas considerem o uso da simulação); e o problema de desenvolver material didático quando os alunos vêm de origens e níveis de experiência muito diferentes.

A discussão final defende o uso de estudos de caso aprofundados. Embora estudar estudos de caso seja uma atividade que consome muito tempo, ela tem um grande potencial para beneficiar tanto a educação acadêmica quanto a comercial. Na área acadêmica, ter estudos de casos reais incorporados ao currículo pode resolver o problema em que o livro-texto tradicional não consegue abordar a situação atual do mundo real. Os alunos terão a oportunidade de explorar o que realmente acontece no processo de solução de problemas usando o conhecimento de M&S. Por outro lado, os estudos de caso bem-sucedidos podem fornecer uma visão melhor dos resultados esperados do aplicativo de M&S para clientes em potencial na educação comercial. Conforme mencionado, há uma grande expectativa de uso imediato em um ambiente comercial. Os resultados do workshop mencionado neste artigo confirmaram a necessidade de mais estudos de caso na comunidade de M&S.

Agradecimentos

Os autores gostariam de agradecer a todos os participantes do workshop MODSIM World, do qual este artigo trata, que forneceram seus conhecimentos e percepções que foram muito além do que os autores poderiam ter criado por conta própria.

Biografias dos autores

ANDREW COLLINS é professor assistente da Old Dominion University no departamento de Gerenciamento de Engenharia e Engenharia de Sistemas. Ele é Ph.D. em Pesquisa Operacional pela Universidade de Southampton, e seu diploma de graduação em Matemática foi obtido na Universidade de Oxford. Ele publicou mais de 80 artigos de revisão por pares. Seus projetos foram financiados no valor de aproximadamente US$ 5 milhões. O Dr. Collins desenvolveu várias simulações de pesquisa, incluindo uma investigação premiada sobre o contágio de encerramento de empresas que incorporou redes sociais. Seu endereço de e-mail é:ajcollin@odu.edu. Seu site e currículo completo estão emwww.drandrewjcollins.com.

JAMES F. LEATHRUM, JR. é professor associado do Departamento de Engenharia de Modelagem, Simulação e Visualização da Old Dominion University. É Ph.D. em engenharia elétrica pela Duke University. Ele é o Conselheiro Chefe do Departamento do primeiro programa de graduação em Engenharia de Modelagem e Simulação. Seus interesses de pesquisa incluem simulação de eventos discretos, simulação distribuída, arquiteturas de simulação e suas aplicações. Ele é o líder do Collaborative Autonomous Systems Lab, um laboratório conjunto de graduação e pós-graduação com ênfase na oferta de experiência em pesquisa para alunos de graduação. Seu endereço de e-mail éjleathru@odu.edu.

DAVID STURROCK é vice-presidente de operações da Simio, LLC, uma empresa de software de simulação com sede em Pittsburgh, EUA. Ele é responsável pelo projeto, desenvolvimento, suporte e treinamento dos produtos de simulação e programação da Simio. Ele já ocupou cargos semelhantes na Systems Modeling, Rockwell Automation e Inland Steel. Ele tem ampla experiência em desenvolvimento de produtos, gerenciamento de produtos, trabalho com clientes e interação com parceiros comerciais, além de experiência na aplicação de simulação e programação em uma ampla variedade de aplicações. Ele tem um histórico comprovado de sucesso no mercado. Este endereço de e-mail édsturrock@simio.com.

YING THAVIPHOKE é estudante de Ph.D. na Old Dominion University, no departamento de Gerenciamento de Engenharia e Engenharia de Sistemas. Seus interesses de pesquisa são métodos de estruturação de problemas, análise de tomada de decisões e análise de sistemas complexos. Seu endereço de e-mail éythaviph@odu.edu.

Referências

ABET - Comissão de Credenciamento de Engenharia. 2012. Criteria for Accrediting Engineering Programs. http://www.abet.org, acessado em 18 de maio de 2019.

Ackermann, F. e C. Eden. 2001. "SODA - Journey Making and Mapping in Practice". Em Rational Analysis in a Problematic World Revisited (Análise racional em um mundo problemático revisitado), editado por J. Rosenhead e J. Mingers, 43-61. Chichester, Reino Unido: John Wiley & Sons Inc.

Bersini, H. 2012. "Uml for Abm". Journal of Artificial Societies and Social Simulation (Jornal de Sociedades Artificiais e Simulação Social) 15(1):9.

Collins, A. J. 2012. "Which Is Worse: Simulações em grande escala ou a solução de 80%?". SCS M&S Magazine 4(10):27-38.

Collins, A. J., D. Knowles Ball e J. Romberger. 2015. "A Discussion on Simulations' Visualization Usage" (Uma discussão sobre o uso da visualização de simulações). Em Proceedings of the 2015 Winter Simulation Conference, editado por L. Yilmaz, W. K. V. Chan, I. Moon, T. M. K. Roeder, C. Macal e M. D. Rossetti, 2827-2835. Piscataway, Nova Jersey: Institute of Electrical and Electronics Engineers, Inc.

Collins, A. J., D. Meyr, S. Sherfey, A. Tolk e M. Petty. 2012. "The Value of Modeling and Simulation Standards" (O valor dos padrões de modelagem e simulação). Em Proceedings of the AutumnSim 2012, Conference on Education and Training Modeling and Simulation (ETMS'12), editado por A. Abhari e M. Davoudpour, 1-8. San Diego, CA: Society for Modeling and Simulation International.

Collins, A. J., M. Petty, D. Vernon-Bido e S. Sherfey. 2015. "Call to Arms: Standards for Agent-Based Modeling and Simulation" (Chamado às armas: padrões para modelagem e simulação baseadas em agentes). Journal of Artificial Societies and Social Simulation 18(3):1-12.

Eden, C. 1988. "Cognitive Mapping" (Mapeamento cognitivo). European Journal of Operational Research 36(1):1-13.

Eden, C. e F. Ackermann. 2001. "SODA - Os princípios". Em Rational Analysis for a Problematic World Revisited (Análise racional para um mundo problemático revisitado): Problem Structuring Methods for Complexity, Uncertainty and Conflict, editado por J. Rosenhead e J. Mingers, 21-41. Chichester, Reino Unido: John Wiley & Sons.

Grimm, V., U. Berger, D. L. DeAngelis, J. G. Polhill, J. Giske e S. F. Railsback. 2010. "The Odd Protocol: A Review and First Update". Ecological Modelling 221(23):2760-2768.

Joshi, B. e C. Murphy. 2007. "Are You Ready? The Open Technology Development Challenge". Em Proceedings of The Interservice/Industry Training, Simulation & Education Conference (I/ITSEC), 26 a 29 de novembro, Orlando, Flórida, 1-11.

Leathrum, J. F. e R. R. Mielke. 2012. "Desenvolvimento de currículo baseado em resultados para um programa de graduação em M&S". Em Proceedings of the AutumnSim 2012, Conference on Education and Training Modeling and Simulation (ETMS'12), editado por A. Abhari e M. Davoudpour, 48-53. San Diego, CA: Sociedade Internacional de Modelagem e Simulação.

Leathrum, J. F., R. R. Mielke, A. J. Collins e M. A. Audette. 2017. "Proposta de roteiro de conteúdo de simulação unificada de eventos discretos para currículos de M&S". Em Proceedings of the 2017 Winter Simulation Conference, editado por W. K. V. Chan, A. D'Ambrogio, G. Zacharewicz, N. Mustafee, G. Wainer e E. Page, 4300-4311. Piscataway, Nova Jersey: Institute of Electrical and Electronics Engineers, Inc.

Macal, C. M. e M. J. North. 2013. "Successful Approaches for Teaching Agent-Based Simulation" (Abordagens bem-sucedidas para o ensino de simulação baseada em agentes). Journal of Simulation 7(1):1- 11.

Marketsandmarkets. 2016. Military Simulation and Training Market by Application (Airborne Simulation, Naval Simulation, Ground Simulation), Training Type (Live Training, Virtual Training, Constructive Training, Gaming Simulation Training), and Region - Global Forecast to 2021. https://www.marketsandmarkets.com/Market-Reports/military-simulation-virtualtraining- market-661.html, acessado em 18 de maio de 2019.

McKenzie, F., R. Mielke e J. Leathrum. 2015. "Um programa bem-sucedido de graduação credenciado pela EAC-ABET em engenharia de modelagem e simulação (M&SE)". Em Proceedings of the 2015 Winter Simulation Conference, editado por L. Yilmaz, W. K. V. Chan, I. Moon, T. M. K. Roeder, C. Macal e M. D. Rossetti, 3538-3547. Piscataway, Nova Jersey: Institute of Electrical and Electronics Engineers, Inc.

McKenzie, F. D. 2015. "Preparando-se para a visita da EAC-ABET para um novo programa de graduação em engenharia de modelagem e simulação". Em Anais da 13ª Conferência Internacional Anual do Consórcio Latino-Americano e do Caribe de Instituições de Engenharia (LACCEI), 29 a 31 de julho, Santo Domingo, República Dominicana, 1-11.

Mielke, R., M. Scerbo, K. Gaubatz e G. Watson. 2009. "A Model for Multidisciplinary Graduate Education in Modeling and Simulation". International Journal of Simulation and Process Modeling. 5(1):3-13.

Mielke, R. R., J. F. Leathrum e F. D. McKenzie. 2011. "A Model for University-Level Education in Modeling and Simulation". M&S Journal. 6(3):14-23.

Conselho Nacional de Pesquisa. 2006. Defense Modeling, Simulation, and Analysis: Meeting the Challenge. Washington, DC: The National Academies Press.

Fundação Nacional de Ciências. 2006. "Simulation-Based Engineering Science" (Ciência da engenharia baseada em simulação). Report of the National Science Foundation Blue Ribbon Panel on Simulation-Based Engineering Science, National Science Foundation, Washington, DC.

Nutaro, J. 2011. Building Software for Simulation: Theory and Algorithms with Applications in C++. Hoboken, NJ: John Wiley & Sons.

Oren, T. 2005. "Toward the Body of Knowledge of Modeling and Simulation". Em Proceedings of the Interservice/Industry Training, Simulation and Education Conference (I/ITSEC), 28 de novembro a 1º de dezembro, Orlando, FL, 1-19.

Oswalt, I., S. Feinberg, T. Cooley, S. Gordon, W. Waite, E. Waite, G. Lightner e R. Severinghaus. 2012. "Calculating Return on Investment for US Department of Defense Modeling and Simulation". M&S Journal (outono):4-15.

Padilla, J. J., S. Y. Diallo e A. Tolk. 2011. "Do We Need M&S Science?" (Precisamos de ciência de M&S?). SCS M&S Magazine 4(8):161-166.

Padilla, J. J., C. J. Lynch, S. Y. Diallo, R. J. Gore, A. Barraco, H. Kavak e B. Jenkins. 2016. "Using Simulation Games for Teaching and Learning Discrete-Event Simulation" (Usando jogos de simulação para ensinar e aprender simulação de eventos discretos). Em Proceedings of the 2016 Winter Simulation Conference, editado por T. M. K. Roeder, P. I. Frazier, R. Szechtman, E. Zhou, T. Huschka e S. E. Chick, 3375-3384. Piscataway, Nova Jersey: Institute of Electrical and Electronics Engineers, Inc.

Petty, M. 2006. "Curso de Visão Geral de Modelagem e Simulação para Graduados". Relatório técnico final: Contrato N00014-031-0948, Defense Modeling and Simulation Office, Alexandria, VA.

Rashidi, H. 2017. "Discrete Simulation Software: a Survey on Taxonomies" (Software de simulação discreta: uma pesquisa sobre taxonomias). Journal of Simulation 11(2),174-184.

Rogers, R. 1997. "What Makes a Modeling and Simulation Professional: The Concencus View from One Workshop". Em Proceedings of the 1997 Winter Simulation Conference, editado por S. Andradóttir, K. J. Healy, D. H. Withers e B. L. Nelson, 1375-1382. Piscataway, Nova Jersey: Institute of Electrical and Electronics Engineers, Inc.

Rosenhead, J. e J. Mingers. 2001. Rational Analysis for a Problematic World Revisited [Análise racional para um mundo problemático revisitado]: Problems Structuring Methods for Complexity, Uncertainty and Conflict (Métodos de estruturação de problemas para complexidade, incerteza e conflito). 2a ed., Chichester: Ed. Chichester: Wiley.

Scott, R. C. 2007. "HR 4165 - Fornecer subsídios para incentivar e aprimorar o estudo de modelagem e simulação em instituições de ensino superior". The Congressional Record, Congresso dos Estados Unidos, Washington, DC.

Severinghaus, R. 2012. "Simulation in Healthcare - What Is Holding Us Back?" (Simulação no setor de saúde - o que está nos impedindo?). Em Proceedings of The Interservice/Industry Training, Simulation & Education Conference (I/ITSEC), 3 a 6 de dezembro, Orlando, Flórida, 1-11.

Thaviphoke, Y., e A. J. Collins. 2019a. "Applying SODA to the Modeling and Simulation Accessibility Problem" (Aplicando SODA ao problema de acessibilidade de modelagem e simulação). Em Anais da Conferência Anual da IISE de 2019, 18 a 21 de maio, Orlando, FL, 1-6.

Thaviphoke, Y., e A. J. Collins. 2019b. "Simulation for the Common Man: How Do We Make M&S Accessible?" (Simulação para o homem comum: como tornar o M&S acessível?). Em Anais da Conferência MODSIM World 2019, 22 a 24 de abril, Norfolk, VA, 1-7.

Turnitsa, C. D., A. J. Collins, D. Meyr e S. Sherfey. 2012. "Implicações financeiras dos padrões de modelagem e simulação: Practical Aspects and Theoretical Analysis" (Aspectos práticos e análise teórica). Nos Anais do Workshop de Interoperabilidade de Simulação da Primavera de 2012, 26 a 30 de março, Orlando, FL, 164-172.

Wilensky, U. e W. Rand. 2015. An Introduction to Agent-Based Modeling (Introdução à modelagem baseada em agentes): Modeling Natural, Social, and Engineered Complex Systems with Netlogo. Cambridge, MA: MIT Press.