Ensinar simulação em cursos de graduação – 4 perguntas para 4 instrutores experientes

O desafio

por Jeffrey S. Smith (Universidade de Auburn), Christos Alexopoulos (Georgia Tech), Shane G. Henderson (Universidade de Cornell) e Lee Schruben (UC Berkeley)

Conforme apresentado na Conferência de Simulação de Inverno de 2017

Este artigo e a sessão do painel correspondente concentram-se no ensino de cursos de simulação relacionados à engenharia industrial/pesquisa operacional de graduação. O formato reúne quatro instrutores experientes para discutir quatro questões que envolvem a estrutura e os tópicos dos cursos, os materiais didáticos impressos e de software utilizados e os métodos/filosofia gerais de ensino. O objetivo é fornecer algumas informações de ensino baseadas na experiência para instrutores novos e futuros e gerar discussões com a comunidade de educação em simulação.

1. Introdução

A ideia deste artigo e da sessão do painel correspondente é discutir o ensino de cursos de graduação em engenharia industrial/pesquisa operacional relacionados à simulação. O mecanismo que escolhemos foi o de quatro instrutores experientes responderem a quatro perguntas comuns sobre seus cursos, materiais e métodos/filosofias de ensino. Junto com as respostas individuais, incluímos breves discussões sobre nossas experiências individuais (boas e ruins) - afinal, a experiência é o melhor professor. Embora não seja possível no artigo, também esperamos que as perguntas estimulem a participação do público durante a sessão do painel. O documento está organizado de forma que cada uma das quatro perguntas é uma seção principal (Seções 2 a 5) e a "resposta" de cada participante é uma subseção na seção da pergunta. Terminamos com algumas observações resumidas.

A solução

2. Qual é o formato do seu curso e quais são os principais tópicos abordados?

2.1 Smith

Nosso curso (Simulação) é baseado em 2 horas de aula + 3 horas de laboratório por semana em um semestre de 16 semanas. Nos últimos anos, começamos a introduzir segmentos de vídeo para complementar as aulas teóricas e os laboratórios. Os principais tópicos que abordamos incluem:

• Noções básicas de redes de enfileiramento - Os alunos recebem uma boa dose de análise de enfileiramento de servidor único no curso de pré-requisito em pesquisa de operações estocásticas. Nosso foco principal é analisar as redes Jackson e o impacto da variabilidade, introduzindo M/G/1 e comparando várias distribuições de serviço com os resultados de M/M/1. Posteriormente, revisitaremos esse conceito usando modelos de simulação e expandiremos a análise de rede envolvendo distribuições não markovianas e suposições de enfileiramento relaxadas.
• Simulação de Monte Carlo - Abordamos os conceitos básicos de Monte Carlo e trabalhamos com vários modelos de exemplo. Apresentamos a geração de variantes aleatórias de uma perspectiva prática. Usamos um modelo de Monte Carlo de saída única para introduzir/reintroduzir os conceitos de amostragem, estimativa de parâmetros e erro de amostragem no contexto da modelagem de simulação. Usamos o gráfico MORE de Barry Nelson (Nelson, 2008) para discutir os conceitos básicos de erro vs. risco.
• Simulação de eventos discretos - Abordamos os conceitos fundamentais de eventos, estados do sistema, calendários de eventos e geração/análise de caminhos de amostragem. Os alunos têm um exercício de laboratório em que geram e analisam manualmente um caminho de amostra para um sistema de filas simples.
• Simulação orientada a processos e Simio - Discutimos o ponto de vista orientado a processos e sua implementação no Simio.
• Análise de entrada - Abordamos a cobertura básica de entradas univariadas, ajuste de distribuição e estimativa de parâmetros e avaliação de ajuste.
• Análise e experimentação de outputs - Focamos na avaliação e no controle do erro de amostragem, na classificação e seleção básicas e nas estratégias e práticas de experimentação. Por fim, apresentamos a otimização baseada em simulação usando o suplemento OptQuest.

2.2 Alexopoulos

Todos os cursos de simulação na Georgia Tech (nos níveis de graduação e mestrado) são baseados exclusivamente em aulas teóricas. Nos últimos três anos, o curso de mestrado foi oferecido em conjunto com um curso de graduação avançado. Até meados da década de 1990, o curso de graduação consistia em duas aulas teóricas de uma hora e um único laboratório de três horas por semana. Essa abordagem funcionava melhor do que a abordagem atual de três horas de instrução por semana, mas o professor também era responsável por ministrar o laboratório sem receber nenhum crédito extra. A mudança ocorreu durante a conversão do sistema trimestral para semestral.

Os cursos de graduação e mestrado abrangem todos os tópicos teóricos dos textos clássicos de Banks et al. (2009) e Law (2015), com exceção do projeto de experimentos e das técnicas de redução de variância. O esqueleto de ambos os cursos consiste nos itens da lista do Jeff acima, mas a cobertura de cada tópico depende da turma. Neste momento, gostaria de salientar que gasto de 60 a 90 minutos durante a instrução de análise de dados de entrada com uma introdução à estimativa de densidade de kernel (KDE) para conjuntos de dados independentes. Esse tópico se tornou mais importante com o surgimento de "big data" com vários modos. O ajuste de KDEs pode ser feito com muita facilidade por meio de uma infinidade de funções no Matlab, Python e R, enquanto a amostragem das densidades ajustadas também pode ser feita com eficiência, por exemplo, por meio dos algoritmos da Seção 3 de Hörmann e Leydold (2000). Os métodos de classificação e seleção são abordados usando um pequeno conjunto de slides e os "add-ins" no Arena e Simio de Kim e Nelson, enquanto a otimização baseada em simulação é abordada "on the fly" usando o add-in OptQuest. O curso de graduação abrange uma grande variedade de tópicos de modelagem, incluindo simulação de sistemas de veículos e transportadores. A ênfase na modelagem é muito importante devido ao rigor da nossa aula de design sênior, em que os projetos geralmente envolvem uma combinação de modelagem e análise de simulação pesada.

2.3 Henderson

ORIE 4580 Simulation Modeling and Analysis na Cornell University é uma introdução à Simulação de Monte Carlo e de Eventos Discretos, com pré-requisitos de probabilidade/estatística no segundo ano e um segundo curso de programação. A turma é grande, composta por aproximadamente 200 alunos, sendo 110 de graduação e 90 de mestrado. Esse curso semestral inclui duas palestras de 75 minutos e uma recitação de 2 horas (laboratório) por semana. Cinco das aulas, relacionadas ao aprendizado de como usar um pacote específico de simulação de eventos discretos, são "invertidas". O curso pode ser visto como uma das duas metades, sendo que a primeira metade abrange os fundamentos da simulação de Monte Carlo e a segunda metade continua com a simulação de eventos discretos. A primeira parte começa com uma revisão dos conceitos de probabilidade, passa pela análise de saída para encerrar simulações, geração de números aleatórios, geração de variáveis aleatórias, geração de processos estocásticos, análise de entrada e conclui com uma amostra da redução de variância (antitética). A segunda metade começa com uma revisão da teoria das filas e prossegue com uma simulação manual, modelagem com um pacote de simulação (em que as aulas são invertidas), dedica algum tempo à comparação de sistemas alternativos e conclui com uma discussão sobre verificação, validação, credenciamento e gerenciamento de projetos.

2.4 Schruben

As aulas de simulação de graduação que ministrei em Cornell e Berkeley tiveram o mesmo formato: 2 a 3 aulas semanais e um laboratório/recitação com exercícios, dois exames e um produto final. Ambas as escolas têm cursos semestrais. Só ministrei um curso de um trimestre uma vez (na Flórida) e não foi muito bem. Meu objetivo principal é desafiar meus alunos a reconhecer e fazer perguntas bem formuladas e a identificar as suposições por trás das respostas. Eles também aprendem a avaliar se cada suposição tende a ser otimista ou pessimista e tentam descobrir, por meio da análise de sensibilidade, o quanto isso é importante.
Estruturalmente, meus cursos têm sido uma mistura de arte, ciência e tecnologia:

• Arte: em cerca de metade do meu curso de graduação, exploramos diferentes maneiras de modelar a dinâmica. Acredito que é importante que meus alunos consigam ver como os sistemas mudam ao longo do tempo a partir de diferentes pontos de vista. Em um alto nível: eles definem um sistema a partir das perspectivas das entidades residentes (os recursos ou servidores, como o portão de embarque de um aeroporto) e das perspectivas das entidades transitórias (como os passageiros do aeroporto). Esses dois pontos de vista são naturais para muitos sistemas de engenharia industrial, como redes de filas ou cadeias de suprimentos. Matematicamente, são perspectivas duplas (a Lei de Little relaciona as médias de tempo do que os servidores veem (suas filas) com as médias de contagem do que importa para cada cliente (seus tempos de espera)). Os alunos aprendem a modelar sistemas muito grandes com simulações muito pequenas e rápidas a partir de uma perspectiva de entidade residente. Nessa parte da "arte" de modelagem do curso, usamos três tipos diferentes de gráficos e muitas imagens (disponíveis mediante solicitação). Para simulações de eventos discretos, primeiro analisamos os sistemas como relações de eventos fundamentais usando gráficos de eventos (Schruben 1983), depois como interações de atividades de entidades residentes usando redes de Petri estocásticas (Haas 2002) e, por fim, como processos de fluxo de entidades transitórias com diagramas de fluxo de entidades usando os 7 blocos básicos do GPSS (Generate, Terminate, Queue, Depart, Advance, Seize Release e Test); gosto das formas do GPSS, pois elas reforçam visualmente os alunos (e fazem com que eles apreciem o software moderno quando o virem mais tarde). O uso dessas três ferramentas gráficas resulta em modelos diferentes para o mesmo sistema, cada um com pontos fortes e fracos diferentes. No ensino da arte de modelagem, as imagens são muito mais importantes do que o software para a visualização de sistemas a partir de diferentes perspectivas e visões de mundo. Nenhum paradigma único é ideal para todos os problemas que eles enfrentarão em suas carreiras.
• Ciência: é aqui que examinamos a modelagem da aleatoriedade (modelagem de entrada) e a análise de dados simulados (análise de saída). O material usual sobre números pseudoaleatórios, geração de variantes aleatórias e processos é abordado com ênfase na dependência de modelagem e na não estacionariedade. Em seguida, abordamos meios em lote, inicialização e controle de execução, técnicas de redução de variância e projetos experimentais com ênfase na otimização e sensibilidade da resposta da simulação. Uma excursão popular é quando eu mostro a eles como aplicar a inversão de cdf para otimizar o Problema do Fornecedor de Notícias, conhecendo apenas as fórmulas para as áreas de um triângulo e de um retângulo (pergunte-me um dia desses tomando uma cerveja). Para animar as coisas, David Goldsman me enviou uma vez um programa VBA excepcionalmente bem feito e divertido. Sam Savage me enviou um programa do Excel com variantes marginais independentes cujo gráfico de dispersão é uma carinha feliz. Tentei jogos e concursos para tornar esse assunto menos entediante; nada funciona, exceto quando jogo minha moeda de 2 cabeças para mostrar que 3 lançamentos de uma moeda não é o mesmo que jogar 3 moedas (essa é uma lição muito mais profunda do que parece).
• Tecnologia: Assim como ensino aos meus alunos três visões de mundo de modelagem gráfica, apresento a eles três pacotes de software. Para modelagem de eventos (usei o Sigma, mas estou mudando para o Tao, que espero apresentar nesta conferência). Eu os capacito a criar simulações de modelos de atividades em grande escala com o RTMS da Bio-G.com (com isenção de responsabilidade, sou cofundador). Eles veem como simular modelos de fluxo de entidades transientes usando Simio, Automod, GPSS, Siman, Slam, Flexsim, Arena e/ou Promodel. Ultimamente, tenho ficado satisfeito com o Simio, principalmente porque ele não exige trabalho algum de minha parte e requer pouco tempo de aula. Eu apenas indico ao meu TA os recursos on-line de Jeff Smith(http://jsmith.co/node/26). Depois que meus alunos aprendem a modelar com gráficos de eventos, é fácil pensar nesses gráficos como sendo compostos de ciclos de atividades de entidades residentes ou caminhos de fluxos de processos - cerca de meia hora cada um com exemplos. O motivo pelo qual ensino aos meus alunos três visões de mundo com pelo menos três implementações de software é que, como tudo na vida, se alguém sabe apenas duas "coisas" sobre algo (política, religião, simulação), só consegue ver diferenças; é preciso saber pelo menos três coisas para ver semelhanças (e mais de uma coisa para ver qualquer coisa). Para novos professores: quanto mais arte eu coloco em meu curso, mais altas são minhas avaliações de ensino. Não tenho certeza se os alunos gostam tanto da arte ou se não gostam da ciência (chata?) ou da tecnologia (frustrante?). Minhas avaliações medianas do curso variaram de um empate de quatro para o terceiro pior em nosso departamento até perfeito em todas as categorias.

3. Que livros, documentos e outros materiais didáticos você usa e está satisfeito com o material?

3.1 Smith

Uso nosso livro-texto (Smith et al., 2017) como o texto principal para nossos cursos de simulação de graduação e pós-graduação introdutória. Além disso, também uso uma quantidade significativa de material suplementar de Law (2015), Banks et al. (2009) e vários artigos da WSC e recursos relacionados que coletei durante minha carreira de professor. Nos últimos cinco anos, comecei a usar muitos módulos de vídeo para complementar nossas aulas e sessões de laboratório. Eles parecem ter causado um impacto significativo, especialmente porque o tamanho típico de nossas turmas de graduação aumentou para 90 a 110 alunos. Com esse número de alunos, descobri que fazer qualquer modelagem significativa em uma sessão de aula não é eficaz. Constatei essa mesma falta de eficácia independentemente de estarmos modelando no Simio, Arena, Excel/@Risk, Python ou Matlab (as linguagens de programação que nossos alunos aprendem) - portanto, estou convencido de que esse fenômeno não é específico de uma linguagem/ferramenta.

Em resposta, minha meta foi transferir grande parte dos aspectos "mecânicos" da modelagem para os módulos de vídeo. Isso permite que os alunos consumam (e esperamos que aprendam) o material em seu próprio ritmo. Idealmente, isso libera o tempo de aula para se concentrar em conceitos, filosofia e discussões mais gerais sobre os tópicos. Minha experiência limitada mostra que essa estratégia funciona muito bem se os alunos usarem os módulos de vídeo antes da hora do exame/atribuição.

Em geral, estou satisfeito com o conteúdo do material disponível, mas seria bom ter um único livro que abrangesse esse material. Como instrutor, estou procurando um único livro que tenha cobertura suficiente dos aspectos teóricos e do conteúdo prático/com base em ferramentas que utilizo. Como coautor de um livro-texto, pensei que isso seria fácil de criar, mas estava totalmente errado nesse pensamento - por isso ainda uso a mistura de materiais.

3.2 Alexopoulos

Usamos o texto de Banks et al. (2009) mencionado anteriormente há mais de 30 anos, mas agora o livro está envelhecido e não há previsão de revisões futuras. Há textos que combinam a cobertura básica de conceitos teóricos com linguagens/pacotes, como o Arena e o Simio, mas, na minha humilde opinião, esses textos ficam um pouco aquém da cobertura dos tópicos teóricos. Atualmente, no curso de graduação, uso o texto de Smith et al. (2017) e uma infinidade de apresentações de slides que estão disponíveis em um portal da Georgia Tech. O curso de mestrado é baseado no texto de Law (2015) e no texto do Simio acima. Nos últimos anos, também usei bastante a apostila de Joines e Roberts (2015).

Um problema com os textos que usam o Simio como ferramenta de modelagem foram as atualizações frequentes do software com definições e propriedades de objetos aprimoradas. Devo salientar que essa frequência diminuiu no último ano, pois o Simio amadureceu substancialmente. Apesar dessas mudanças, os dois textos baseados no Simio são extremamente úteis e oferecem uma cobertura adequada dos principais conceitos de modelagem e componentes de software. A disponibilidade dos vídeos instrucionais de Jeff Smith realmente ajuda. No passado, minha vida como instrutor era mais estável, pois eu ensinava GPSS, Arena e AutoMod, todos muito maduros.

3.3 Henderson

Utilizo principalmente um pacote de cursos que escrevi, com algum material adaptado de anotações compartilhadas por várias personalidades, especialmente Peter Glynn e Barry Nelson. Também recomendo a leitura do livro "Simulation Modeling and Analysis", de Law, mas não é obrigatório, e disponibilizo uma cópia de mesa na biblioteca de muitos outros livros padrão, que, a propósito, raramente são usados. Também uso um conjunto de laboratórios que foram desenvolvidos ao longo do tempo. Eles são uma mistura de problemas escritos em sala de aula e problemas de computação.

Espera-se que os alunos entrem nessa aula tendo cursado probabilidade e estatística no segundo ano e um segundo curso de programação. Para os alunos que estão fazendo o curso como graduandos em Pesquisa Operacional em Cornell, esse histórico é um pouco recente. Para os outros alunos, incluindo os alunos de mestrado em engenharia com graduação em outras universidades, o histórico está presente em uma extensão variada. Os alunos com histórico de probabilidade/estatística mais fraco têm dificuldades no primeiro mês do curso. Seria extremamente útil ter um conjunto de, digamos, 100 perguntas de múltipla escolha que os alunos pudessem fazer para autoavaliar sua preparação para o curso e, para aqueles que não têm essa formação, um tutorial de alguma forma para ajudá-los a obter a formação necessária. Esse tutorial estaria intimamente relacionado a livros didáticos de graduação em probabilidade e estatística, embora provavelmente fosse bastante seletivo. No momento, eu simplesmente indico um livro aos alunos e sugiro um conjunto de capítulos a serem absorvidos. Essa solução não parece ideal.

3.4 Schruben

O livro-texto de Choi e Kang (2013) tem sido uma dádiva de Deus para meu curso de graduação. Abordei apenas a primeira seção, pois o livro é detalhado e denso, mas foi escrito com muita clareza e em um nível matemático fácil. Posso designar leituras e exercícios desse livro sem ensinar "a partir dele". Com esse texto, é como se meus alunos já tivessem feito um curso de simulação. Suas perguntas e discussões estão em um nível qualitativamente mais profundo. Também faço referência a seções do texto clássico de Law (Law, 2015), que uso em meu curso de pós-graduação. Mais uma vez, não preciso dar aulas com base no texto de Law e posso ensinar como se meus alunos de pós-graduação já tivessem tido um curso de simulação como pré-requisito. Eu nunca "segui" um livro-texto, mas com um bom livro, posso quase espremer o material de dois cursos em um só.

4. Quais ferramentas de software e linguagens de programação você usa?

4.1 Smith

Uso o Simio para a parte de simulação de eventos discretos do curso e o Excel, Python e Matlab para a parte de Monte Carlo. Nossos alunos de graduação fazem cursos de programação baseados em Matlab e Python antes de fazer a simulação. Ministramos o curso de Python no departamento de ISE e, na verdade, cobrimos os aspectos programáticos de Monte Carlo nessa aula, o que nos permite começar com o pé direito quando eles chegam à simulação. Neste outono, estou planejando incorporar o @Risk como parte das partes de Monte Carlo e Análise de Entrada do curso.

Há vários anos, também fizemos simulação orientada a eventos usando C e/ou Java com base na exposição em Law (2015), mas abandonei esse exercício à medida que as turmas aumentaram de tamanho. Continuo achando que foi uma ótima ferramenta de aprendizado e melhorou a compreensão dos alunos sobre o mecanismo de simulação de eventos discretos, mas simplesmente havia muita sobrecarga para fazer as partes de programação com turmas grandes.

4.2 Alexopoulos

Tenho usado o Simio nos últimos 6 anos ou mais. Também usei o ExpertFit da Averill Law and Associates para análise de dados de entrada nos últimos 20 anos ou mais. Exigimos conhecimento de uma linguagem de script, como Matlab ou Python. Embora meus alunos façam cursos obrigatórios dessas linguagens, muitas vezes descubro que seu treinamento é inadequado.

Nos últimos dois anos, também adotei as ferramentas The SIPmath Modeler Tools for Excel do site www.probabilitymanagement.org para ensinar questões de estimativa relacionadas a risco e erro em experimentos de simulação. Uso essas ferramentas no início de todos os cursos de simulação e as considero muito úteis para experimentos de simulação Monte Carlo baseados em planilhas. Embora esse tópico fundamental seja abordado no Simio com o gráfico (S)MORE proposto por Barry Nelson, a pegada global do Excel e a capacidade de realizar experimentos e observar o impacto da aleatoriedade nas estimativas de risco e erro tornam essa ferramenta inestimável. Para sistemas que podem ser modelados usando planilhas eletrônicas, essas ferramentas também são úteis para ensinar a estimativa de médias e quantis de estado estável com base em replicações independentes.

4.3 Henderson

Conforme observado acima, espera-se que os alunos tenham feito um segundo curso de programação. Essa formação é mais do que realmente necessária, porque qualquer programação se restringe a problemas de lição de casa muito pequenos que geralmente podem ser concluídos em poucas linhas. Um dos motivos pelos quais exigimos um segundo curso de programação é simplesmente poder contar com uma maneira algorítmica de pensar que é essencialmente um segundo pilar para apoiar o aprendizado e a compreensão da simulação.

Os alunos aprendem os conceitos básicos de Monte Carlo (lógica do modelo, várias replicações, intervalos de confiança) por meio da modelagem "bruta" de planilhas, colocando uma única replicação em uma única linha e "preenchendo" para obter várias replicações. Somente depois que essas ideias forem dominadas, passaremos a usar o plug-in de planilha @Risk. Na lição de casa, posso pedir uma tarefa simples de programação, como a codificação do algoritmo de thinning para gerar processos de Poisson não homogêneos na linha. Na segunda metade do curso sobre simulação de eventos discretos, usamos o Simio. O curso inclui 5 aulas em que aprendemos os conceitos básicos de modelagem do Simio. Essas aulas são invertidas e realizadas em um laboratório de informática, e não em uma sala de aula. Para cada aula, peço que os alunos venham para a sala de aula já tendo assistido a um módulo da excelente série de módulos do Jeff Smith e, em seguida, dou a eles um exercício de modelagem para trabalharem. Durante esse período, também continuamos com as recitações (laboratórios), de modo que os alunos estão basicamente recebendo uma "dose dupla" de laboratórios, em vez do formato usual de aula e laboratório.

4.4 Schruben

Conforme mencionado anteriormente, mostro aos meus alunos 3 ferramentas a partir das perspectivas de 3 visões de mundo diferentes para que eles possam ver as semelhanças, não apenas as diferenças. O software que uso mudou ao longo dos anos. Sempre começo com o Sigma, que é minimalista, robusto e estável (comecei a desenvolvê-lo há três décadas). Ele foi projetado para ensinar os fundamentos de todas as três visões de mundo, e os alunos podem aprender tudo sobre gráficos de eventos em menos de 30 segundos, e eles gostam disso. Tenho muito orgulho do RTMS para modelos de interação de atividades muito grandes e complexos (fui cofundador do Bio-G há uma década, mas não fiz nenhum desenvolvimento). Ao longo dos anos, mudei entre as várias linguagens comerciais de fluxo de entidades transientes, mas ultimamente tenho ficado satisfeito com o Simio. No entanto, recomendo mudar periodicamente apenas para me manter atualizado ou sempre que houver um burburinho da WSC sobre alguma inovação radical (o que raramente é verdade). Essas linguagens são todas muito semelhantes para fins de ensino, e os detalhes avançados são conhecimentos perecíveis - eles mudarão antes que os alunos estejam em condições de usá-los profissionalmente. Recomendo que todos participem dos cursos rápidos dos fornecedores antes de usar qualquer software comercial em seus trabalhos, mesmo que eu tenha acabado de ensiná-lo.

5. Discuta sua filosofia, estratégia e métodos básicos de ensino

5.1 Smith

A simulação requer habilidades nas áreas gerais de (1) probabilidade e estatística; (2) programação; e (3) modelagem. No início de minha carreira de professor, eu supunha que os alunos adquiriam o conhecimento necessário em cada uma dessas áreas por meio dos cursos de pré-requisito (dois semestres de probabilidade e estatística, dois semestres de programação, dois semestres de OR, para nossos alunos) e que eu simplesmente juntaria essas coisas sob a égide da simulação. O que ficou evidente para mim nos primeiros anos (infelizmente demorei tanto tempo!) foi que os alunos precisavam de um reforço/revisão significativo do "material de pré-requisito" antes de poderem aplicar de forma produtiva esses tópicos/ferramentas gerais à simulação. Como resultado, minhas aulas agora cobrem aproximadamente 1/3 menos material "novo" relacionado à simulação do que no início da minha carreira. Do ponto de vista da filosofia de ensino, isso significa simplesmente que eu dedico muito tempo e esforço à integração das três habilidades básicas, o que muitas vezes exige que se retorne ao material básico que os alunos já viram nos cursos de pré-requisito para que possamos visualizá-los como um "todo" integrado na forma de simulação.

Conforme mencionado anteriormente, não achei especialmente eficaz conduzir os alunos por meio de exercícios de modelagem/programação do tipo "siga-me" em um laboratório de informática. As habilidades e os níveis de conforto dos alunos no que se refere a aplicativos/programação de computadores variam drasticamente (e muitas vezes não em relação ao seu GPA). Dessa forma, independentemente do ritmo que eu adote, 1/3 a 1/2 da turma ficará entediada ou perdida nesse ambiente. Em vez disso, descobri que é mais eficaz combinar aulas expositivas com módulos de vídeo sobre os mesmos tópicos. Como exemplo, uso esse método para os três tópicos a seguir, que não têm relação alguma:

1. Uso de um módulo Python (que eu forneço) para "resolver" redes Jackson;
2. Desenvolvimento e aplicação de um intervalo de confiança padrão; e
3. Desenvolvimento de um modelo Simio de um sistema de filas em tandem.

Para cada um deles, apresento o material em uma palestra e digo aos alunos: "Abaixem seus lápis, fechem seus notebooks e apenas assistam - há um módulo de vídeo meu fazendo exatamente o mesmo desenvolvimento que vocês podem ver e rever em seu próprio ritmo mais tarde". A ideia é que eles possam se concentrar primeiro nos conceitos e no panorama geral, sabendo que não perderão o acesso aos detalhes de que precisarão para os exames e/ou para as tarefas. Atualmente, tenho de 8 a 10 combinações semelhantes de aula expositiva e vídeo que uso durante o semestre (além de várias tarefas de laboratório baseadas em vídeo). Embora eu não tenha feito um experimento controlado, evidências anedóticas sugerem que meus alunos têm um desempenho significativamente melhor quando uso esse método do que quando tentam fazer anotações detalhadas e/ou me acompanhar pelo computador. Continuo a desenvolver esses módulos e todos estão disponíveis gratuitamente emhttp://jsmith.co/node/26(observe que fiquei surpreso e continuo um pouco constrangido com o fato de alguns desses módulos serem mencionados com destaque por meus colegas palestrantes neste artigo - essa definitivamente não era minha intenção quando iniciei o painel!)

Por fim, descobri que os projetos semestrais são muito importantes e podem definitivamente cristalizar todos os tópicos relacionados à simulação que os alunos aprendem durante o semestre. Tentei várias abordagens, desde o uso das competições anuais de estudantes do Arena e do Simio, passando pelo uso de estudos de caso desenvolvidos a partir de projetos de consultoria, até permitir que os alunos escolham os tópicos de seus próprios projetos, e todos eles se mostraram valiosos (embora os alunos muitas vezes achem a escolha de seus próprios projetos mais difícil do que esperavam). Com o aumento do número de alunos em nossas turmas, mudei de "apresentações finais" ao vivo para apresentações em vídeo carregadas no YouTube. Embora essa seja uma experiência diferente da que os alunos têm ao se apresentar diante de um público ao vivo, incluindo seus colegas, não encontrei uma maneira prática de fazer apresentações ao vivo em sala de aula quando há mais de 10 a 15 grupos de projetos em uma determinada turma.

5.2 Alexopoulos

Para explicar minha filosofia, preciso falar sobre meu histórico e treinamento em simulação. Fiz um curso de pós-graduação com George Fishman em 1984. A aula exigia a criação de modelos de eventos discretos usando o Simscript II.5, e o único modelo que criamos foi o famoso modelo do Porto Africano que ainda aparece no texto de Law (2015). Criamos duas variantes, a primeira baseada no mecanismo de programação de eventos e a segunda usando o paradigma de interação de processos. Para entender as diferenças, tivemos que relatar os tempos de compilação e vinculação no computador mainframe. O fato de usarmos a mesma linguagem nos fez apreciar as diferenças fundamentais entre os dois paradigmas de modelagem. Analisamos o resultado da simulação usando subrotinas do texto de Fishman (1978): a primeira usava a abordagem regenerativa, enquanto a segunda usava um algoritmo de média em lote. George classificou os relatórios manuscritos com muito cuidado e tirou pontos por não priorizar a lista de descobertas e recomendações (é claro que ele podia fazer isso porque a turma era composta por apenas 12 alunos). George enfatizou sua preferência por uma execução longa em vez de várias replicações curtas para estimar médias e quantis de estado estável. De modo geral, seus ensinamentos e conselhos acadêmicos moldaram minha filosofia.

Quando cheguei à Georgia Tech, descobri que Jerry Banks, Dave Goldsman e Jim Swain estavam usando o GPSS/PC para o ensino de graduação e o pacote Simlib do texto de Law e Kelton (1982) para o ensino de pós-graduação. Lembro-me de ter estudado o "livro vermelho" de Thom Schriber (1974) e que o GPSS/PC permitia a "animação" destacando blocos ativos do GPSS - isso podia ser feito usando PCs portáteis e projetores de três feixes, mas posso afirmar que essa animação superficial permitia que os alunos apreciassem o movimento da entidade. Por outro lado, o pacote Simlib baseava-se no mecanismo de programação de eventos e foi escrito em Fortran (na verdade, um dos meus alunos reescreveu o pacote em C antes que o código em C aparecesse na terceira edição do texto). Mudamos para o GPSS/H no início dos anos 90 (sem usar o Proof Animation) até o final dos anos 90, quando adotamos o Arena. Usei o Arena em cursos de graduação e mestrado até 2008, quando mudei para o AutoMod por cerca de dois anos. Achei o AutoMod muito atraente por causa da linguagem de simulação incorporada, sua excelente interface gráfica, sua capacidade de modelar sistemas de armazenamento com a quantidade adequada de detalhes e a existência de um texto introdutório de Jerry Banks, que ainda está incluído na instalação. Em janeiro de 2011, fiz a última mudança para o Simio e permaneci "fiel" a ele até agora.

Minha combinação instrucional entre modelagem e teoria permaneceu bastante estável durante toda a minha carreira, com duas mudanças nos últimos três anos: (a) Uso inicial de planilhas para ilustrar os conceitos de erro e risco. Carreguei o artigo de Barry Nelson dos Anais da WSC de 2008 no site do meu portal e testo repetidamente os alunos quanto à sua capacidade de interpretar histogramas, funções de distribuição empírica e intervalos de confiança para médias e quantis. (b) Maior ênfase na análise dos dados de entrada e no ajuste da distribuição, além dos efeitos do "ajuste incorreto" na qualidade do resultado da simulação. Acho que o equilíbrio perfeito entre a modelagem e a análise da simulação é um verdadeiro desafio! A capacidade de realizar uma análise estatística sólida dos dados de simulação é uma ferramenta poderosa para analistas de pesquisa operacional e engenheiros industriais; na minha humilde opinião, é isso que os separa dos cientistas da computação que podem fornecer códigos/modelos excelentes, mas têm recursos estatísticos bastante limitados.

Acho que ensinar software sem uma sessão de laboratório é um grande desafio. Para superar as restrições de tempo em uma única sessão de aula, geralmente carrego um modelo intermediário no portal da turma, peço aos alunos que estudem a parte relevante do texto (e provavelmente antes dela) e, em seguida, prossigo com a construção do restante do modelo completo em sala de aula. O desafio mencionado acima se deve, em parte, ao fato de os alunos possuírem muitos laptops da Apple; isso normalmente exige o login em uma área de trabalho virtual e o uso de um teclado da Apple. Entendo que isso não é equivalente à instrução em laboratório, mas é o melhor que posso fazer com nossas turmas grandes, que variam de 40 a 80 alunos por seção.

Gostaria de concluir com o hábito recente dos alunos de estudar apenas material eletrônico. Peço a eles que comprem cópias impressas dos textos - a maioria não só ignora meu conselho, mas nem mesmo salva os arquivos eletrônicos localmente. Acho que as coisas não vão melhorar em um futuro próximo, e todos nós temos que adotar.

5.3 Henderson

Talvez seja melhor apresentar esses pensamentos como tópicos:

• Os alunos precisam ter um conhecimento sólido de probabilidade e estatística para serem usuários eficazes da simulação. O ideal (do meu ponto de vista) seria que eles aprendessem tanto a simulação quanto a probabilidade/estatística de mãos dadas, mas com o projeto curricular da Cornell isso não é possível. Meu curso enfatiza muito esses aspectos.
• Não crie modelos nas aulas. É muito difícil para os alunos verem o que está acontecendo na modelagem, e muitos dos alunos mais fortes perdem o interesse rapidamente. É para isso que servem os laboratórios. Eu costumava criar modelos em aulas teóricas, aprendi rapidamente que essa não era a maneira ideal de proceder, mas uma série de fatores, inclusive a inércia, fez com que eu não reformulasse essa parte do curso por algum tempo.
• Para cada novo conceito, a intuição vem em primeiro lugar, e a matemática (ou qualquer outra base necessária) vem em segundo lugar. Por exemplo, gerar uma variável aleatória com função de distribuição F por inversão é uma noção muito intuitiva que envolve esticar ou compactar uma variável aleatória uniforme.
• Tente reduzir a carga de trabalho no final do curso - pense nisso como "antitético" à abordagem em outras aulas! Para isso, discutimos VV&A e gerenciamento de projetos na última aula ou nas duas últimas, e não há lição de casa sobre esse material. Obtive os slides de Deb Sadowski em um tutorial da Winter Simulation Conference sobre gerenciamento de projetos e os utilizo literalmente, com meus próprios comentários. Além disso, abordar esse material depois que os alunos participaram de um projeto de equipe não trivial converte a reação deles de "isso é óbvio" para "eu gostaria que tivéssemos feito atas nas reuniões!"
• O curso inclui um projeto em equipe que exige a criação de modelos, análise de dados e elaboração de relatórios. Avaliar os relatórios é um pesadelo, mas acho que o esforço vale a pena. Os ex-alunos sempre me lembram de projetos que fizemos no passado e que os tocaram (ou os deixaram horrorizados). Nunca descobri como evitar que a data de entrega do projeto seja basicamente o final do semestre (veja o ponto anterior sobre carga de trabalho). Alguma ideia?

5.4 Schruben

Eu costumava ensinar que um "modelo" era um substantivo, uma ferramenta que você constrói e usa para análise. Principalmente aprendendo a fazer em meu trabalho de consultoria, agora ensino "modelar" como um verbo, um verbo ativo com um objeto direto. Modelamos todos os aspectos de nossas vidas para estruturar nosso pensamento e comunicar ideias. Portanto, o esboço do meu curso não é mais linear, seguindo as "etapas de um estudo de simulação" do livro-texto. Agora, o esboço do meu curso, assim como meu trabalho profissional, é composto de ciclos que interagem simultaneamente, ilustrados na Fig. 1 (observe que há um "Início", mas não há um "Fim"). É uma alegria ver meus alunos amadurecerem de simples pensadores lineares para artistas criativos.

5.4.1 Boas ideias

• Produtos de prazo: Na última década, exigi que as equipes de alunos criassem um produto de simulação. Mudar as duas letras do meio do termo projetos para o termo produtos fez uma enorme diferença. Eu recomendo fortemente essa mudança. Seus produtos são de criação própria e foram projetados para resolver uma classe genérica de problemas com um mercado identificável. As apresentações finais de seus produtos são vídeos do YouTube que incluem a justificativa do produto, uma demonstração, uma análise de mercado e um discurso de vendas. Pesquise (YouTube: Berkeley Simulation IEOR131) para ver alguns exemplos. Os alunos têm usado esses vídeos em seus currículos e creditado a eles a conquista de empregos; alguns até renderam algum dinheiro aos alunos. A primeira lição que aprendi ao substituir os relatórios de produtos por vídeos é limitar a duração a 5 minutos! Eles também entregam um manual do usuário com o produto. Um erro que cometi há quatro anos foi fazer com que as equipes competissem para projetar o mesmo produto de simulação. A competição foi acirrada, e algumas delas ainda não falam umas com as outras - nem comigo, já que escolhi os vencedores.
• Colocação avançada: A participação em palestras não é obrigatória em Berkeley, mas desenvolvi um truque que garante uma alta participação. Faço perguntas curtas de "Advanced Placement" (AP) em sala de aula sem aviso prévio. As pontuações de AP dos alunos são adicionadas à pontuação do próximo exame com uma curva separada, e eles obtêm a melhor nota do exame. Como o AP não pode reduzir a nota, a presença ainda é opcional. Minha frequência às aulas é quase perfeita (os alunos até me mandam desculpas por e-mail quando perdem uma aula!) Os alunos até pedem mais AP se eu não os oferecer em várias aulas. Dica: se você tentar fazer isso, NÃO os chame de pop quizzes. Os alunos ficam ressentidos com os pop quizzes, mas adoram o AP (depois que mudei o nome, minhas avaliações de ensino aumentaram consideravelmente).
• Criar seu próprio software de simulação: Essa é uma boa ideia que eu não necessariamente recomendo. Ela cria uma profunda apreciação do software comercial, e você pode ganhar dinheiro se puder fazer algo de valor que ninguém mais pode fazer (como criar mecanismos de simulação no DOS, no Windows de 16 bits ou em um navegador da Internet!) Entretanto, como Alan Pritsker e Dennis Pegden me disseram, não é possível administrar uma empresa de software bem-sucedida e ser um professor universitário bem-sucedido.

5.4.2 Ideias ruins (que pareciam boas na época):

• O exame de um milhão de pontos: Cansei dos alunos que imploravam por créditos parciais. Eles se sentiam bem recebendo
  1000 pontos extras até chegarem à metade do corredor. O ressentimento nunca desaparece.
• Avaliação pelos colegas: quando os orçamentos dos assistentes técnicos foram cortados em Cornell, pedi que os alunos, em pares aleatórios, avaliassem os deveres de casa uns dos outros às cegas e, em seguida, avaliassem os avaliadores às cegas (usando a identificação do curso e não os nomes - uma boa ideia). Ninguém avaliava quem os avaliava para evitar conluio. Nas avaliações do curso, perguntei aos alunos se eles achavam que tinham sido avaliados de forma justa (todos achavam) e se tinham sido avaliados de forma justa (nenhum tinha sido). Esse ano foi o ponto mais baixo em minhas avaliações de ensino.
• Questões de provas com pontos negativos: Certa vez, dei uma prova final de Verdadeiro/Falso com valor negativo igual para as escolhas erradas. Um aluno que não compareceu ao exame tirou a média.
• Escrever emuladores de software: O download do Sigma (www.sigmawiki.com) inclui um kit de ferramentas GPSS, um kit de ferramentas Arena, um kit de ferramentas SIMAN, emuladores Simio e Petri Nets, bem como exemplos de gráficos PERT e de simulação em tempo contínuo. O suporte técnico é péssimo. Se você experimentar esses produtos, NÃO me envie um e-mail solicitando novos recursos.

O impacto nos negócios

6. CONCLUSÕES

A maioria dos programas de Engenharia Industrial e muitos programas de negócios quantitativos oferecem cursos de simulação e os métodos de ensino para esses cursos são variados. Este artigo (e o painel da conferência) enfocou os métodos, as experiências e os métodos/filosofias de quatro instrutores experientes. Embora não tenhamos a pretensão de ter respostas perfeitas para todas as perguntas ou metodologias ideais, esperamos que outros instrutores e futuros instrutores considerem algumas das informações úteis.