A infraestrutura de TI da Latinoware 2010 foi um item elogiado e atendendo a pedidos dos colegas (Eduardo Maçan, Felipe Wiel, Ricardo Bánffy) disponibilizo detalhes de como a infra foi construída:

Peopleware

Em primeiro lugar é necessário uma equipe que tenha conhecimento e esteja bem disposta a trabalhar:

• Joao Paulo de Lima Barbosa: analista responsável pela implantação/coordenação da infraestrutura.
• Francisco Vital Dantas Júnior: projeto de rede, configuração de ativos, contratação de serviços de cabeamento, responsável pela rede wireless.
• Rodrigo Renie de Braga Pinto: suporte técnico, infra de servidores.
• Mateus Jonathan Alves: responsável pelos computadores, software e suporte de microinformática.
• Henrique Mantovani Vettorazzi: hardware e suporte de microinformática.
• Anselmo A. Peretto: analista de sistemas, entusiasta do software livre, voluntário que trabalhou nas questões de infra.
• Silvio Henrique Mendes (este que vos escreve): Gerente de Tecnologia da Informação do Parque Tecnológico Itaipu.

Camada física

Do Datacenter do PTI até o local do evento a conexão foi feita através de fibra óptica a 1 GBps e no local do evento utilizamos cabeamento estruturado Furukawa Categoria 6, sendo todos os pontos certificados.

Custo aproximado de fibra, rack, d.i.o, mão de obra, certificação: R$ 35.000,00

Link Internet, equipamentos e ferramentas

Link Internet: para o evento foi disponibilizado Link de 100 MBps interligando o PTI até a RNP (Rede Nacional de Pesquisa) no POP-PR localizado na UFPR. A Copel Telecom é o fornecedor do Link.

Computadores: Foram utilizados mais de 150 computadores para laboratórios, sala de imprensa, sala de palestrantes e acesso a Internet. A distribuição utilizada foi o Ubuntu 10.10.

Ativos de rede:

• Roteador Cisco 2921
• Switches Cisco Catalyst 2960 (custo unitário: R$ 15.000,00)

Rede virtual: criados três VLANs: vlan latinoware, vlan voiplatinoware e vlan gerencialatinoware específicas para o evento.

A SOLUÇÃO WIRELESS

1) Controladora Wireless Cisco 3750G-24WS

• Custo aproximado: R$ 65.000,00
• A controladora faz balanceamento de carga entre os Acess Points;

• Gerenciamento centralizado: não é necessário fazer configuração individual nos APs, configura-se na controladora que faz deploy para os APs;

• Provê Roaming;
• Licença para 50 AP’s;

• Divulgação de até 6 SSID’s;

• Data Sheet: www.cisco.com/en/US/prod/collateral/wireless/ps6302/ps7185/ps6915/product_data_sheet0900aecd804b0879.html

2 – Access Point Cisco Aironet 1252AG-T-K9

• Foi utilizado um total de 27 Acess Points visando prover cobertura no maior número possível de espaços  (custo unitário: R$  3.800,00  custo total dos APs: R$ 102.600,00)

• Suporte a 802.11a/b/g/n;
• Antenas de 2.4 GHz e 2.2 dBi e 5.0 GHz e 3.5 dBi indoor e outdoor
• Data Sheet: www.cisco.com/en/US/prod/collateral/wireless/ps5678/ps6973/ps8382/product_data_sheet0900aecd806b7c5c.html

Firewall, proxy e monitoramento

Para firewall foi utilizado um hardware HP DL180 (6 GB de RAM e 1 processador quad-core) rodando o bom e velho Debian Lenny 64 bits, Squid, Iptables e Sarg (dos repositórios oficiais Debian).

O Squid fazendo proxy transparente das conexões da porta 80 e sem regras de bloqueio, apenas para cache e para o caso de necessitarmos aplicar controle de tráfego (seria utilizado delay_pools do squid, estavam prontas mas não foram necessárias).

No caso do Iptables a regra padrão era drop, sendo liberadas cerca de 10 portas especificas, ssh e rdp (sempre tem algum sysadmin de plantão, que precisa usar), as outras portas eram 443 (ssl), e-mail e FTP. Apenas estas foram liberadas para evitar tráfego de torrent e outros devoradores de banda.  Nenhum filtro de conteúdo web foi utilizado, todas as redes sociais estavam liberadas.

O sarg foi utilizado para analizar os top sites, possíveis clientes devoradores de banda e o consumo médio do evento (informações atualizadas a cada 20 minutos), com isso caso fosse necessário conseguiria identificar a necessidade de aplicação de limitação de banda, mas acabou não sendo necessário.

Foi utilizado também cacti, gerando a cada 5 minutos os gráficos de consumo de link do evento e também o consumo de parte dos usuários do PTI que compartilhavam o mesmo link. Com o Cacti, saberiamos de forma quase instantânea se seria necessário redirecionar parte do tráfego para um segundo Link de 34 MBps que estava a disposição.

Por precaução no segundo no segundo dia de evento direcionamos o tráfego dos usuários corporativos do PTI para o segundo Link Internet de 34 MBps fornecido pela operadora Oi.

Sempre que possível o firewall eram monitorado, colocava-se um iftop para rodar na interfaçe que recebia a rede do evento, visualizando o volume de tráfego segundo a segundo. De forma geral, a maioria das ações foram apenas preventivas e de monitoramento.

Apoiadores e fornecedores:

• Prognus Software Livre: pela quarta vez nos apoiou na montagem dos laboratórios do Latinoware. Construiu imagem de instalação personalizada do Ubuntu 10.10 e fez a replicação para os mais de 150 computadores, além de prestar assistência para sanar problemas que acontecessem durante as atividades.

• Itaipu Binacional:  além de patrocinar o evento e do apoio irrestrito do Marcos Siriaco Martins, a Itaipu emprestou 150 computadores para o evento ( José da Silva Motta nos apoiou).  a Itaipu também emprestou parte dos Acess Points (tivemos apoio do Marcos Antonio Da Matta, do Eduardo Cesar Fernandes e do Igor Vinicius Mussoi de Lima que fizeram a configuração da rede da Itaipu possibilitando a utilização de duas redes físicas para prover uma única rede lógica).

• Powernet: empresa que fez a infra de cabeamento estruturado, certificação dos pontos de rede, fixação dos Acess Points.

Comentários finais

Quanto ao bom desempenho da infra da Latinoware 2010, destaco como essenciais o Link Internet com ampla largura de banda, o investimento em equipamentos de qualidade, a rede toda certificada e a equipe de gestão/operação.

Este ano disponibilizamos 100 MBps de banda. Em anos anteriores tinhamos apenas 08 MBps e lembro na edição de 2008 onde o Eriberto me ajudou a configurar controles de tráfego para que mais pessoas pudessem usar o escasso recurso.

Um componente importante foi a controladora wireless: em anos anteriores tínhamos sobrecargas de clientes em alguns APs enquanto outros ficavam subutilizados. A controladora faz balanceamento distribuindo a carga de forma mais uniforme e caso detecte interferências no sinal de um determinado AP ela automaticamente aumenta a potência do mesmo.

Este ano utilizamos Acess Points da Cisco de alta performance. Nos eventos anteriores tinhamos apenas APs de baixo custo e menor qualidade e um problema frequente era de expositores/grupos de usuários que traziam seus próprios APs e colocavam na rede (as vezes até no mesmo canal) causando conflitos e degradando desempenho dos nossos APs, isto não aconteceu este ano (e se acontecesse a controladora permite “neutralizar” uma AP não oficial evitando que interfira na rede wireless).

É necessário trabalho árduo para disponibilizar infraestrutura de TI para um evento do tamanho do Latinoware. O auditório principal (onde aconteceu a abertura) estava em reformas e o PTI reformou o espaço do antigo refeitório dos barrageiros (área de exposição), portanto tivemos pouco tempo… a equipe de obras da FPTI e a minha equipe e apoiadores possibilitaram que as coisas acontecessem em tempo recorde.

E em 2011 esperamos vocês novamente na Latinoware

Alguns leitores pediram se eu poderia disponibilizar modelo de documentação para que pudessem utilizar como ponto de partida. Disponibilizo abaixo um template que pode ser utilizado, mas note que é um modelo simples (elaborado num editor de texto) e sem grandes pretensões.

Download: Modelo Documentação da Infra de Rede (formato OpenOffice)

Download: Modelo Documentação da Infra de Rede (PDF)

Se alguém quiser melhorar o documento e me enviar as alterações fique a vontade.

Na empresa onde trabalho utilizo um conjunto de ferramentas para gerenciar as informações da rede:

• OCS-NG (para inventário de hardware… semelhante ao CACIC)
• Wiki (Trac)
• Nagios
• Cacti
• GLPI (para registro dos chamados do helpdesk)

O ideal seria utilizar uma ferramenta open source que automaticamente fizesse o mapeamento da rede e dos servidores mantendo essas informações sempre atualizadas.

Caso alguém conheça uma ferramenta assim, por favor me avise 

O ideal seria que a documentação fosse elaborada e atualizada automaticamente por alguma ferramenta. Caso isto não seja possível, inicie com uma documentação básica e vá incrementando até atender as suas necessidades.

No meu trabalho iniciei a documentação utilizando Openoffice e o software Dia para criar os diagramas (caso você conheça um Software Livre mais apropriado para desenho dos diagramas de topologia, favor compartilhe nos comentários).

Com o crescimento da rede o modelo de documentação inicial mostrou-se inviável. Procurei ferramentas mais adequadas e optei por implantar um wiki como respositório de documentação da rede e defini que cada membro da equipe DEVE registrar todas as alterações realizadas. Um wiki facilita a tarefa de realizar uma modificação e torná-la imediatamente disponível para toda a equipe.

Existem inúmeras ferramentas de wiki… Optei por utilizar o Trac, que possui um wiki básico integrado, recursos como controle de mudanças em projetos de desenvolvimento de software e também funciona como um brower do repositório Subversion.

O que documentar?
Não é simples elaborar e, principalmente, manter atualizada a documentação da rede. Os itens que compõe a documentação variam muito de acordo com a complexidade do ambiente de  rede e da metodologia de trabalho adotada.

A seguir sugestão de um modelo de documentação de rede contendo uma lista mínima de itens que, em minha opinião, deveriam constar em uma boa documentação de rede:

Além do wiki, agregamos informações da infra nos softwares de monitoramento Nagios e Cacti. No Nagios, todos os servidores são monitorados e para cada servidor foi adicionado link apontando para a sua respectiva página de documentação no wiki.

Não esqueça de definir uma Política de Atualização da documentação para que esta não se torne desatualizada e inútil. Liste quem são os responsáveis pela atualização, periodicidade mínima de revisão e padrões que devem ser utilizados.

Em caso de falhas em serviços críticos, as informações de configuração contidas no repositório podem ajudar a minimizar o tempo de recuperação destes serviços.

Conscientize sua equipe sobre a importância da documentação e com o passar do tempo o wiki da rede se tornará um verdadeiro repositório de informações sobre o ambiente de TI.

Caso algum profissional deixe a empresa o conhecimento acumulado estará registrado nessa base de conhecimento e a tarefa de treinar um novo profissional será bem mais fácil, economizando tempo e dinheiro.

E você? utiliza quais ferramentas e metodologias para manter a documentação da sua rede?

Sua sugestão é bem vinda!

UPDATE: Publiquei um novo artigo onde disponibilizo para download um modelo de documentação de Infra de Rede.

]]> http://www.silvio.me/documentacao-da-infra-de-rede/feed/ 13