Analisando Logs em servidores Linux

[Security Mirim]

Bom pessoal! Boa tarde a todos!

Eu estou fazendo um treinamento em linux e gostaria da ajuda de vocês sobre analise de logs em servidores linux.

Ao certo eu não sei muito ainda! Mais vou tentar explicar que tipo de ajuda eu preciso. Bom, na aula, começamos a ver analise de logs, o professor nos deu um arquivo .txt contendo logs de conexões que foram efetivadas por SSH com sucesso por clientes não autorizados e por clientes autorizados! Ok, também nos deu um arquivo de log, contendo informações sobre varreduras, realizadas por scanners, como nmap, nessus, entre outros!

Porém, ele ainda não entrou a fundo, e disse que não vai entrar! :(
Ficaram algumas dúvidas ...
Cada scanner tem uma maneira talvez similar de funcionar correto? Cada um apresenta suas caracteristicas, correto? Então como eu saber por exemplo que meu sistema foi escaneado por um nessus por exemplo?

Eu corri atrás dessas informações, porem também não obtive muita ajuda! Só que me passaram que existe, "programas" que analisam logs, dando em si suas caracteristicas e etc ...

Certamente, eu não conheço nenhum que faça isso ... eu como eu aprendendo, estou lendo os arquivos de logs, bem atentamente! Porem eu pedi um log de um servidor de emails que um amigo meu administra! Para estudo, advinha é gigante! Acho que se fosse em tempo real, a cada linha que eu ler, 5 novas linhas são geradas! Por isso acho meio loucura que alguem faça isso exclusivamente na "unha" como diz o ditado!

Bom se alguem por exemplo, puder apresentar como funciona este tipo de analise de log, falando por exemplo, um que analise logs de servidores de email ou outro qualquer e puder ajudar com algum material, link, ficaria agradecido ...

SM'
:D

[J.Augusto]

>:-|

Uma olhada no syslog.conf

- Toda a configuração do syslogd está no arquivo /etc/syslog.conf. A sintaxe básica do syslog.conf é a seguinte:recurso.nível ação
Onde "recurso" é o recurso do sistema que envia a mensagem. São 18 os recursos definidos na maioria das versões, mas o syslog já define 21 (para uso futuro).

Recurso===>Programas que utilizam
kernel====>O kernel
user=====>Processos do usuário
mail=====>mail server
daemon===>Daemons do sistema
auth=====>Autenticação/segurança
cron=====>Cron
syslog====>Mensagens internas do syslog
* Todos exceto o mark

>:-| "Nível" determina o grau de severidade do log:

emerg-alert-crit-err-warning-notice-info-
debug.

Mais detalhes====>http://www.vivaolinux.com.br/artigos...=3955&pagina=5

>:-| O syslog é ótimo para gerar os logs, mas no fim das contas esses não passam de um monte de arquivos. Muitas vezes extrair informações dos logs é uma coisa sacal, pois as informações estão em vários locais diferentes.

Uma solução:
* LogWatch===>http://www2.logwatch.org:81/index.html
* Swatch===>http://swatch.sourceforge.net/
* LogCheck===>http://logcheck.org/
* Syslog-ng===>http://www.balabit.com/products/syslog_ng/


>:-| Aqui tem uma documentação muito boa======>http://www.cert.br/docs/palestras/nb...torial2003.pdf

>:-| Aprofundando==>http://www.andrew.cmu.edu/user/rdany...snortacid.html
http://www.linuxbsd.com.br/phpLinuxB...ndo_syslog.htm
Não poderia deixar de citar para iniciantes o ===>http://www.labbas.eng.uerj.br/links/...pg84.html#logs
Classicos===>http://www.gnu.org/prep/standards/ht...ange-Logs.html
http://www.gnu.org/prep/standards/ht...e-Log-Concepts
http://www.gnu.org/prep/standards/ht...ml#Change-Logs
http://www.gnu.org/prep/standards/ht...#Documentation


>:-| -Espero ter ajudado um pouco.

[Guzpido Krush]

Sobre o servidor em ambiente de produção e o tamanho do log gerado...
Peça para seu professor ensinar sobre pipes, expressões regulares, redirecionamento de entrada/saída, mas principalmente, sobre o comando grep

$ man grep

$ man pipe [ do Linux Programmer's Manual ]

Se souber ler em inglês, http://www.tldp.org/LDP/abs/html/x13462.html

http://www.tldp.org/LDP/abs/html/

O pipe tem até uma história interessante, que pode ser abordada através deste artigo antológico:

The Evolution of the Unix Time-sharing System*
http://cm.bell-labs.com/cm/cs/who/dmr/hist.html

Dennis M. Ritchie
Bell Laboratories, Murray Hill, NJ, 07974

ABSTRACT
This paper presents a brief history of the early development of the Unix operating system. It concentrates on the evolution of the file system, the process-control mechanism, and the idea of pipelined commands. Some attention is paid to social conditions during the development of the system.

NOTE: *This paper was first presented at the Language Design and Programming Methodology conference at Sydney, Australia, September 1979. The conference proceedings were published as Lecture Notes in Computer Science #79: Language Design and Programming Methodology, Springer-Verlag, 1980. This rendition is based on a reprinted version appearing in AT&T Bell Laboratories Technical Journal 63 No. 6 Part 2, October 1984, pp. 1577-93.

[Security Mirim]

Macacos me mordam!

Teve gente que pediu para até aprender sobre redirecionamento, uso do pipes e etc! Acho que vocês não leram o meu post acima, mais vou tentar explicar novamente!


EU ESTOU QUERENDO ALGO QUE ME AJUDE A ANALISAR LOGS! NÃO A CONFIGURAR O SYSLOG.CONF, NEM REDIRECIONAMENTO! NEM NADA DISSO! EU JA TENHO UM CERTO CONHECIMENTOZINHO EM SISTEMAS BASEADOS EM UNIX, COMO FREEBSD E LINUX :P

EU QUERO ALGO QUE ME AJUDE A INTERPRETAR OS LOGS DE UMA MANEIRA MAIS RAPIDA! EU TENHO QUE FAZER ANALISE DE LOGS EM SERVIDORES DE EMAIL ENTRE OUTROS! POREM COMO O SERVIDOR É GIGANTE, FICA IMPRECISO EU TENTAR ANALISAR A OLHO NÚ! POIS A CADA PAGINA DE LOG QUE EU OLHO, MAIS 5 NOVAS SÃO GERADAS!!!

COMO EU DISSE "EXISTEM" TAIS FERRAMENTAS QUE AJUDAM NA ANALISE DE LOGS, EU GOSTARIA DE SABER SE EXISTE ALGUMA CONHECIDA, OU USADA POR ALGUEM QUE O MESMO POSSA CITAR INFORMAÇÕES SOBRE TAL! EU ESTOU FAZENDO UMA PESQUISA E PROGRAMANDO UM SOFTWARE PARA TAL, POREM NO MOMENTO, AINDA NÃO ESTOU MUITO LONGE, POR ISSO NAO POSTEI NO FORUM!

deu pra entender agora? Bom, se alguem ler o tópico que eu postei ... e puder me ajudar, para que toda a comunidade possa se beneficiar! Eu ficaria extramente grato!

sm'
:D

Obs: pra nao dizerem que eu estou send injusto, eu estou olhando todos os links que foram postados aqui .... porem confesso, que eu acho que vocês fugiram um pouco do tópico! ja que nao era sobre configuração de logs nem uso de pipes que eu desejaria discutir, se voces querem tal, então abram ou tópico! Aqui não .... depois vem um Moderador e OFFTOPIC! :(

Desculpe, por qualquer coisa :P

[nelson]

Teve gente que pediu para até aprender sobre redirecionamento, uso do pipes e etc! Acho que vocês não leram o meu post acima, mais vou tentar explicar novamente!

Imagino que os pipes e redirecionamentos serviriam para poder combinar ferramentas, tais como grep, wc, cut, etc.
Talvez não tenham lido, ou talvez você não tenha entendido a sutileza das respostas. Ou ambos :)

Obs: pra nao dizerem que eu estou send injusto, eu estou olhando todos os links que foram postados aqui .... porem confesso, que eu acho que vocês fugiram um pouco do tópico! ja que nao era sobre configuração de logs nem uso de pipes que eu desejaria discutir, se voces querem tal, então abram ou tópico! Aqui não .... depois vem um Moderador e OFFTOPIC! :(

Cada lugar é diferente, por exemplo se tem bloqueio de virus ou ferramentas para contenção de SPAM, você vai querer procurar determinadas informações, se não por outras. Mas tudo depende do que se quer e quais recursos estão rodando.
Pra tudo ficar como gosto costumo escrever alguns scripts para enviar informações consolidadadas e vários níveis de alerta para coisas que defini como críticas.
Outra coisa, você não comentou se esta ferramenta deve se ou ser de código aberto, conheço algumas comerciais que podem ajudar, mas certamente nunca serão tão flexíveis quando a mente do chefe deseja.

Então como eu saber por exemplo que meu sistema foi escaneado por um nessus por exemplo?

Se o cara usar as configura&#231;&#245;es padr&#227;o, um scan com nessus, dar&#225; pistas em v&#225;rios testes, como por exemplo mail relay, o from seria algo como: Nessus <listme@listme.dsbl.org>
Mas muitos outros programas n&#227;o ir&#227;o deixar rastros t&#227;o evidentes, ou mesmo o Nessus se tiver um pouco de reconfigura&#231;&#227;o.

Portanto n&#227;o tem resposta f&#225;cil para a sua pergunta. E de qualquer forma quando alguem se digna a responder, qualquer que seja a resposta deveriamos ser gratos por isso. J&#225; dizia a velha (muito velha) m&#225;xima: "Cavalo dado n&#227;o se olha os dentes"

[talessantos]

Antes de partir para uma tecnologia em específico, acho interessante você atentar primeiro aos conceitos, normas e boas práticas em relação aos logs. Como por exemplo, consolidação, correlação, centralização e etc. Com uma boa base sobre este assunto, acredito que a busca de soluções ficam mais fáceis. Em cada etapa pode-se usar tecnologias separadas ou convergentes. Digo isso porque vejo muita gente querendo colocar a "mão na massa" sem antes conhecer o conceito.

Alguns amigos indicaram um caminho para esclarecimento e aproveito para deixar mais um:

Sans Reading Room
http://www.sans.org/rr/whitepapers/logging/

[]'s
Tales Teixeira.

[Guzpido Krush]

INSISTO que você leia agora o Advanced Bash Scripting, e não só o capítulo sobre expressões regulares, mas grande parte da introdução!

O artigo do Dennis Ritchie, era mera curiosidade que lembrei na ocasião.

Existem zilhões de ferramentas automatizadas. Procure que você vai achar. No entanto a análise fundamental jamais pode ser automatizada. Você deve lembrar que logs podem ser forjados, adulterados. É uma preocupação documental. Certas coisas passam muito mais desapercebidas por algoritmos matemáticos que pelo olhar macaco humano! Como certas ferramentas estarão apenas buscando vulnerabilidades, no cenário em que há comprometimento de segurança, estas serão justamente as informações deliberadamente omitidas -- a máquina olhará desatentamente mais rápido que o ser humano!!! Num cenário em que o objeto é uma máquina em mal-funcionamento, o ser-humano tem um grande aliado: Paciência!

E veja bem, isso nào quer dizer que o Tempo é seu aliado também.

Cada programa é implementado de modo a solucionar um problema específico, mas o solucionando da melhor forma possível. Como identificar, dentro dos problemas maiores, pequenos problemas? Se pudermos encontrar as soluções mais eficazes para estes pequenos problemas e combiná-las de modo a formar uma solução para o problema maior, aí estamos pensando UNIX.

Jaz justamente na habilidade de combinar estas automatizações burras com um raciocínio humano minucioso todo o poder deste conceito de computação. E eu te mostrei um guia prático para exercitar esta possibilidade. http://www.tldp.org/LDP/abs/html/

[J.Augusto]

EU QUERO ALGO QUE ME AJUDE A INTERPRETAR OS LOGS DE UMA MANEIRA MAIS RAPIDA! EU TENHO QUE FAZER ANALISE DE LOGS EM SERVIDORES DE EMAIL ENTRE OUTROS! POREM COMO O SERVIDOR É GIGANTE, FICA IMPRECISO EU TENTAR ANALISAR A OLHO NÚ!

>:-| Já imaginou na possibilidade de arquivamento destes, para analise futura de um ou mais colegas por que o que no Krush falou ele está coberto de razão...

"A análise fundamental jamais pode ser automatizada. Você deve lembrar que logs podem ser forjados, adulterados. É uma preocupação documental. Certas coisas passam muito mais desapercebidas por algoritmos matemáticos que pelo olhar macaco humano"

>:-| Lembre-se as maiores descobertas sobre arquivos de logs no que diz respeito a invasões, desconfigurações, Dos e tantos outros, passam pelho olhar no sysop e suas averiguações.

[Security Mirim]

Ah sim!

Peço desculpas a todos, por não ter percebido a sutileza das respostas! Eu li os artigos, confesso que um pouco confuso! Confesso que se eu tivesse lido o tópico novamente com as novas respostas, eu teria entendido mais a sutileza das mesmas! :D

Segundo, não disse que não era grato! No entanto eu li os links acima e puder aprender muita coisa, que talvez, jamais teria aprendido sem o bom auxilio dos amigos do forum! Como dizia o meu senhor "Ajudai o proximo!" desculpem-me se meu jeito humano, pareceu intolerante!

Bom, nelson e amigos, vocês poderiam citar informações sobre essas ferramentas comerciais, se possivel é claro! As vezes, é o que eu preciso para entender alguns conceitos!

Nelson e amigos, além do exemplo do mail relay, teria algumas outra caractéristicas, consideradas brutas (barulho nos logs) pelo uso destas ferramentas? (Ex .: Nessus!)

Guzpido Krush, obrigado pela dica!
http://www.tldp.org/LDP/abs/html/ (Is fantastic!)


SM'
:D

[colombari]

Meu tcc e sobre log tb, podiamos troca informaçoes, meu msn é antonio_colombari@hotmail.com