Normalmente vai ser possível descobrir isso na documentação do programa, ou em uma "knowledge base" da vida. Por exemplo, é comum utilizar funções "hash" como SHA1 e MD5 em arquivos que guardem senhas. O que você precisa fazer é usar o algoritmo em cada item da wordlist e comparar com o que há no arquivo; se bater, bingo!
No caso de uma mensagem criptografada com RSA, DES ou algo do tipo, o problema é saber a chave utilizada. Saber o algoritmo é o de menos, isso é documentado. Uma string como "saci" pode se tornar um monte de coisas no texto caso seja criptografada, dependendo da chave.


Responder com citação
![Enviar uma mensagem via ICQ para ^[H,L]aetc](images/misc/im_icq.gif)
![Enviar uma mensagem via Yahoo para ^[H,L]aetc](images/misc/im_yahoo.gif)
