1- Abra seu programa de edição de imagens (serve até o Paint do Windows)
2- Defina o tamanho da imagem para 36 x 36 pixels (vai ficar pequeno, recomendo dar zoom, mas não mude o tamanho da imagem)
3- Desenhe seu ícone.
4- Quando terminar vá em "Salvar Como...".
5- Salve na pasta que quiser. O nome pode ser qualquer um, mas deverá ter .ico no final. Exemplo: qualquernome.ico
6- para mudar o ícone de atalhos clique com o botão direito no atalho que você quer mudar o ícone e em "Propriedades". Obs.: só dá para fazer em Atalhos ou Pastas.
7- Clique em "alterar ícone", "procurar", localize seu ícone e clique em "abrir". Dê OK e OK.
8- Para mudar o ícone de pastas clique com o botão direito no atalho que você quer mudar o ícone e em "Propriedades". Vá na aba "Personalizar". Clique em "alterar ícone", "procurar", localize seu ícone e clique em "abrir". Dê OK e OK.
Pronto!!!