Crie um novo documento de qualquer tamanho. No caso deste tutorial, usamos 200x200 pixels.

Defina agora a proporção do arredondado. Usamos 10 px neste exemplo:

Agora defina uma cor de sua preferência e faça o formato desejado. No nosso exemplo, fizemos como é apresentado logo abaixo:

Mantendo a tecla CRTL pressionada, clique sobre a layer onde foi criado o botão, no local mostrado na figura abaixo:

Agora, no menu superior, vá em SELEÇÃO / MODIFICAR / CONTRAIR Em inglês, SELECT / MODIFY / CONTRACT e coloque o valor de 1 px.

Matenha a tecla SHIFT pressionada e a partir do topo da seleção feita no botão, arraste o mouse até o final da seleção. Deverá ficar parecido com o apresentado abaixo:

Ainda com a seleção feita, escolha a ferramenta Eliptical Marquee Tool . Pressione e mantenha a tecla ALT, e faça uma marcação como demonstrada abaixo:

Pressiona a tecla BACKSPACE ou DELETE para apagar a seleção. Deverá ficar assim:

Para modificar a cor do botão agora, basta alterar a cor do outro layer.
Veja alguns exemplos:

Dica sem ilustração: Você também pode adicionar uma nova camada entre as duas existentes, mudar o Blend Mode para Overlay, selecionar um pincel e mudar sua configuração para Color Dodge, selecionar a camada base utilizando a tecla CRTL, selecionar a nova camada criada e mantendo a seleção feita, contrair a seleção em 1 px e pintar a base para criar um efeito mais rebuscado, como mostrado abaixo: