O período de afastamento por aposentadoria por invalidez conta como tempo de contribuição?

Sim, mas a contagem é condicional! A Lei 8.213/91, art. 55 inciso II, diz que o período em que o segurado esteve em gozo de auxílio-doença ou aposentadoria por invalidez será contado como tempo de serviço, mesmo que anterior à perda da qualidade de segurado.
Mas o dispositivo exige tempo intercalado. Por esse motivo, a jurisprudência entende que só conta o tempo de aposentadoria por invalidez se ela ocorre entre pagamentos ao INSS (o segurado contribuía antes e volta a contribuir depois da interrupção da aposentadoria por invalidez). Se a causa da aposentadoria por invalidez foi acidente do trabalho essa condição deixa de existir.

Súmula 73 TNU: O tempo de gozo de aposentadoria por invalidez não decorrente de acidente de trabalho só pode ser computado como tempo de contribuição ou para fins de carência quando intercalado entre períodos nos quais houve recolhimento de contribuições para a previdência social.