Posso realizar pagamento de contribuições retroativas ou atrasadas?

Depende. Há regras específicas dependendo da categoria de segurado.
O segurado facultativo não pode recolher retroativamente, por exemplo, após 6 meses do último pagamento, porque ele terá perdido a qualidade de segurado (artigo 11, § 4º do decreto 3.048/99).
Além dos facultativos, os segurados obrigatórios contribuinte individual e especial não possuem direito de considerar, para fins de carência, as contribuições recolhidas com atraso, referentes a competências anteriores (artigo 27, II, lei 8.213/91).

Quando for possível pagar em atraso, o segurado também deve ser informado dos efeitos financeiros desfavoráveis, como juros, multa e correção monetária:
Art. 175 do decreto 3.048/99. O pagamento de parcelas relativas a benefícios efetuado com atraso, independentemente de ocorrência de mora e de quem lhe deu causa, deve ser corrigido monetariamente desde o momento em que restou devido, pelo mesmo índice utilizado para os reajustamentos dos benefícios do RGPS, apurado no período compreendido entre o mês que deveria ter sido pago e o mês do efetivo pagamento.

Art. 239 do decreto 3.048/99. As contribuições sociais e outras importâncias arrecadadas pela Secretaria Especial da Receita Federal do Brasil do Ministério da Economia, incluídas ou não em notificação fiscal de lançamento, pagas com atraso, objeto ou não de parcelamento, ficam sujeitas a:
I – atualização monetária, quando exigida pela legislação de regência;
II – juros de mora, de caráter irrelevável, incidentes sobre o valor atualizado, equivalentes a:
a) um por cento no mês do vencimento;
b) taxa referencial do Sistema Especial de Liquidação e de Custódia nos meses intermediários; e
c) um por cento no mês do pagamento; e
III – multa variável, de caráter irrelevável, nos seguintes percentuais, para fatos geradores ocorridos a partir de 28 de novembro de 1999: […]

Outra situação ocorrerá quando a responsabilidade pelo pagamento é do empregador (para empregados, domésticos, avulsos) se as contribuições retroativas não forem pagas. Nesse caso a jurisprudência entende que o trabalhador não deve ser prejudicado no quesito carência e nem no que se refere a sua qualidade de segurado:

Previdenciário. Contrariedade à jurisprudência dominante do superior tribunal de justiça. Carência. Recolhimento das contribuições com atraso. Ônus do empregador. […]
2. A Turma de origem reputou improcedente o pedido, por entender que as contribuições previdenciárias realizadas com atraso não podem ser computadas, para fins de aferição da carência exigida pela legislação, para a concessão do benefício.
3. Este entendimento contraria a posição que prevaleceu no Superior Tribunal de Justiça, que, diante de caso similar, admitiu que as ditas contribuições poderiam ser consideradas, ainda que tardiamente pagas, uma vez que foram aceitas pelo próprio INSS.
4. Foi invocado precedente desta Turma Nacional, no qual, também em um caso onde a postulante era uma empregada doméstica, como ocorre no presente feito, reputou-se cumprida a carência, mesmo que pagas as exações com atraso, destacando-se que a responsabilidade pelo recolhimento incumbia ao empregador.
5. Pedido de uniformização provido.
(PU n. 2006.70.95.011470-8. PR. Relator Juiz Élio Wanderley de Siqueira Filho. Turma Nacional de Uniformização. Unânime. DJ 14.04.2008).