Mim, no caso, não é sujeito de esquecer, mas complemento de difícil, que rege a preposição para (difícil para mim). A frase, em outra ordem, é Esquecer é difícil para mim. Não confundir com casos em que eu é sujeito do infinitivo: livros para eu ler.
