Есть такая полезная утилита — win-acme, с помощью которой под Windows можно обновлять сертификат Let’s Encrypt.
Так вот, при обновлении сертификата он нормально устанавливается на Exchange Server, устанавливается в хранилище (Сертификаты — Размещение веб-служб), но при этом закрытый ключ нельзя экспортировать:

Как получить закрытый ключ и возможность экспорта:

1. Запускаем wacs, выбираем A (Manage Renewals)
   
2. D (Show details for renewal)
   
   Копируем .pfx password.
3. Идем в папку C:\ProgramData\win-acme\acme-v02.api.letsencrypt.org\Certificates
4. 
5. Тут лежат .PFX и .PEM файлы, которые нам нужны. Можно их скопировать прямо отсюда, либо импортировать PFX локально с возможностью экспорта. А если нужны отдельно ключ и сертификат (для установки не на Windows Server например), тогда идём дальше.

Извлекаем ключ и сертификат из .PFX файла

1. Конвертировать PFX в .key и .cer можно с помощью программы OpenSSL (для windows).
2. Устанавливаем, запускаем, переходим в папку например C:\cert, куда предварительно скопируем наш .PFX файл.
3. Запускаем команду:
   C:\cert>openssl pkcs12 -in c:\cert\cert.pfx -nocerts -out private.key -nodes
Enter Import Password:
   Вводим пароль, скопированный в п.4 выше, получаем файл ключа private.key в той же папке, откуда запускали openssl (C:\cert)
4. Далее нужно открыть этот файл в блокноте и оставить только содержимое между
   ——BEGIN PRIVATE KEY—— и ——END PRIVATE KEY——
5. Чтобы получить сертификат, вводим команду
   C:\cert>openssl pkcs12 -in c:\cert\cert.pfx -clcerts -nokeys -out public.cer
Enter Import Password:
6. Получаем public.cer. Также в блокноте удаляем всё лишнее.

P.S. Если нужно конвертировать сертификат и ключ обратно в PFX — читать тут.