После установки Firefox не нужно удалять Internet Explorer. На самом деле, Windows и некоторые программы для правильной работы требуют наличия Internet Explorer. Вам также может понадобиться Internet Explorer для доступа к определенным сайтам, таким как, например, Windows Update.
Для того чтобы другие программы открывали браузер Firefox, прочтите Как сделать Firefox браузером по умолчанию.
Чтобы удалить ярлыки Internet Explorer, вы можете использовать функцию Windows "Выбор программ по умолчанию ". См. эти статьи на сайте Microsoft для получения дополнительной информации:
Based on information from Internet Explorer (mozillaZine KB)