Ayant participé à la Guerre de 1812 comme l'Adjudant général adjoint des forces britanniques au Canada, Harvey fut nommé lieutenant-gouverneur de l'Île du Prince-Édouard en 1836, puis du Nouveau-Brunswick l'année suivante. Il se révéla alors si habile conciliateur et médiateur entre les assemblées contestataires et les conseils désignés qu'en 1841, on le nomma gouverneur de Terre-neuve, où le gouvernement représentatif mitigé avait été un échec et avait fait place à une législature plus libérale. En 1848, il présida à l'avènement de la responsabilité ministérielle en Nouvelle- Écosse. Il demeura a Halifax comme lieutenant-gouverneur jusqu' à sa mort.