A Torre de Londres foi fundada em 1078 quando Guilherme o Conquistador ordenou a construção da Torre Branca dentro do ângulo Sudeste das muralhas da cidade, adjacente ao Tamisa.
A Torre tanto servia para proteger os Normandos do povo de Londres como para proteger a cidade dos invasores externos. Guilherme ordenou que fosse construida em pedra de Caen, a qual ele importou especialmente da França, e nomeou Gundulf, Bispo de Rochester como arquitecto.
Alguns escritores, tal como Shakespeare na sua peça Ricardo III, relacionaram Júlio César com as primeiras origens da Torre de Londres, defendendo que fôra este quem construíra. Esta suposta origem romana é um mito, de qualquer forma, tal como na história, a argamassa foi temperada pelo sangue de bestas.
No século XII, O Rei Ricardo, Coração de Leão enclausurou a Torre Branca com um pano de muralha e escavou um fosso em volta, o qual encheu de água do Tamisa. O fosso não teve sucesso até que Henrique III, no século XIII, empregou uma técnica de construção de fossos holandesa. Este rei fortaleceu significativamente o pano de muralha, deitando abaixo o muro da cidade para Este, para desta forma estender o circuito, apesar dos protestos dos cidadãos de Londres e mesmo de avisos sobrenaturais (a acreditar no cronista monástico contemporâneo, Matthew Paris). Henrique III transformou a Torre numa importante Residência Real e fez construir edifícios palacianos no interior da "Inner Bailey".
A fortificação ficou concluida entre 1275 e 1285 por Eduardo I que construiu o pano de muralha exterior, fechando completamente o muro interno e dessa forma criando uma dupla defesa concêntrica. Preencheu o fosso pré-existente e construiu um novo em volta da muralha exterior.
A Torre permaneceu uma Residência Real até ao tempo de Oliver Cromwell, que demoliu os velhos edifícios palacianos.
