Lloyd namorou Bebe Daniels durante a década de 1910, mas logo que ela se afastou outra atriz ganhou o coração dele: Mildred Davis. Os dois se casaram em 1923. Mildred se aposentou após o casamento, se dedicando ao lar e aos filhos.
Fazendo mais de um milhão de dólares por ano, Lloyd tinha condições de viver luxuosamente e foi assim que ele fez. Em 1923 ele comprou um terreno em uma colina, que ele chamou de Greenacres, próxima as casas de Mary Pickford, Chaplin, David O’Selznick e Tom Mix. Em 1925 ele contratou o arquiteto Sumner Spaulding e o paisagista AE Hanson para projetar uma casa. Enquanto construía seu novo lar, ele foi morar com a esposa na 502 South Irving Blvd:
Aqui embaixo as fotos atuais da casa:
Nas horas vagas, além de fotografar, que era seu maior hobby, ele supervisionava a construção de sua nova residência, que ficava na 1740 Green Acres Drive, Beverly Hills. Mildred também influenciou o projeto de paisagismo da casa que incluía diversos jardins de rosas em vários estilos que combinavam com a arquitetura da casa. O projeto de paisagismo de sua residência era tão grande que foi preciso mais de 3500 toneladas de arenito que foram retiradas de pedreiras em Chatsworth.
Foram construídos uma casa de hóspedes, uma piscina olímpica (a maior do sul da Califórnia), um campo de golfe de 9 buracos, uma pista de boliche, um campo de tênis, um estábulo, além de uma grande estufa, um teatro ao ar livre, uma quadra de handebol e um grande pavilhão para danças e festas.
Finalmente em 1928 o casal se mudou para seu novo endereço que possuía 44 quartos, após o ator ter gasto mais de 2 milhões de dólares na construção. Foi o maior investimento já feito em mobiliário na época.
Para mostrar sua mansão ele fazia inúmeras festas, convidando a nata do cinema. As festas que duravam dias tinha uma abundância de bebida e comida, e os convidados se esbaldavam na pista de dança. Dentre os amigos que frequentavam a casa estavam Marion Davies, Gloria Swanson, Colleen Moore, Hal Roach, Buster Keaton, as irmãs Talmadge e Thelma Todd, dentre outros.
Na década de 30 Lloyd e Mildred já tinham três filhos e Shirley Temple era uma das crianças que vinham à mansão para brincar com eles. As crianças, por sinal, tinham uma grande casa só para brincar, com móveis em miniatura.
O ator tinha total controle sobre sua obra e trabalhava em tempo integral, também produzindo seus filmes. Mildred tinha o controle da casa, contando com a ajuda de muitos empregados: 3 governantas, 2 motoristas, 16 jardineiros e 3 secretárias.
Por dentro da Chatsworth
Chatsworth tinha 6 quartos suítes além de uma suíte master, uma sala de estar rebaixada, 26 banheiros, uma sala de fotografia, uma sala de bilhar, duas salas de jantar formais, uma sala de estar formal, uma sala de música e uma enorme cozinha. Na casa principal 44 quartos.
Os corredores decorados levavam à sala de jantar e música. Todos os pisos e tapetes orientais foram feitos à mão e importados. As cortinas que cobriam as janelas eram feitas de seda. Todas as peças de mobiliário foram comprados ao redor do mundo e em leilões.
No final da década de 30, com a chegada do cinema falado, Lloyd começou a perder a audiência, vendendo sua empresa de produção e voltando apenas a atuar. Na década seguinte ele fez alguns filmes pela RKO, mas o sucesso realmente já tinha passado e ele estava pronto para se aposentar e curtir sua família e seu hobby, a fotografia. Durante a década de 40 um incêndio destruiu alguns filmes mudos que ele tinha em sua propriedade. O ator recebeu queimaduras graves e quase perde a vida ao tentar salvar sua coleção.
Lloyd continuou a receber seus amigos e lançaria alguns livros com suas fotografias tiradas de algumas estrelas bem populares na década de 50. Em seu tempo livre ele também fez trabalhos de caridade e se dedicou a maçonaria.
Após 46 anos Harold Lloyd perdeu sua companheira, Mildred, em 1969. O ator residiu na Greenacres até o fim de sua vida, dois anos depois. Lloyd deixou a propriedade para o uso e benefício do público em geral em seu testamento. Ele desejava que a mansão fosse usada como um facilitador educacional e museu sobre a história do cinema.
Infelizmente isso nunca chegou a se concretizar, pois os vizinhos se queixaram dos constantes ônibus e passeios na região. Além disso os custos para a manutenção da grande propriedade eram enormes e ela foi se deteriorando. Em 1975 a Greenacres foi a leilão. O empresário iraniano Nasrollah Afshani a comprou por apenas $ 1,6 milhões de dólares, um valor bem abaixo do que Lloyd gastou na época. Os acres foram subdivididos e vendidos e o empresário ficou somente com a mansão, restaurando-a.
A mansão ainda permaneceu com os móveis da década de 30, que jamais foram atualizados e andar dentro dela era como estar numa cápsula do tempo. um repórter chegou a comparar a casa com a utilizada em Sunset Boulevard, de 1950.
