Le château du Chillou apparaît dans l’histoire locale dès 1088 quand le seigneur Bozon du Chillo fait des dons à l’abbaye de Noyers, ses fils sont nommés dans le cartulaire de cette même abbaye entre 1113 et 1115 en expiation d’un meurtre qu’ils ont commis. Bozon du Chillo s’inscrit dans l’histoire locale en fondant aussi l’abbaye de Bois-Aubry à quelques lieux du château et en pourvoyant aux besoins des moines qui y résident.
Pierre Maumoine est le seigneur identifié par la suite vers 1370. Il est le père de Jeanne Maumoine qui épouse Guillaume Le Roy en second mariage avant 1424. Les descendants de la famille Le Roy héritent du bien et le plus célèbre d'entre eux, Guyon Le Roy en sera le seigneur jusqu’en 1528. Il faut noter que Guyon Le Roy est un illustre personnage. Nommé vice-amiral sous Charles VIII puis général des armées navales sous Louis XII, il fait construire la ville du Havre à la demande du roi François 1er. Du reste, 4 gouverneurs de la ville du Havre sont seigneurs du Chillou, dont son fondateur Guyon Le Roy (entre 1517 et 1528), Armand-Jean du Plessis, cardinal de Richelieu (entre 1626 et 1642), Armand-Jean de Vignerot (entre 1642 et 1650) et enfin Marie-Madeleine de Vignerot, Duchesse d'Aiguillon, nièce du cardinal.
Quant à François 1er les sources témoignent qu’il connaissait bien les alentours du château du Chillou car il eut beaucoup d’attentions pour la dame de Vellèches, seigneurie voisine de celle du Chillou. Il est imaginable qu’il fut l’hôte de Guyon le Roy en ce lieu.