Au XVIIème siècle, le château était déjà une propriété viticole reconnue pour ses vins, qui étaient dégustés à la cours de Versailles. Cette propriété appartenait à Madame de Gasq et se nommait alors « Domaine de Gasq». Il sera revendu en 1814 au lieutenant-colonel britannique Charles Palmer, qui lui donnera son nom actuel.