A l'origine, la seigneurie de Saint-Aubin-le-Cauf (Sanctus Albinus) était un plein fief de Haubert, c'est à dire dont le possesseur était obligé de se faire armer chevalier et tenu de servir le roi. St Aubin faisait alors partie du vaste domaine féodal des ducs de Normandie. Au 11ème siècle (vers 1031), Robert le Magnifique duc de Normandie était seigneur châtelain de pays et possédait toutes les terres situées depuis Dieppe jusqu'à Douvrend, en passant par Arques et toute la forêt de l'Aliermont. Témoin de cette époque, la forteresse du chateau d'Arques construite en l'an mille est une des plus anciennes de France.

Le village était alors peuplé de 200 familles, soit environ 1000 âmes et possédait une tour (au lieu dit de Noville) que St Louis céda à Eudes Rigaud (archevêque de Rouen de 1248 à 1275) en juillet 1262. A la fin du 12ème siècle, Richard Coeur-de-Lion céda le village à l'archevêque de Rouen qui le posséda jusqu'à la Révolution. 

Saint Aubin le Cauf était la maison de champs de Claude Groulard , marquis de Torcy, premier président du parlement de Normandie et fondateur des hospices de Rouen. Il acheta cette terre à Louis de Montberon et y possédait un manoir où il aimait passer ses vacances. En 1592, Henri IV, vainqueur et blessé de la bataille d'Aumale :«Bataille d'Aumale: Henri IV contre le duc de Parme [reçoit un coup dans les reins , pénètre le manoir de Claude Groulard par le petit pont en pierre et brique pour y séjourner quelques jours afin de se remettre de sa blessure (seule blessure sérieuse de toute sa vie - Bataille d'Aumale: Henri IV contre le duc de Parme reçoit un coup dans les reins -sce wikipedia»

Sur l'emplacement des fondations féodales, les descendants de Claude Groulard, font élever au 18ème siècle un château moderne en brique rose et pierre couvert de toits à la Mansart. Marguerite de Choiseul épouse en 2nde noces le duc de Fitz-James en 1825 et devient duchesse de Fitz-James. Elle réside dès lors dans le château de la Rivière-Bourdet. Elle meurt en 1862 sans héritier direct, le château et les terres de St Aubin sont alors vendus aux enchères à Paris et à Dieppe. Le domaine sera resté propriété de la famille Groulard durant 250 ans.

Par la suite, le château changea de propriétaires à plusieurs reprises. En 1926, Mr Dupuis propriétaire et fermier exploitant des terres, fait inscrire les écuries d'architecture gothique avec croisées d'ogives aux monuments historiques. Les fondations du chateau, le pont témoin du passage d'Henri IV qui enjambe les anciennes douves, le four à pain ainsi que les écuries demeurent les témoins architecturaux des 13ème et 16ème siècles.