После того, как поместье было конфисковано, регион не раз менял своего владельца. Само село Одинцово впервые упоминается в 1470 году. В это время к Московскому княжеству был присоединен Смоленск. Это привело к тому, что мимо села проложили большой Смоленский тракт. В результате, на территории района начала развиваться торговля и поселение быстро выросло.
В конце семнадцатого века само село и окрестные земли были куплены Матвеевым. Боярин был окольничим царя Алексея. Однако, после его смерти, вельможа был сослан в Мезень, а его земли отошли в собственность короны. Однако, во времена правления Петра Первого земли были возвращены роду Матвеевых. Интересно, что новый владелец Одинцово построил церковь в честь святого Артемона и посвятил ее отцу. Святой прославился тем, что у него был олень, изображение которого было размещено на гербе города.
С начала семнадцатого века село Одинцово много раз перепродавалось, пока в 1800 году его не купил граф А.А. Зубов. Его супруга была набожным человеком и спонсировала строительство большого количества религиозных святынь.