Nejstaršími písemně doloženými majiteli kraje byli páni z Vartenberka. Beneš dal ve 40. letech 14. století postavit hrad Kost, jeho syn Petr byl významný diplomat za Karla IV. Dceru Škonku provdal za majitele dolnobousovského panství Aleše Škopka z Dubé, dceru Elišku za Jana z Kunštátu. Manželé z Kunštátu se pak ujali kosteckého panství, ale oba brzy zemřeli a panství spravovala Petrova manželka Žofie ku prospěchu své vnušky Škonky, provdané za Mikuláše Zajíce z Hasenburka.