تتأثر العمارة في أي مكان بعدة عوامل تشمل: مواد البناء، والمناخ، والتضاريس، والحالة الاجتماعية، والأمنية، والاقتصادية، والسياسية، ولعل هذه العوامل مجتمعةً كان لها تأثير كبير في العمارة في منطقة عسير، ذلك أن هذه المنطقة تضم تضاريس مختلفة، وهذا بدوره أدى إلى تباين المناخ والمواد المستخدمة في البناء، في حين أسهمت الأوضاع الأمنية الناجمة عن عدم الاستقرار السياسي - إلى جانب الأوضاع الاقتصادية والاجتماعية المتباينة - في تعدد الطرز المعمارية في المنطقة 

 

تختلف الأبنية في منطقة عسير وتتنوع من مكان إلى آخر؛ فتوجد المنازل التي تسكنها الأسر، وما يتبع تلك المنازل من مرافق وخدمات، وتوجد أيضًا أبنية أخرى، مثل: المدرجات الزراعية، والآبار, والأسوار حول القرى أو بعض الأحمية، والقبور، وتوجد المباني العسكرية، مثل: القلاع وغيرها.