Bangunan istana ini berukuran 400 meter timur-ke-barat dan 350 meter utara-ke-selatan, dengan tembok batu yang landai dengan ketebalan sekitar 3 meter dan 5 meter pada bagian dasarnya yang juga dicampur dengan tembaga untuk mencegah dari gempa bumi. Bangunan ini memiliki tiga belas tingkat - memiliki lebih dari 1.000 kamar, 10.000 tempat pemujaan dan sekitar 200.000 patung -; membumbung setinggi 117 meter di puncak Marpo Ri, "Lembah Merah" (Red Hill), menjulang lebih dari 300 meter secara menyeluruh dari dasar lembah. Menurut tradisi, ketiga lembah utama di Lhasa memberikan arti sebagai "Tiga Penjaga Tibet." Chokpori, di sebelah selatan Potala, merupakan gunung-hati (bla-ri) dari Vajrapani, Pongwari dari Manjushri, dan Marpori, lembah dimana Istana Potala berada, mewakilkan Chenresig atau Avalokitesvara.