Kapten Francis Light membina kota pada mulanya dengan menggunakan kayu nibong tanpa binaan kekal yang melitupi kawasan seluas 417.6 kaki persegi.
Pada tahun 1804, kota ini dibina semula dengan batu-bata dan batu dengan menggunakan tenaga buruh tahanan India semasa perkhidmatan Kolonel R.T. Farquhar sebagai Gabenor Pulau Pinang. Kota Cornwallis siap sepenuhnya pada tahun 1810 semasa perkhidmatan Norman Macalister sebagai Gabenor Pulau Pinang dengan kos sebanyak $80,000. Ia bertujuan bagi mempertahankan kepentingan British dari serangan Perancis. setelah