Limandan bugünkü kent merkezine çıkan taş döşeli rampalı bir sokak içinde yer alan Ağa Cafer Paşa Camisi kent merkezinde yer alan en eski iki camiiden birisidir. Kesme taştan inşa edilmiş olan cami dikdörtgen planlı ve tek şerefesi olan tek minarelidir. Caminin hemen güneydoğusunda Hasan Kavizade Hüseyin Efendi Çeşmesi yer alır. Çeşmenin kuzey cephesinde kabartma olarak yapılmış üç kemer bulunmakta, ortadakinde ters ay, rozet ve dal motifleri ile bezenmiş 1257 (Hicri) tarihli (Miladi 1841) mermer bir yazıt yer almaktadır.