วัดมหาธาตุ ตั้งอยู่ในเขตเทศบาลเมือง โบราณสถานที่สำคัญในวัดคือ พระพุทธบุษยรัตน์ หรือพระแก้วหยดน้ำค้าง เป็นพระพุทธรูปปางสมาธิ ศิลปะสมัยเชียงแสน เป็นพระคู่บ้านคู่เมืองของยโสธรที่พระบาทสมเด็จพระนั่งเกล้าเจ้าอยู่หัว รัชกาลที่ ๓ โปรดเกล้า ฯ พระราชทานให้พระสุนทรราชวงศาเจ้าเมืองยโสธรคนแรก ภายในวัดมหาธาตุมีสิ่งที่น่าสนใจคือ
พระธาตุยโสธร หรือ พระธาตุอานนท์ ตั้งอยู่หน้าอุโบสถ เป็นพระธาตุรุ่นเก่าที่สำคัญองค์หนึ่งในภาคอีสาน เจดีย์ทรงสี่เหลี่ยมส่วนยอดคล้ายพระธาตุพนม ภายในพระธาตุบรรจุอัฐิธาตุของพระอานนท์ การก่อสร้างได้รับอิทธิพลศิลปะลาวที่นิยมสร้างขึ้นเมื่อปลายสมัยกรุงศรีอยุธยาถึงต้นรัตนโกสินทร์ ซึ่งตรงกับประวัติการตั้งเมืองและประวัติของวัดมหาธาตุฉบับหนึ่งว่า สร้างราวพ.ศ. ๒๓๒๑ โดยท้าวหน้า ท้าวคำสิงห์ ท้าวคำผา ซึ่งเดิมเป็นเสนาบดีเก่าของกรุงศรีสัตนาคนหุต (เวียงจันทน์) ต่อมาได้อพยพผู้คนภายใต้การนำของพระวอ พระตา ราว พ.ศ. ๒๓๑๓-๒๓๑๙ มาตั้งถิ่นฐาน ณ ที่นี้
ลักษณะพระธาตุ ฐานรูปสี่เหลี่ยมจัตุรัส ยาวด้านละ ๘๑ เมตร ก่ออิฐถือปูนเอวฐานคอดเป็นรูปบัวคว่ำบัวหงาย เหนือขึ้นไปเป็นเรือนธาตุ มีซุ้ม ๔ ทิศ ประดิษฐานพระพุทธรูปประทับยืน ส่วนยอดธาตุมียอดปลีเล็กแซมทั้ง ๔ ด้าน ยอดกลางทรงสี่เหลี่ยมสอบ มี ๒ ชั้น รูปแบบการก่อสร้างคล้ายกับพระธาตุก่องข้าวน้อยและทางวัดจะจัดให้มีงานสมโภชพระธาตุอานนท์ขึ้นเป็นประจำทุกปีในเดือนมีนาคม
หอไตร เป็นที่เก็บคัมภีร์ใบลานของวัด ตั้งอยู่ตรงกลางสระทางทิศตะวันออกเฉียงเหนือของพระธาตุ เป็นรูปสี่เหลี่ยมผืนผ้า ลักษณะแบบหอไตรภาคอีสานทั่วไป มีทางเดินโดยรอบติดกันใต้ชายคา บริเวณนี้เป็นที่เก็บรักษาตู้พระธรรม หีบพระธรรม เสลี่ยงชั้นวางคัมภีร์ซึ่งนำมาจากเวียงจันทน์ ซุ้มประตูและบานประตูไม้สลักลวดลายเครือเถาลงรักปิดทองอย่างสวยงาม การตกแต่งฝาผนังมีลวดลาย ซึ่งเป็นลักษณะผสมแบบภาคกลางสันนิษฐานว่า หอไตรสร้างขึ้นในสมัยรัชกาลที่ ๔-๕ แห่งกรุงรัตนโกสินทร์