ภายในปรางค์เป็นห้องโถง กรอบประตูสร้างด้วยแท่งหิน รอบๆ ปรางค์ยังมีหินก้อนใหญ่อยู่เกลื่อนกลาด ห่างจากปรางค์นางผมหอมไม่มากนักเป็นด่านกักสัตว์บ้านโคกคลี เป็นเนินดินมีซากอิฐ เข้าใจว่าเป็นฐานวิหาร หรือเจดีย์ ชาวบ้านเรียกโคกคลีน้อย ยังมีเนินกว้างอีกแห่งหนึ่งเรียกโคกคลีใหญ่ ที่ตั้งของปรางค์นางผมหอมมีแม่น้ำมาบรรจบกันสองสาย คือ ลำสนธิกับลำพระยากลาง สันนิษฐานว่าสถานที่แห่งนี้แต่เดิมเป็นเมืองโบราณ และจากการขุดแต่งโบราณสถานเมื่อปี พ.ศ. 2530 พบหลักฐานเพิ่มเติม คือ ชิ้นส่วนของเครื่องประดับตกแต่งองค์ปรางค์ ทำด้วยหินทรายเป็นรูปสตรีนุ่งผ้าตามศิลปะเขมรแบบบายน สันนิษฐานว่าปรางค์องค์นี้มีอายุราวพุทธศตวรรษที่ 15-17 ในช่วงสมัยพระเจ้าชัยวรมันที่ 7  มีตำนานพื้นเมืองเรื่องปรางค์นางผมหอมอยู่ว่า  ราชธิดาของเจ้าเมืองแห่งหนึ่งชื่อนางผมหอม มีความงามเป็นเลิศ ทุกครั้งที่นางสระสนาน มักจะไปนั่งที่ก้อนหินก้อนหนึ่งแล้วสระผม บริเวณที่ก้อนหินนั้นตั้งอยู่จึงเรียกว่า ท่านางสระผม วันหนึ่งผมของนางลอยไปตามน้ำกษัตริย์อีกเมืองหนึ่งเก็บผมของนางได้ เกิดความหลงไหลเจ้าของผม จึงให้ทหารออกตามหาเจ้าของผม จนพบแล้วกลับมากราบทูลให้ทรงทราบ  กษัตริย์องค์นั้นจึงเสด็จไปหานาง เมื่อพบแล้วก็เกิดความรักแต่นางมีคู่หมั้นก่อนแล้ว และเป็นสหายของพระองค์ด้วย ดังนั้นทั้งสองฝ่ายจึงพนันตีคลีกัน ผู้ใดชนะก็จะได้นางผมหอมไปเป็นชายา  นางผมหอมเฝ้าดูการตีคลีด้วยความอัดอั้นตันใจจึงได้ผูกคอตาย  ฝ่ายทั้งสองชายเมื่อทราบเรื่องก็ชวนกันกระโดดน้ำตายด้วยความเสียใจ  สถานที่แห่งนั้นจึงได้ชื่อว่า ปากชวน ส่วนศพนางผมหอมก็ได้บรรจุไว้ในปรางค์  จึงได้ชื่อว่า ปรางค์นางผมหอม สถานที่ตีคลีพนันกันก็ได้ชื่อว่า โคกคลี