Το Παλιό Κωσταράζι αποτέλεσε καταφύγιο για τα ελληνικά αντάρτικα σώματα των Μακεδονομάχων κατά τη διάρκεια του Μακεδονικού Αγώνα, λόγω έλλειψης βουλγαρικής επιρροής και χωρίς κανένα φόβο προδοσίας από τους κατοίκους του χωριού.
Ο Μελάς διέρχεται για τρίτη φορά την ελληνοτουρκική μεθόριο στις 27 Αυγούστου 1904 ως αρχηγός ενός σώματος 30 ανδρών, μεταξύ των οποίων οι Λ. Πύρζας, Α. Δικώνυμος, Λ. Βρανάς, Γ. Βολάνης και Ι. Καραβίτης.
Μετά από 10 ημέρες πορεία, συνήθως σε συνθήκες βροχής και κακοκαιρίας και μετά από προδοσία από έναν οδηγό του, καταφέρνει να φτάσει στο Κωσταράζι.
Έτσι, στις 8 Σεπτεμβρίου του 1904, ο Παύλος Μελάς φθάνει με τους άνδρες του στο Κωσταράζι, όπου θα φιλοξενηθούν για δύο ημέρες για να συνεχίσουν την πορεία τους.
Μάλιστα, ο Παύλος Μελάς σε επιστολή του προς την γυναίκα του Ναταλία Δραγούμη (9 Σεπτεμβρίου 1904), κάνει ειδική αναφορά για την ασφάλεια του Κωσταραζίου και την εμπιστοσύνη των κατοίκων του.
''...Μολονότι είναι μυστική η διαμονή μας εις το χωριό, έρχονται όλοι ενθουσιασμένοι και μας βλέπουν, έχουν πάθος φοβερό κατά των Βουλγάρων, αν και μόνον απειλάς προς φορολογίαν υπέστησαν.
Εσκέφθην ότι, ως τρίτος σταθμός των όπλων είναι καταλληλότατον το Κωσταράζι και λόγο της θέσεώς του και λόγο της πιστότητος και αφοσιώσεως των ελαχίστων ανδρών του χωριού (οι πλείστοι τα 9/10 πηγαίνουν ως κτίσται εις τα ξένα, εις την Πόλιν και Εσκή Σεχήρ ως επί των πλείστων.)
Ώστε θα έχωμεν Βελεμίστι, Παλαιόκαστρον (Σιατιστα), Κονιστόν και Κωσταράζι.''
