Λόγω έλλειψης βουλγαρικής επιρροής και χωρίς κανένα φόβο προδοσίας από τους κατοίκους του χωριού, αρκετοί οπλαρχηγοί όπως ο πρωτεργάτης του Αγώνα Παύλος Μελάς αλλά και οι Κατεχάκης, Τσόντος Βάρδας, Νταλίπης, Καούδης βρήκαν καταφύγιο και είχαν ως τόπο συνάντησης το Παλιό Κωσταράζι.
Μάλιστα ο Παύλος Μελάς, σε επιστολή του προς την γυναίκα του Ναταλία Δραγούμη (9 Σεπτεμβρίου 1904), κάνει ειδική αναφορά για την ασφάλεια του Κωσταραζίου και την εμπιστοσύνη των κατοίκων του,
''...Μολονότι είναι μυστική η διαμονή μας εις το χωριό, έρχονται όλοι ενθουσιασμένοι και μας βλέπουν, έχουν πάθος φοβερό κατά των Βουλγάρων, αν και μόνον απειλάς προς φορολογίαν υπέστησαν.
Εσκέφθην ότι, ως τρίτος σταθμός των όπλων είναι καταλληλότατον το Κωσταράζι και λόγο της θέσεώς του και λόγο της πιστότητος και αφοσιώσεως των ελαχίστων ανδρών του χωριού (οι πλείστοι τα 9/10 πηγαίνουν ως κτίσται εις τα ξένα, εις την Πόλιν και Εσκή Σεχήρ ως επί των πλείστων.)
Ώστε θα έχωμεν Βελεμίστι, Παλαιόκαστρον (Σιατιστα), Κονιστόν και Κωσταράζι.''
Mάλιστα, στο Κωσταράζι είχε συγκροτηθεί Εθνική Επιτροπή, η οποία είχε ιδιαίτερη σημασία, καθιστώντας έτσι το χωριό, κομβικό σημείο συγκέντρωσης και ανασυγκρότησης ελληνικών αντάρτικων σωμάτων.
Έτσι, στις 8 Σεπτεμβρίου του 1904, μετά από συνεχή πορεία αρκετών ημερών και συνήθως σε συνθήκες βροχής και κακοκαιρίας, ο Παύλος Μελάς αφού περάσει από το στενό πέρασμα, ''Σταυρός'', έξω από τη Δαμασκηνιά Βοΐου, φθάνει με τους άνδρες του στο Κωσταράζι από το οποίο η Καστοριά απέχει δύο ώρες με τα πόδια.
Στο χωριό φιλοξενούνται δύο ημέρες για να συνέλθουν, ώστε ξεκούραστοι να συνεχίσουν την εκτέλεση της αποστολής τους.
