Ιδιαίτερη ήταν η σχέση του αγίου Κοσμά με τον Αλή Πασά των Ιωαννίνων. Η συνάντηση των δύο ανδρών μαρτυρείται στο Τεπελένι. Εκεί, όταν κάποιοι κινήθηκαν απειλητικά εναντίον του αγίου διαλύοντας τη σύναξή του, εκείνος κατέφυγε στο αρχοντικό της Χάμκως, μητέρας του Αλή, η οποία τον προστάτεψε. Την ώρα του βραδινού φαγητού ο διορατικός επισκέπτης είπε στο νεαρό Τουρκαλβανό: «Θα γίνης μεγάλος άνθρωπος· θα κυριεύσης όλη την Αρβανιτιά· θα υποτάξης την Πρέβεζα, την Πάργα, το Σούλι, το Δέλβινο, το Γαρδίκι και αυτό το τάχτι του Κουρτ Πασά. Θα αφήσης μεγάλο όνομα εις την Οικουμένην».
Και πρόσθεσε: «Αυτή είναι η θέλησις της Θείας Προνοίας. Ενθυμήσου όμως σε όλη τη διάρκεια της εξουσίας σου να αγαπάς τους Χριστιανούς, αν θέλης να μείνη η εξουσία εις τους διαδόχους σου». Την άλλη μέρα το πρωί ο παρορμητικός νεαρός ρώτησε τον άγιο, αν θα πάει στην Κωνσταντινούπολη. Τότε ο προορατικός ιερομόναχος απάντησε: «Και στην Πόλιν θα πας, μα με κόκκινα γένεια!».
Ο Αλής δεν πρόλαβε να διευκρινίσει, τι σήμαινε η τελευταία φράση. Όμως, εντυπωσιασμένος στην πορεία της ζωής του από την επαλήθευση των προρρήσεων αλλά και την ανάμνηση της εμπνευσμένης διδαχής του αγίου, τον τίμησε υπερβαλλόντως. Όταν κατέλαβε το Μπεράτι, έδωσε εντολή στον Μητροπολίτη Βελεγράδων Ιωάσαφ να κάνει ανακομιδή του λειψάνου του αγίου και να κτισθεί ναός και μοναστήρι στο όνομά του. Με επιστολές και φιρμάνια προέτρεψε τους προεστούς και τους κατοίκους της ευρύτερης περιοχής να προσφέρουν για την αποπεράτωση του μοναστηριού, το οποίο ενίσχυσε οικονομικά και ο ίδιος.
Στη συνέχεια ο Αλή Πασάς εγκαινίασε την εκκλησία και όρισε τριήμερη εμπορική πανήγυρη στο Κολικόντασι στις 23, 24 και 25 Αυγούστου. Παράλληλα οργάνωσε μεγαλοπρεπή λιτανεία της κάρας και των λειψάνων του στα Γιάννενα με τη συμμετοχή του χριστιανικού κλήρου και του λαού, αλλά και πολλών τούρκων. ΄Ηδη από το 1815 καθιερώθηκε η εορτή του αγίου «δια βεζυρικής διαταγής». ΄Ελεγε χαρακτηριστικά: «Τούτο το καλόγερο, ωρέ, ήταν αληθινό προφήτη. Ήρθε σπίτι μου, στο Τεπελένι, και με ευκήθηκε, ωρέ, και μου είπε όλα όσα έκαμα, σαν να τα είχε γραμμένα στο κιτάπι!».
Όταν κάποιος φανατικός μουσουλμάνος ειρωνεύτηκε τον Αλή Πασά, διότι τιμούσε τον άγιο Κοσμά, εκείνος απάντησε: «Φέρετέ μου ένα μουσουλμάνο, σαν κι αυτόν τον χριστιανό και να του φιλήσω τα πόδια».
Δραματικό όμως ήταν το τέλος του Αλή. Όταν το 1822 επαναστάτησε εναντίον του Σουλτάνου, εκείνος διέταξε τον αποκεφαλισμό του. Το αιμόφυρτο κεφάλι του μεταφέρθηκε στην Πόλη και επιβεβαιώθηκε έτσι η προφητεία του Πατροκοσμά, «ότι θα πάει στην Πόλη με κόκκινα γένια».
Όταν τον ρώτησε ο Αλί Πασάς αν θα τα καταφέρει να πάει στην Πόλη, ο Άγιος του είπε πως θα πάει με κόκκινα γένια. (40 χρόνια μετά το μαρτύριο του Αγίου, η Τούρκοι αποκεφάλισαν τον Αλί Πασά στα Γιάννενα και μετέφεραν το κεφάλι με τα ματωμένα γένια του στην πόλη) .
