Το χωριό ιδρύθηκε την περίοδο 1826-1835 από Βλάχους κτηνοτρόφους, που κατάγονταν από τα χωριά Αβδέλλα και Σαμαρίνα στην βόρεια Πίνδο, που εξαιτίας των διωγμών από τους Τούρκους εγκαταστάθηκαν στα αλπικά λιβάδια του Βερμίου. Υπάρχουν όμως και άλλες πηγές που αναφέρονται σε ένα προγενέστερο οικισμό με το όνομα Σέλι σε παραπλήσια τοποθεσία. Στο Σέλι έχουμε τη δυνατότητα να γευματίσουμε σε μία από τις ταβέρνες που λειτουργούν όλο το χρόνο με υπέροχα τοπικά κρέατα και βλάχικες πίτες όπως Τσουκνιδόπιτα και Κρεμμυδόπιτα θαυμάζοντας τη θέα του κάμπου της Ημαθίας.
Το Σέλι έχει πλούσια λαογραφική παράδοση. Πολιούχος του χωριού είναι η Παναγία. Στις 15 Αυγούστου γίνεται 3ήμερο πανηγύρι της Παναγίας συγκεντρώνοντας πλήθους κόσμου. Την ένατη μέρα μετά τον Δεκαπενταύγουστο, στα εννιάμερα της Παναγίας, τελείται λειτουργία στον Ιερό Ναό της Παναγίας της Σελιώτισας στην περιοχή ‘Πριόνια’. Εκεί, στο φυλάκιο στα Πριόνια, μπορεί κανείς να κεραστεί πίτες λουκούμια, σουβλάκια, λουκάνικα και άλλα κρεατικά προσφορά του τοπικού συνεταιρισμού και να γλεντήσει στους ήχους των χάλκινων.
Ο οικισμός είναι πολύ παλιός και ανέρχεται στους βυζαντινούς χρόνους, χωρίς να είναι γνωστό πως ονομάζονταν τότε ενώ υπάρχουν γραπτές αναφορές στα έγγραφα του Τουρκικού ιεροδικείου της Βέροιας από το 1640-1641. Ξέρουμε επίσης ότι καταστράφηκε πολλές φορές πιο πριν από πυρπολήσεις και από ληστές ενώ από την καταστροφή του 1795 από ληστές οι κάτοικοι σκορπίστηκαν σε άλλα μέρη, ιδίως στη Μακεδονία. Ξανά χτίστηκε, ίσως το 1805 και έγινε τσιφλίκι του Αλή Πασά. Ξανά καταστράφηκε το 1822 μαζί με την καταστροφή της Νάουσας ενώ ξαναζωντάνεψε όταν γύρω στα 1840 εγκαταστάθηκε στην περιοχή ένα φαλκάρι 100 περίπου οικογενειών από τα βλαχοχώρια των Γρεβενών. Η διάβαση του Ξηρολιβάδου είχε νωρίτερα χρησιμοποιηθεί από τους Βλάχους της Πίνδου, όταν οργανωμένα μετακινούνταν διωκόμενοι από τις άγριες διαθέσεις του Αλή Πασά, του οποίου η εξουσία έφθανε μέχρι τον ποταμό Αξιό. Μετά από ένα χρονικό διάστημα που ακολούθησε την εξόντωση του Τεπελενλή, οι βλαχόφωνοι κτηνοτρόφοι επέστρεψαν από την κεντροανατολική Μακεδονία, όπου είχαν καταφύγει και εγκαταστάθηκαν στο Βέρμιο, όπου ήδη είχαν εντοπίσει πλουσιότατα βοσκοτόπια.
Σημαντικές ημερομηνίες για επίσκεψη στο Ξηρολίβαδο είναι ‘Η Περπερούνα και η Γκαλεάτα’ την 23η του Ιουνίου, το ‘Πανηγύρι του Προφήτη Ηλία’ και ο ‘Ορεινός Αγώνας Ξηρολίβαδου’ κάθε Ιούλιο. Στο Ξηρολίβαδο παλαιότερα αναβίωναν τα έθιμα Περπερούνα και Γκαλεάτα που τα τελούσαν τα κορίτσια του χωριού με σκοπό να προκαλέσουν βροχή. Οι Ξηρολιβαδιώτισσες, διατηρώντας την βλάχικη παράδοση, συνηθέστερα συνδύαζαν την Περπερούνα με τον Κλήδονα, αναβιώνοντας στο χωριό το έθιμο Γκαλεάτα. Ως ‘Γκαλεάτα’ προσδιορίζονταν ένα κτηνοτροφικό σκεύος σαν γκιούμι, στο οποίο τοποθετούνταν ένα συγκεκριμένο αγριολούλουδο, που και αυτό για τον ίδιο λόγο ονομαζόταν επίσης γκαλεάτα. Η αναβίωση του εθίμου γινόταν την καλοκαιρινή περίοδο, την μέρα του Αϊ Γιάννη του Κλήδονα, όταν οι Βλάχοι είχαν πια ανεβεί στο βουνό για να ξεκαλοκαιριάσουν. Με την Γκαλεάτα συνδυάζονταν η επίκληση για βροχόπτωση και τα μαντέματα για την τύχη των κοριτσιών που μετείχαν στο δρώμενο. Το έθιμο άρχιζε την παραμονή, 23 Ιούνη, όταν γινόταν η πρόσκληση και μαζεύονταν τα κορίτσια του χωριού και στόλιζαν την Γκαλεάτα, ενώ οι κοπέλες έριχναν μέσα η καθεμιά ένα ασημικό (βραχιόλι, δακτυλίδι κ.τ.λ.), τα ριζικάρια, γιατί από αυτά θα έβγαινε το ριζικό, η μοίρα κάθε μιας κοπέλας.
Tο πανηγύρι του Προφήτη Ηλία αποτελεί την κορυφαία εκδήλωση του Ξηρολιβάδου όπου αναβιώνει το έθιμο του πλειστηριασμού των εικόνων. Μετά το πέρας του πλειστηριασμού πραγματοποιείται λιτάνευση των ιερών εικόνων που ξεκινάει από την εκκλησία και καταλήγει στην Μπούνα (Καλό Πηγάδι) στο λιβάδι. Στην πομπή που σχηματίζεται, τον δρόμο ανοίγουν καβαλάρηδες, ενώ τις εικόνες συνοδεύουν τιμητικά ντυμένοι με παραδοσιακές ενδυμασίες Ξηρολιβαδιώτες και ακολουθεί όλος ο κόσμος. Στην Μπούνα τελείται ο αγιασμός των πηγαδιών, της μπάρας, του λιβαδιού, των κοπαδιών και του δάσους. Η παράδοση θέλει μετά τον αγιασμό να αναβιώνει στο Τσαΐρι ο Τρανός Χορός με όλους τους άνδρες και τις γυναίκες του χωριού να πιάνονται κατά σειρά ηλικίας τραγουδώντας και χορεύοντας παλιούς παραδοσιακούς σκοπούς. Τελετουργικός χορός, με λιτές κινήσεις, με μελωδικές αντιφωνίες συμβολίζει τον κύκλο της ζωής και διασώζει στοιχεία από τους πανάρχαιους δωρικούς κύκλιους χορούς.
Από τη Φυτιά θεωρείται ότι κατάγεται ο Άγιος Τιμόθεος ο Οσιομάρτυς εκ Βεροίαςο οποίος γεννήθηκε περίπου το 1762, έγινε μοναχός στο Άγιο Όρος και με την έναρξη της Ελληνικής Επανάστασης του 1821 μαρτύρησε μαζί με άλλους μοναχούς στο Λευκό Πύργο (που χρησιμοποιούνταν τότε ως φυλακή), το 1822 ύστερα από βασανιστήρια των Οθωμανών.
Στον Μακεδονικό Αγώνα 1904-1908 πήραν μέρος αρκετοί Φυτιώτες, οι οποίοι αναγνωρίστηκαν επίσημα ως Μακεδονομάχοι από το ελληνικό κράτος το 1963 και αρκετοί έπεσαν νεκροί στις μάχες. Ο Ναός του Αγίου Αθανασίου (και συγκεκριμένα ένα τμήμα που διασώθηκε από τον παλιό ναό) κηρύχθηκε το 1969 ως ιστορικό διατηρητέο μνημείο από το ελληνικό κράτος. Στους τοίχους του υπάρχουν τοιχογραφίες αγίων, με πιο εντυπωσιακή αυτή του αγίου Νέστορα. Κατά την παράδοση, από το μάτι του αγίου φαίνεται να τρέχει αίμα από τότε που μουσουλμάνοι προσπάθησαν να το βγάλουν αλλά, σκαλίζοντας την τοιχογραφία, ανάβλυσε αίμα τρέποντάς τους σε φυγή.
Τρεις είναι οι πιο σημαντικές εκδηλώσεις που πραγματοποιούνται κάθε χρόνο στο χωριό:
• το κουρμπάνι στις 18 Ιανουαρίου προς τιμήν του Αγίου Αθανασίου
• πολιτιστικές εκδηλώσεις με χορευτικά συγκροτήματα [11] στις 23 Αυγούστου (Εννιαήμερα της Θεοτόκου)
• το κάψιμο των κέδρων (κέδαρα) στις 23 Δεκεμβρίου (προπαραμονή Χριστουγέννων) στις 12 το βράδυ με συμμετοχή πολλών επισκεπτών από όλη την Κεντρική Μακεδονία.
Στην Φυτιά δραστηριοποιείται ο O Εκπολιτιστικός Μορφωτικός Σύλλογος Φυτείας (Ε.Μ.Σ.Φ.) ιδρύθηκε το 1981.
Υπάρχουν δύο εκκλησίες:
• ο Άγιος Νικόλαος και
• ο Άγιος Αθανάσιος. που θεωρείται προστάτης του χωριού.
Ακόμη υπάρχουν τέσσερα παρεκκλήσια γύρω από το χωριό:
• η Αγία Παρασκευή στο Κλαδάκι,
• οι Άγιοι Θεόδωροι,
• ο Άγιος Μόδεστος και
• ο Άγιος Πρόδρομος στο δρόμο για το Κωστοχώρι.
Επίσης πολύ κοντά στο χωριό, στην περιοχή της Μαρούσιας, βρίσκεται ο μεταβυζαντινός Ναός του Αγίου Νικολάου Μαρούσιας, που χτίστηκε στις αρχές του 18ου αιώνα.
Σε απόσταση 7 χλμ. από τη Φυτιά στο παλιό δρόμο Φυτιά – Βέροια βρίσκεται η Ιερά Μονή Παναγίας Δοβρά (Καλή Παναγιά).
Η Φυτιά είναι μία από τις διαδρομές του Ράλλυ «Φίλιππος» που διοργανώνει κάθε χρόνο η Λέσχη Αυτοκινήτου Βέροιας.
Μετά την αποτυχία της επανάστασης της Νάουσας το 1822 το χωριό καταστράφηκε από τις ορδές του Λουμπούτ πασά και όσοι από τους κατοίκους του γλίτωσαν από το θάνατο, κατέφυγαν σε ορεινούς και απόμακρους οικισμούς της περιοχής, για να επιστρέψει ένα μικρό μέρος μόλις το 1891. Το 1916 οι Γάλλοι τοπογράφησαν το χωριό και τον επόμενο χρόνο άρχισε η κατασκευή των πρώτων σπιτιών του Εποικισμού ενόψει της εγκατάστασης Ποντίων προσφυγών από το Κάρς της Ρωσίας, που είχαν αρχίσει την περίοδο αυτή να εγκαθίστανται στην Ελλάδα. Πραγματικά το 1919 στις 16 υπάρχουσες οικογένειες των γηγενών προστέθηκαν 25 οικογένειες Καρσλήδων, που μετά παραμονή τριών χρόνων αναχώρησαν για την περιοχή της Πτολεμαϊδας.
Στις αρχές του 1924 εγκαταστάθηκαν στη Ραχιά 7 οικογένειες από τα χωριά Κελκίτ και Γατράχ του Παϊπουρτ (Τσιαμουρλήδες) και 5 οικογένειες από την ευρύτερη περιοχή της Αργυρούπολης (Κιμισχαναλήδες). Λίγες μέρες αργότερα ,στις 25 Οκτωβρίου,έφτασαν με κάρα και κατασκήνωσαν στην αυλή της εκκλησίας του Αγίου Αθανασίου 23 οικογένειες Σανταιών,ο αριθμός των οποίων διευρύνθηκε σημαντικά κατά τα επόμενα χρόνια,καθώς σε αυτές ήρθαν να προστεθούν και αρκετοί άλλοι Σανταίοι, που επέλεξαν τη Ραχιά σαν τόπο της οριστικής τους εγκατάστασης.