Kolej do Żywca uruchomiono w roku 1878, kiedy to wzniesiono również pierwszy budynek dworca. Wówczas dotarła tu linia z Bielska. W 1884 roku linią Kolei Transwersalnej Żywiec uzyskał połączenie z Suchą, a także, przez Zwardoń, z Wiedniem. Sam dworzec, podobny do wielu ówczesnych tego rodzaju obiektów w monarchii austro-węgierskiej, obejrzeć można na starych kartach pocztowych. Dziś pozostał po nim obecny budynek przychodni kolejowej. Podróżni zapewne nieraz zastanawiają się, dlaczego żywiecki dworzec zlokalizowany jest w pewnej odległości od centrum miasta. Leży w dzielnicy Zabłocie, stanowiącej kiedyś osobną miejscowość, zamieszkałą dawniej przez Żydów. Przyczyny takiego położenia dworca są dość interesujące i wiążą się z historią sięgającą wieków znacznie dawniejszych, bo czasów, kiedy miała miejsce rywalizacja stanu mieszczańskiego ze społecznością żydowską (która, jak wiadomo, uciekając przed prześladowaniami w innych krajach, masowo emigrowała na tereny polskie). W tolerancyjnej, generalnie, Rzeczypospolitej, strzegący swych interesów mieszczanie żywieccy starali się jednak nie dopuścić do osadnictwa Żydów na terenach miejskich. Miasto w 1624 r. otrzymało przywilej „de non tolerandis judaeis”, który dla wyznawców religii mojżeszowej oznaczał zakaz osiedlania się w Żywcu. Prawo to w XVIII w. potwierdził cesarz Józef II, dodając, iż może tu zamieszkać jedynie Izraelita urodzony w mieście, co sprawiło, że żywczanie pilnowali, by nie zatrzymywały się tu ciężarne Żydówki. Starozakonni zamieszkiwali więc licznie okoliczne miejscowości, jak właśnie Zabłocie (późniejszą dzielnicę), które w XIX w. stało się prężnym ośrodkiem gospodarczym. Niejednokrotnie należeli oni do elity najbogatszych ludzi w regionie - jak np. Singer, właściciel fabryki papieru „Solali”. Gdy budowano kolej, dworzec zlokalizowano nie przy centrum miasta, ale właśnie tutaj. Jak głosi anegdota, sami żywieccy rajcy mieli podobno sprzyjać takiemu usytuowaniu stacji, obawiając się Żydówek, które podróżując koleją mogłyby urodzić dziecko w mieście (choć historia ta nie musi być prawdziwa i jest raczej późniejszą kpiną z żywieckich mieszczan). Lokalizacja dworca w Zabłociu stała się jeszcze większym impulsem do rozwoju tutaj przemysłu, handlu i rzemiosła. Żywiec pod koniec XIX w. stał się ważnym węzłem na trasie Karpackiej Kolei Transwersalnej. Linia ta, istotna także w czasach II Rzeczypospolitej, w czasach komunizmu - przecięta pilnie strzeżonymi granicami - straciła na znaczeniu. Zasypano m.in. fragment torów w rejonie Przełęczy Zwardońskiej. Niestety, fatalne zarządzanie kolejami (także w ostatnich latach) przyczyniło się do wstrzymania obecnie ruchu między Żywcem a Suchą Beskidzką (jeszcze w latach 80-tych XX w. regularne pociągi ciągnięte były tu przez parowozy).