Zacznę od końca:
1. Tak, są ludzie, którzy używają Linuksa z Pendrive'a - ma to swoje zalety i to dosyć liczne

Szczególnie, że MX i antiX bardzo dobrze się do tego nadają i posiadają odpowiednie opcje i narzędzia - tryb Persistence - czyli można posiadać przenośny system na LiveUSB z możliwością modyfikacji.
Nie wiem jak inne dystrybucje, bo z nich nie korzystam, ale być może nie tak wiele posiada taką możliwość (Persistence) - stąd brak świadomości o możliwościach, jakie daje Linux na pendrivie.
Tak więc to nie jest pytanie retoryczne.
2. Co do prędkości działania - tak jak było napisane powyżej, wiele zależy od prędkości dostępu do danych, w tym przypadku prędkości dostępu do pendrive'a przez USB.
System zainstalowany na dysku działa szybciej niż z pendrive'a. Czasem system live uruchamiany z płyty DVD działa szybciej niż z pendrive'a (USB), szczególnie gdy w komputerze jest USB 1.1 (szybkość dostępu do nośnika jest wtedy znacznie niższa - w porównaniu do USB 2.0). Taki typ (1.1) występuje w starych, tych naprawdę starych komputerach

32bit może też działać trochę szybciej niż 64bit.
W grę wchodzić też może dany sprzęt, ten sam pendrive może szybciej się uruchamiać na innym sprzęcie (w sensie jedno z urządzeń może być przyczyną różnic w prędkości uruchamiania). Proponuję zrobić test na innym komputerze z tym samym pendrivem - czy prędkość uruchamiania będzie taka sama, większa, mniejsza?
Można też spróbować jeszcze raz utworzyć nowe LiveUSB na tym samym pendrivie lub też na innym pendrivie. Pytanie też, czy wolno uruchamia się pendrive ze świeżo utworzonym systemem, czy już po zmianach (w trybie Persistence), ewentualnie po wykonaniu Remaster?
Jeżeli używasz trybu Persistence i dokonywałeś zmian, może chwilę trwać zapisywanie przy wyłączaniu (właśnie wtedy te zmiany są wprowadzane na USB, nie wcześniej) - nie wiem czy to masz na myśli. Nie wiem też, jaki tryb zapisu zmian (Persistence) wybrałeś (automatyczny, półautomatyczny, ręczny).
antiX zadziała na pewno, ale zawsze warto najpierw próbować z MX - ja tak robię na swoich komputerach, gdzie pójdzie MX (w miarę sprawnie), tam zostaje.
3. W MX Linux systemd jest dostępny, ale jest domyślnie wyłączony. Więcej o tym można przeczytać w Podręczniku użytkownika MX Linux, rozdział 1.7.1 (strona 7):
https://drive.google.com/open?id=1e1Nn_vyhCKaG5CqI-gb8_UDNSMrX_XyB
4. Z mojego doświadczenia - system z LiveUSB (MX i antiX) uruchamia się na moim głównym laptopie szybciej niż zainstalowany system - ale to dlatego, że na zainstalowanym mam już dużo różnych rzeczy, ładują się demony i inne sprawy, więc to trwa.
Samo LiveUSB wchodzi bardzo szybko.
MX i antiX są specjalnie zaprojektowane tak, aby korzystać z nich także jako LiveUSB (z opcją Persistence czyli z wprowadzaniem modyfikacji, własnych zmian) - i się tym szczycą i nie jest to bez pokrycia.
5. Co do zużycia pamięci przy Firefoksie - to on tak już ma. Gdy korzystasz z LiveUSB, a nie masz swap, to dodatkowo jest trudniej. Przy zainstalowanym systemie na dysku i posiadaniu swap już bywa lepiej.
Czasem warto zastosować triki. W ostatnich dniach na komputerze, który do mnie dotarł, uruchamiałem LiveUSB z MX 64bit i drugą wersję 32bit. Na komputerze jest tylko 512 MB RAM i na razie nie miałem dysku twardego. Dlatego można sobie pomóc - zrobiłem z całego pendrive'a 1GB partycję swap. (Możesz to zrobić w programie GParted). Można zrobić większy swap, jeśli masz większą pojemność, ja akurat miałem taki pod ręką.
I dzięki temu już jest łatwiej. 1GB swap już robi różnicę. Tak samo robiłem próby na starym komputerze z procesorem 500 MHz i 256 czy 512 MB RAM - system live (z płyty lub z USB), ale swap na pendrive - i też można eksperymentować.
Alternatywnie dla Firefoksa, można szybko doinstalować SlimJet - bardzo wydajna i szybsza, szczególnie na słabym sprzęcie, a wyświetla wszystko prawidłowo.
Inne lekkie przeglądarki to Midori, ekstremalnie lekka to Uzbl - ale SlimJet dla Twojego komputera już będzie ok, odczujesz różnicę.
6. Podsumowując, w zasadzie, jeżeli 32bit działa dobrze, to proponowałbym korzystać z 32bit (szczególnie jako LiveUSB). Użytkuje się go tak samo, a szybkość w tym konkretnym przypadku może być większa.
Jeśli jest możliwość testowego zainstalowania 64bit na dysku, można tak zrobić i sprawdzić efekt.
Ale po to właśnie MX i antiX są dostępne w 64bit i 32bit, żeby dostosowywać się do warunków. Ja pewnie wybrałbym 32bit dla tego konkretnego sprzętu.