Les Savoyards de Paris, « peuplade envahissante » selon la presse du XIXe