Низкая скорость оказывает влияние на ранжирование сайта в двух случае:
1. Когда скорость реально настолько низкая, что посетители уходят, не дождавшись загрузки страницы. В этом случае получается большое количество отказов, соответственно плохие пф и сайт медленно, но верно буль буль.
2. Скорость является фактором ранжирования для мобильных устройств в выдаче Google, во всех остальных случаях показатель скорости не учитывается при ранжировании. То есть для yandex и десктопной версии гугл совершенно безразлично, как быстро грузится сайт. А призывы обязательно находится в зеленой зоне не более как рекламные потуги продавцов воздуха, то бишь скорости. Но см. п.1