Pergunta de entrevista da empresa Lyft

How to design a web crawler?