抓取谷歌搜索

AtiahKhoirunnisa

大家好,

快速矿工可以从谷歌搜索抓取文档，例如，我想检索与我在谷歌搜索中搜索的内容相关的所有文档，例如，我想找到包含“奥巴马”的文档或标题，我该怎么做?

SGolbert

有很多方法可以做到这一点，但谷歌搜索是无法合法抓取的:

查看:

https://www.google.com/robots.txt

如果您仍然希望减少被禁止或出现问题的可能性，则需要使用Selenium，这是一种使用您的web浏览器的网络爬虫(因此相当慢)。

亲切的问候,

塞巴斯蒂安。

MarcoBarradas

@AtiahKhoirunnisa
您可以使用自定义搜索引擎并从JSON中检索信息
https://cse.google.com/cse/
请记住，您可以搜索信息的位置是有限的，如果您需要增加所需的信息量，则需要为该工具的使用付费。
但我想这能帮到你。
致以最亲切的问候

AtiahKhoirunnisa

谢谢你们Golbert和Marco，我先试试