网页抓取困难的网页(Airbnb)

2176328921763289 成员职位:3.贡献我
2020年3月编辑 在帮助

你好,

我需要网页碎片Airbnb网页。我需要得到一个城市所有住宿的标点符号(“Veracidad”:5，“communication”:5，等等)。airbnb.jpg

首先，我想要得到一个城市所有住宿的网址例子。然后让网络爬虫对所有这些链接进行抓取，并获得单个标点符号。

但是当我在示例链接中使用最大抓取深度为1的url时，我没有得到住宿的url…

你能帮我一下吗?: womanhappy:

标记:

答案

  • sgenzersgenzer 管理员，版主，员工，RapidMiner认证分析师，社区经理，成员，大学教授，PM版主职位:2959年社区经理

    你好@21763289请注意，抓取商业网站通常是非法的和/或违反了这些公司的服务条款。以下是airbnb网站上的具体用语:

    14.1您全权负责遵守可能适用于您使用爱彼迎平台的任何及所有法律、法规、规章和税务义务。在您使用爱彼迎平台的过程中，您不得也不得协助或允许他人:
    …
    出于任何目的，使用任何机器人、蜘蛛、爬行器、抓取器或其他自动化手段或流程访问、收集来自Airbnb平台的数据或其他内容，或以其他方式与Airbnb平台互动;

    (来源:https://www.airbnb.com/terms）

    我强烈建议任何RapidMiner用户在使用我们的软件或任何其他网络抓取方式时，请检查任何网站的服务条款。

    斯科特

  • 2176328921763289 成员职位:3.贡献我

    好的，谢谢，我明白了。

    所以，如果有人想私下回复我关于如何做假设…这只是为了给我的大学做一项研究。

  • rfuentealbarfuentealba 主持人，RapidMiner认证分析师，会员，大学教授职位:568独角兽

    嗨@21763289，

    你检查过通过AirBnB API是否合法吗?看起来他们确实有一个:

    https://www.airbnb.com/partner?c=tumblr&af=746240

    我还没试过，但这可能是个好的开始。

    愿一切都好！

    罗德里戈。

    sgenzer SGolbert
  • 2176328921763289 成员职位:3.贡献我

    好主意。谢谢! !

    sgenzer
登录或注册置评。