Web挖掘，抓取Web抓取规则…请解释?

现金

我在我的MBA课程中使用了RapidMiner，距离我上次接触它已经快三年了。我刚开始一个职位，我将再次使用它，我有点生疏。我试图抓取一些数据(姓名，电话号码，地址等)的网站，并将它们放入excel文件，但我无法找出参数。我认为我的主要问题是理解爬行规则是什么。它们是什么意思?我应该申请哪一种?我在谷歌上搜索过这个问题，但我只得到针对其他用户问题的具体说明。谁能给出这些是什么以及它们的含义/作用的定义?

kayman

@Cash传统的组件在这里不起作用，因为这是一个动态页面，加载一个JSON文件，其中所有的位置都是分开的。
因此，您将抓取和存储的只是骨架，其中包含将在呈现期间注入数据的占位符。

所以这需要一些逆向工程，我会给你一些提示，但必须声明，这可能处于道德爬行的边缘。

如果你在firefox中加载页面，打开inspect元素窗口(windows上的快捷方式Q)，然后选择网络选项卡，你可以看到这个页面的所有内容是从哪里得到的。这是从图像到脚本等，其中一个来源是一个相当大的json文件，从API调用，似乎有所有的位置。

所以纯粹从理论上讲，如果网站所有者对此没有问题，你可以直接下载这个json文件，并使用json到数据来处理它。

(删除用户)

你好

请看看这个链接

https://marketplace.www.turtlecreekpls.com/UpdateServer/faces/product_details.xhtml?productId=rmx_web

我希望这对你有帮助
mbs

现金

我看到的只是Web Mining的简要描述和下载选项。

kayman

网络爬行领域非常广泛，并且非常依赖于网站/页面的结构，如果你给出一些你想要爬行的(方面)以及你需要从页面中获取什么内容的例子，将会有所帮助。

现金

@kayman我想建立一个列表的网站在这里:https://www.naadac.org/sap-directory?locsearch=22314&loccountry=US&locdistance=any&sortdir=distance-asc

我只是想记下他们的名字，地点和电话号码。我使用Selector Gadget来帮助我找出我需要的CSS标签，下面是它给我的:.places-app-location-citystatezip, a， .places-app-location-street， .places-app-location-name

现金

@kayman谢谢!这似乎是一个可靠的解决方案，尽管有点超出了我的能力范围。如果它属于道德爬行，那我就会尽量避免，因为这是为了工作，我不想做任何可能在公司政策下有问题的事情。我想办法用另一种方法获取数据。或者只是手工复制。再次感谢!