150多个数据源连接器到RapidMiner -通过DataVirtuality变得简单

sgenzersgenzer 管理员,版主,员工,RapidMiner认证分析师,社区经理,成员,大学教授,PM版主职位:2959年社区经理

截屏2018-07-02 at 4.52.43 PM.png像许多rapidminer一样,我一直在寻找一种“一刀切”的工具来引入大量的第三方数据源——快速而简单。是的,我们确实有一些非常灵巧的自定义操作,如Twitter、Zapier、Dropbox、Aylien、Rosette等。但是还有很多!

我最近发现了一个很好的解决方案,让用户愿意花$$来简化这个过程:DataVirtuality.他们的主要工作是充当第三方数据源和BI工具之间的中间人。他们有超过150个现成的“连接器”,比如谷歌Analytics,谷歌AdWords, LinkedIn, Facebook, Salesforce Pardot等等。所以我联系了他们,看看能不能把他们的服务和RapidMiner连接起来。嗯,是的,你可以,而且相当光滑。

DataVirtuality (DV)

首先需要做的是用DV创建一个帐户。我不会在这里公布它们的价格,但足以说明它并不便宜。如果你有预算或者根本没有预算,我建议你在这里停止阅读。你会发现整件事是多么容易,然后当你意识到你可能负担不起的时候哭。但如果你有足够的预算,请继续阅读……

注册后,你将下载他们名为“DVStudio”的本地客户端,并将你的数据源连接到他们的系统上。“他们的系统”是什么?基本上,它是您自己的AWS RDS SQL实例。DV创建“管道”,将这些第三方源连接到您的DV提供的RDS实例,并对其进行维护,等等。你也可以在内部部署,但我不认为这更便宜。大多数数据源在DVStudio中都有一个向导来指导您完成设置的步骤。向导创建一个SQL查询,一旦您按下go,就应该设置好了。

我通过连接RapidMiner自己的谷歌分析帐户进行了测试,我会说,除了处理谷歌云IAM废话之外,从我的角度来看,一切都非常简单。当你完成后,它看起来像这样:

截屏2018-07-02下午4:53.57 .pngDVStudio的主屏幕

注意,如果单击模式,实际上看到的是一个预制的SQL脚本。以下是他们为Atlassian JIRA所做的,以查看所有未解决的支持问题:

截屏2018-07-02下午4:57.12 .pngDV Studio用于加载Atlassian JIRA未解析票据的“虚拟模式”

这就是你在DVStudio端所需要做的。

RapidMiner Studio(或服务器)

一旦你把DVStudio设置成你喜欢的样子,你就可以转向RapidMiner了。DV没有自定义运营商(尚未…)为RapidMiner;它通过自己的JDBC驱动程序与RapidMiner连接。将DV JDBC驱动程序放在RapidMiner JDBC文件夹中,启动RapidMiner Studio,你就差不多完成了。

接下来转到连接->管理数据库驱动程序,然后管理数据库连接,根据说明设置凭据(见下面的附件)。它应该看起来像这样:

截屏2018-07-02下午5.11.05 .png数据虚拟的RapidMiner数据库连接

如果您的测试是OK的,您应该能够在Repository窗口中打开数据库:

截屏2018-07-02下午5点15分11秒DataVirtuality在RapidMiner Studio中的“管道”

然后,只需在流程窗口中拖放任何这些数据源,就可以了!

截屏2018-07-02下午5点17分46秒一个样本DV YouTube“管道”在RapidMiner工作室…截屏2018-07-02下午5点17分37秒…结果面板中的数据

我要特别感谢DV工程师Amber Beebe和Matthias Korn,当然还有DV首席执行官Nick Golovin花时间创建特殊的RapidMiner说明并向我展示绳索。DV的快乐!

斯科特

BalazsBarany DocMusher Knut-RM rfuentealba

评论

  • kypexinkypexin 主持人,RapidMiner认证分析师,会员职位:290独角兽

    @sgenzer

    非常有趣的解决方案,谢谢。虽然我已经浏览了他们的网站,但没有找到任何信息,这是否是付费服务?

    --
    弗拉基米尔•
    http://whatthefraud.wtf
  • sgenzersgenzer 管理员,版主,员工,RapidMiner认证分析师,社区经理,成员,大学教授,PM版主职位:2959年社区经理

    @kypexin-是的,它非常好,但是是付费服务。你可以从datvirtuality那里得到一个免费的演示,但我要警告你,他们的定价100%是针对企业用户的……

    斯科特

登录注册置评。