Rapidminer和JSON
你好!
我如何将JSON对象转换为Rapidminer可以处理的表?
这是JSON,我正在工作:
[{“高”,“日期”:1465632900:0.00199281,“低”:0.00199281,“开放”:0.00199281,“关闭”:0.00199281,“卷”:0.00078269,“quoteVolume”:0.39276167,“weightedAverage”:0.00199281},{“高”,“日期”:1465633200:0.00199281,“低”:0.00199281,“开放”:0.00199281,“关闭”:0.00199281,“卷”:0.00034535,“quoteVolume”:0.17329899,“weightedAverage”:0.00199281},{“高”,“日期”:1465633500:0.00198761,“低”:0.00198761,“开放”:0.00198761,“关闭”:0.00198761,“卷”:0.00126317,“quoteVolume”:0.63552206,“weightedAverage”:0.00198761},{“日期”:1465633800,“高”:0.00200383,“低”:0.00199217,“开放”:0.00199217,“关闭”:0.00200383,“卷”:0.99928894,“quoteVolume”:499.17633002,0.00200187“weightedAverage”:}]
我试着:
Get Page (url) -> JSON到XML
然而,我得到了这样的信息:
" JSONObject文本必须在字符1处以'{'开头"
我还意识到,我的JSON没有任何根/封闭名称,我想这可能是问题所在。
如何将JSON作为表读取?谢谢!
最佳答案
-
MartinLiebig 管理员,版主,员工,RapidMiner认证分析师,RapidMiner认证专家,大学教授职位:3362年RM数据科学家
嗨wirtcal,
Json到数据完成了这项工作。之后需要对数据进行删除。附加了一个进程。
~马丁
<?xml version="1.0" encoding="UTF-8"?> <过程version = " 7.2.001”>
> <上下文
<输入/ >
<输出/ >
<宏/ >
> < /上下文
<过程扩展= " true " >
<参数键=“文本”值= "[{“date": 1465632900,“引起:0.00199281,“low": 0.00199281,“open": 0.00199281,“close": 0.00199281,“volume": 0.00078269,“quoteVolume": 0.39276167,“weightedAverage": 0.00199281},{“date": 1465633200,“引起:0.00199281,“low": 0.00199281,“open": 0.00199281,“close": 0.00199281,“volume": 0.00034535,“quoteVolume": 0.17329899,“weightedAverage": 0.00199281},{“date": 1465633500,“引起:0.00198761,“low": 0.00198761,“open": 0.00198761,“close": 0.00198761,“volume": 0.00126317,“quoteVolume": 0.63552206,“weightedAverage": 0.00198761},{“date": 1465633800,“引起:0.00200383,“low": 0.00199217,“open": 0.00199217,“close": 0.00200383,“volume": 0.99928894,“quoteVolume": 499.17633002,“weightedAverage": 0.00200187}] & # 10; 10;" / >
< /操作符>
<列出关键= " attribute_name " >
< / >列表
< /操作符>
> < /过程
< /操作符>
> < /过程- RapidMin乐鱼平台进入er数据科学服务主管
德国多特蒙德3.
答案
仅供参考。JSON到数据操作符可以在文本挖掘扩展中找到。先下载这个。
谢谢你们两位!
我正要问这个操作符是否只在Rapidminer Pro中可用。
我将安装文本挖掘扩展检查出来。
干杯!
是否有一种直接的方法来处理非统一的JSON数据。Ie json中的动态字段不会出现在每个示例中。我得到一个错误,在这种情况下,但宁愿得到返回null的例子/属性。
嗯,这取决于你对直接的定义;-)
JSON to Data提供了一个非常广泛的示例集,通常只有一个示例。您可以使用循环属性在其中工作,但我发现有时更容易转置或旋转示例集(使用转置操作符)。使用转置结构,可能更容易提取诸如示例索引之类的东西。但是,它将使用标准格式将数字数据转换为文本。您可能希望在使用您选择的操作符(Format Numbers, Numerical to Polynominal)进行转置之前执行此操作。
嗨,你把这个过程代码放在哪里了?
我有一个从Elasticsearch提取的JSON文件,但当我将其从JSON转换为数据时,我只得到一行数据。我想把数据以适当的表格形式分开。
你能详细解释一下吗?
如果您想使用XML处理代码,请查看这篇关于如何使用XML处理代码的知识库文章:http://community.www.turtlecreekpls.com/t5/RapidMiner-Studio-Knowledge-Base/How-can-I-share-processes-without-RapidMiner-Server/ta-p/37047
如果您在社区中看到XML代码并想要使用它,只需复制所有内容,激活Studio中的XML选项卡(查看/显示面板/XML)并将其粘贴在那里。
JSON可以有一个非常复杂的结构,它不能保证是一个“合适的表”。因此,JSON to Data所做的是获取所有元素,并通过元素的“路径”来命名它们。这是您需要习惯的东西,但它避免了简单文档的大量复杂性。
要提取表格数据,请查看表的元数据或使用transpose操作符对其进行转置。您将看到属性名称(或转置的行ID)具有可以提取的结构。例如,您可能有一个像example[1][1]这样的名称。您可以使用Generate Attributes或Replace来提取索引号(1,1)。然后进行一些过滤,可能是连接或旋转,以获得所需的结构。
您可能不喜欢这种方法。还有另一种方法:在Web挖掘扩展中使用JSON到XML。
获取JSON文档,使用JSON to XML和Write document来导出生成的XML文件。然后,可以使用Read XML操作符的向导以更结构化的方式提取内容。但是,这并不总是有效,因为JSON比XML更灵活,因此有许多JSON文档无法转换。
问候,
Balazs
这正是我要找的!谢谢你!
@mschmitz
嗨
你能帮我弄一下时间戳吗?我不知道如何把一串数字转换成日期。我总是得到1970年的结果?
https://poloniex.com/public?command=returnChartData¤cyPair=USDT_XRP&end=9999999999&period=1440..。
把它从字符串变成日期时间格式,我花了几个小时想弄清楚。
我在这里贴过
https://community.www.turtlecreekpls.com/t5/RapidMiner-Studio-Forum/JSON-to-data-and-de-pivot-for-exampleset/m-p/47827#M30657也
先谢谢你,李
@websiteguy问题是日期是一个整数,而所有其他值都是实数。诀窍是使用数值到实数运算符。您必须在下游将日期转换回可读格式。
嗨,汤姆,还有@sgenzer(这个过程如下)感谢您的回复。
我有这部分已经解决了之后,在这个线程,我的问题是日期似乎是一个时间戳。一长串数字,在使用numeric转换为real后,如何将日期转换为如下格式。原因- - - - - -α有利没有这个股票的日内价格。
使用我在论坛上找到的AREMA流程
谢谢你的时间,谢谢。
李
2018年3月17日星期六12:00: 00 + 0000
@websiteguy您可以使用数字到日期操作符并设置偏移量参数吗?
嗨@Thomas_Ott
哇,真快,回去编辑我的回复…如果你已经回复了。
你能提供一个过程中的例子吗?(我整晚都在试图解决这个问题,但经验有限)
必须首先将日期定义为属性吗?
发现了这个
https://community.www.turtlecreekpls.com/t5/RapidMiner-Studio-Forum/Date-Time-Formatting-UTC/td-p/28160
这种方法正确吗?
顺便说一句,
我打算打印手册,最好的书面文件是什么?我不太懂数学,也不懂编程,但我从例子中学习,把不同的过程整合在一起。
@websiteguy尝试这个过程,它使用生成属性操作符。
给你这张漂亮的瑞波图表。你应该多买一些。我以0.73美元的价格持有很多单位。
谢谢@Thomas_Ott
你真让我高兴
嗨@Thomas_Ott你会用ARIMA进行预测吗?
我从2014年就开始使用瑞波币了…耐心等待……
你有什么其他的加密分析过程可以分享吗/ (PM)???
这很酷,你看到了吗?
https://blog.patricktriest.com/analyzing-cryptocurrencies-python/
欢呼声李
@websiteguy我还没有看到那篇文章,但我以后会去看看的。谢谢。
去做ARIMA吧。我改编了这个ARIMA过程@luc_bartkowski放在一起。只需将上面的过程与JSON和时间戳转换结合起来,并将其附加到此。可能需要几分钟来处理。
@Thomas_Ott干杯,汤姆……是时候升级RAM了
谢谢@Thomas_Ott感谢这里所有的帮助。
至于“我打算打印手册,最好的书面文件是什么?”我不太懂数学,也不懂编程,但我从例子中学习,把不同的过程整合在一起。”我强烈推荐Matt North的《大众数据挖掘》(Data Mining for the mass)。当我开始工作的时候,我真的拿着PDF,去史泰博把它打印出来,把每一页都看了一遍。它为您提供了一个伟大的基础与逐步说明使用RapidMiner。你仍然可以在网上找到PDF在这里,或者你可以在亚马逊上购买第二版在这里.
你也可以在我们的主网站上找到一个很好的介绍视频播放列表://www.turtlecreekpls.com/training/videos/
斯科特
@Thomas_Ott
@sgenzer
你好,谢谢你的帮助,我会的印刷了购买手册(在亚马逊英国网站上找到)只要我靠近打印机.还找到了900页的手册…"哎哟"会把它打印到…会让我忙个不停
如果可能的话,我不能通过luc过程运行该数据,日期格式似乎是不正确的?所以它挂起来了。
谢谢你的反馈
感谢
问候
@websiteguy您必须使用Date操作符之一来解决这个问题。可能是日期到名义日期,然后是名义到日期。或者,就目前而言,在对时间序列进行排序之后,只使用Generate ID来引入一个新ID并丢弃日期。这应该会加快测试的速度。
@Thomas_Ott
幸运的是,而不是设计,我把它整理出来,以正确的格式得到日期。
为什么ARIMA的预测如此不同?我用的是Lucs的程序,我只有一台8g内存的笔记本电脑,所以很折磨人。
我在看那个相关矩阵(前几天我发给你的链接),似乎不同的加密货币存在相关性和分歧。
因此,我在想,如果你可以运行两个不同的代币的两个进程,那么这将给一个趋势的确认。
正如你所预料的那样,对未来价格的预测会出现分歧。
这些不同的标记是否可以用相同的模型依次处理,然后在结果之间建立更紧密的预测?
如何改进ARIMA模型?有没有办法加快ARIMA的速度?为什么ARIMA不能在云中运行?
干杯,李
https://www.sifrdata.com/cryptocurrency-correlation-matrix/
@websiteguy您可以通过查看ARIMA子流程中的优化参数来加快流程。它使用优化,这需要很长时间。W.R.T按顺序处理,这应该是可行的。您可以使用update model操作符更新模型。
“我有一个从Elasticsearch提取的JSON文件,但当我从JSON转换为数据时,我只得到一行数据。我想把数据以适当的表格形式分开。
你能详细解释一下吗?”
我的JSON是这样的:
-------
{
“花”:904年,
“timed_out”:假的,
" _shards ": {
“总”:5
“成功”:5
“失败”:0
},
“点击”:{
“总”:1233年,
“max_score”:1.0,
“点击”:(
{
:“_index prd_www-asadventure-com_nl”,
“_type”:“内容”,
:“_id _content_www-asadventure-com_nl_expertise-tips_travel_avontuur-met-twee”,
“_score”:1.0,
" _source ": {
"内容":"Avontuur遇见了twee: papa Gunther en zoontje Felix bedwingen de Noorse bergen op de fiets Deel dit Delen Tweet de appel valt meestal niet ver van de boom "。记者冈瑟·豪斯皮(Gunther Hauspie)在采访菲利克斯(Felix)时表示。在挪威北部的拉拉尔维根市,两名男子骑着一辆山地车,与一名男子骑着一辆山地车,这是一名典型的儿童骑着一辆山地车,这是一名少年骑着一辆山地车。Avontuur zoek吗?像reizen maken一样,avontuurlik是一种很好的表达方式,也是一种很好的表达方式。那是我的女儿冈瑟的书。最新的jaren和avontuur minder都是最新的vezels van mijn lijf。鞋跟鞋跟鞋跟鞋跟鞋跟鞋跟鞋跟鞋跟鞋跟鞋跟鞋跟鞋跟鞋跟鞋跟鞋跟鞋跟鞋跟鞋跟鞋跟鞋跟鞋跟鞋跟鞋跟鞋跟鞋跟鞋跟鞋跟鞋跟鞋跟鞋跟鞋跟鞋跟鞋跟鞋跟鞋跟鞋跟鞋跟鞋跟鞋跟鞋跟
"description": "
孩子们见过你,你觉得怎么样? "Absoluut !
\n";“图像”:“/内容/大坝/ asadventure / contentpages /旅游/ avontuur-met-twee / Rallarvegen2_square.jpg”,
“lastReplicated”:“2019 - 07 - 11 - t14:02:02 + 0000”,
“路径”:“/内容/ www-asadventure-com /问/ expertise-tips /旅游/ avontuur-met-twee”,
“排序方式”:3590年,
“标签”:[
“vader-zoonavontuur”,
“fietsen”,
“noorwegen0”,
“里斯”,
“rallarvegen”,
“登山车”,
“卑尔根”,
“fiets”,
“fietsroute”,
“kinderen”,
“avontuurlijk_reizen”,
“uitstap”,
“vakantie”,
“hardangervidda”
],
"title": "Avontuur遇见了twee: papa Gunther en zoontje Felix bedwingen de Noorse bergen op de fiets";
“煽动者”:“PageEventListener”,
"lastIndexed": "2019-07-31 07:14"
}
},
{
:“_index prd_www-asadventure-com_nl”,
“_type”:“内容”,
:“_id _content_www-asadventure-com_nl_expertise-tips_travel_india-voor-dummies”,
“_score”:1.0,
" _source ": {
“内容”:“Op reis naar indii ?”但我相信我一直都很喜欢吃!印度一直在实施一种“街头战争”,而不是一种“街头战争”,尽管这种战争在某种程度上破坏了印度在这一领域的声誉。印度的helemaal - trecht,也就是印度的helemal - trecht,也就是印度的helemal - trecht,也就是印度的helemal - trecht,也就是印度的helemal - trecht,也就是印度的helemal - trecht。我很高兴见到你的小窍门!在印度,人们很容易就能听到人们的声音,也很容易就能听到人们的声音。这不是我想要的。”
"description": "
他会不会在印度画上画? "
\n",:“图像/内容/大坝/ asadventure / contentpages /旅游/ india-voor-dummies / -拱古代建筑- 290643. - jpg”,
“lastReplicated”:“2019 - 07 - 11 - t14:02:05 + 0000”,
“路径”:“/内容/ www-asadventure-com /问/ expertise-tips /旅游/ india-voor-dummies”,
“排序方式”:4750年,
“标签”:[
“reisgids_india”,
“india_tips”,
“delhi_belly”,
“op_reis_india”,
“asadventure_department:旅行”,
“reis0”,
“结果”,
“india0”,
“reisadvies”,
“toerisme0”,
“reistips0”,
“类型:灵感”,
“india_tips_reizen”,
“taj_mahal”,
“india_bezoeken”,
“india_tips_restaurant”,
“op_reis_naar_india”,
“india_reisadvies”
],
"title": "India voor dummies";
“煽动者”:“PageEventListener”,
"lastIndexed": "2019-07-31 07:16"
}
},
{
:“_index prd_www-asadventure-com_nl”,
“_type”:“内容”,
:“_id _content_www-asadventure-com_nl_expertise-tips_travel_wat-is-deet”,
“_score”:1.0,
" _source ": {
“内容”:“什么是避蚊胺?”即使我们像昆虫一样,也能在我们的世界里生存下去。迪尔迪特·迪伦·推特将会让我在整个周末都能看到蟹门brengen,但我想我最好是去做一个反昆虫的中间模型。门德斯特克格尔die de muggenmelk versppret, blijven斯特克德斯特尔斯特尔斯特尔斯特尔斯特尔斯特尔斯特尔斯特尔斯特尔斯特尔斯特尔。本·杰是一名极具吸引力的女演员。凯斯丹的产品符合避蚊胺(DEET)的要求,该产品的防蚊胺含量适中。1.避蚊胺的特征是什么?",
"description": "
本洁净度为麝香麝香树的恒磁体,但洁净度为最好的驱虫剂。避蚊胺的特征是什么?< / p > \ n”,
“图像”:“/内容/大坝/ asadventure / contentpages /旅游/避蚊胺/ Openingsbeeld_thumb.jpg”,
“lastReplicated”:“2019 - 07 - 24 t13:07:38 + 0000”,
“路径”:“/内容/ www-asadventure-com /问/ expertise-tips /旅游/ wat-is-deet”,
“排序方式”:5310年,
"title": "什么是避蚊胺?"
“煽动者”:“PageEventListener”,
"lastIndexed": "2019-07-31 07:16"
}
}
]
}
}
------
我想要的是一个表2列,标题和标签(“标签,标签,标签,…”)
并不是所有的都有标签。
真的,不管我怎么做……不能让它工作。尝试了转置,提取,去中心化,范围选择等。尝试了所有的谷歌搜索结果,研究了所有的视频…
有人能帮帮我吗?
亲切的问候,
弗兰克
我建议您看一下Web自动化扩展,并与OWC联系有关它的任何问题。
Lindon合资企业
乐鱼平台进入来自认证RapidMiner专家的数据科学咨询
斯科特
金桥是处理这类复杂JSON文档的好工具。
在jqplay.org您可以使用您的查询字符串和文档来获得您正在搜索的结果@csv2000
这个表达式将你的数据转换成CSV格式:
我关于在RapidMiner中使用JQ表达式的博客流程。也许这对你来说也是个好办法。
问候,
Balazs