通过Alpha Venture API(雅虎财经API的替代方案)获取实时金融数据

sgenzer · 2017年8月

所以我相信我终于找到了一个不错的替代旧的雅虎金融API，这样你就可以将金融市场数据直接带入RapidMiner进行数据分析。一家名为Alpha Vantage的公司开发了一个API，似乎可以执行相同的功能。

你可以在他们的网站上获得一个免费的API密钥，你可以直接在RapidMiner 7.6中使用下面的过程:

< ?xml version="1.0" encoding="UTF-8"?> <过程version = " 7.6.000”>
> <上下文
<输入/ >
<输出/ >
<宏/ >
> < /上下文

<过程扩展= " true " >

<列出关键= "宏" >




< / >列表
< /操作符>

<列出关键= " attribute_value " / >
<列出关键= " set_additional_roles " / >
< /操作符>


<列出关键= " string_machting_queries " / >
<列出关键= " regular_expression_queries " >

< / >列表
<列出关键= " regular_region_queries " / >
<列出关键= " xpath_queries " / >
<列出关键= "名称" / >
<列出关键= " index_queries " / >
<列出关键= " jsonpath_queries " / >
https://www.alphavantage.co/query?function=%{函数},outputsize = % {outputsize},象征= % {tickerSymbol}, apikey = % {apikey} " / >
<列出关键= " request_properties " / >
< /操作符>

<过程扩展= " true " >


<列出关键= " specify_weights " >

< / >列表
< /操作符>





< /操作符>

<列出关键= " attribute_name " >

< / >列表


< /操作符>




< /操作符>




< /操作符>




< /操作符>




< /操作符>


< /操作符>

<参数键=“replace_what”值= "元数据(。)[0 - 9][]\ s " / >
< /操作符>



<列出关键= " rename_additional_attributes " / >
< /操作符>



< /操作符>



<列出关键= " set_additional_roles " / >
< /操作符>



















> < /过程
清理
< /操作符>






Alpha Vantage API(alphavantage.co)<br>作者:Scott Genzer<br>发布日期:‎‎8-25-2017<br>链接:http://community.www.turtlecreekpls.com/t5/RapidMiner-Studio-Knowledge-Base/Real-Time-Financial-Data-via-Alpha-Venture-API-alternative-to/ta-p/41119<br><br>Note对于下面的每个进程，在运行之前，请在Set Macros操作符中输入Alpha Vantage API密钥、股票代码和其他请求元素(参见https://www.alphavantage.co/documentation/) & lt; br> & lt; br> > < /描述
> < /过程
< /操作符>
> < /过程

欢迎您的反馈。享受吧!

斯科特

Telcontar120 · 2017年8月

太棒了。真是妙不可言!

luc_bartkowski · 2017年10月

你好,斯科特,

我将XML实现到子流程和构建块中。但我不明白这个过程的结果集。

请看下面的图片。来自Alpha Vantage流程的每个示例都包含不同的属性。你能解释一下原因吗?

对于任何后续操作，Alpha Vantage流程提供了仅包含3个属性的示例集

写入CSV的Alpha Vantage结果示例集提供了一个完全不同的示例集。

Alpha Vantage示例集连接到过程输出端口。

我不明白。这里发生了什么?

为什么Alpha Vantage流程的结果示例集显示了依赖于后续操作符的3种格式类型?

最好的问候,

卢克

sgenzer · 2017年10月

你好卢克,

我认为这里发生的事情是元数据没有被推送出去。这对于通过Webservice来充实数据来说是很典型的，因为RapidMiner不知道要处理的是什么属性。它只拾取我之后手动重命名的那些:Date, date_3和value。别担心——你所有的属性都在那里，你可以“选择”任意多或少。只是您可能需要手动添加它们，而不是在Select Attributes中使用漂亮的箭头。

截屏时间2017-10-08下午9点41分11秒

斯科特

luc_bartkowski · 2017年10月

谢谢你，斯科特?

luc_bartkowski · 2017年10月

致其他使用此构建模块的用户:

要获得TIME_SERIES_INTRADAY示例集，不要忘记在编译url字符串的"Enrich Data by Webservice(3)"操作符中调整url REGEX。对于TIME_SERIES_INTRADAY示例，需要在url中设置所需的“interval”参数和相关值。要做到这一点，添加一个额外的宏“requiredInterval”，像这样:

添加requiredInterval宏

并在“通过Webservice(3)充实数据”操作符中调整url REGEX:

https://www.alphavantage.co/query?function=%{函数}&outputsize = % {outputSize} & symbol = % {tickerSymbol} apiKey = % {apiKey}间隔= % {requiredInterval}

websiteguy · 2018年3月

@luc_bartkowski

嗨，卢克，我是新手，你能告诉我吗发布一个样本在应用INTRADAY时，如何调整该过程的日期时间元素

我按规定做了更改，但流程失败。任何帮助建议感激。把李

失败

luc_bartkowski · 2018年3月

嗨,李,
很抱歉我回复晚了。
我很抱歉地说，我没有继续使用的过程@sgenzer。

我用MySQL创建了一个数据库，记录每日和盘中的股票价格。

我写了一个python程序来不断更新这个数据库。

从RapidMiner访问股票价格数据并不比从这个数据库访问表/视图多。

websiteguy · 2018年4月

@luc_bartkowski

嗨，卢克，很抱歉我回复得太晚了

你有现成的模型可以借我吗…

我让它在每日运行，但似乎可以让它在日内运行，价格，可能是日期idk的格式。

把李

luc_bartkowski · 2018年4月

嗨,李,

Alpha优势API的事情是，Intraday返回一个额外的属性，例如间隔5分钟，10分钟，15分钟等。@sgenzer必须扩展RM进程以支持这个额外的参数。

我没有RM日内模型。我发现AV并不总是返回正确的答案，有时我收到API错误而不是结果集。在我的python脚本中，我包含了一个重试函数，如果收到这样的响应。其次，我想将数据存储在数据库中。这需要CRUD功能，我在python脚本中也包含了这个功能。对不起，我不能满足你的要求。

10329563 · 2018年10月

你好,

有可能得到一步一步的教程吗?

亲切的问候,

marek

sgenzer · 2018年10月

h@10329563-所以现在比我写那篇文章的时候更容易了。只需做以下事情:

1.去Alpha Vantage网站并获取API密钥。

2.进入Alpha优势过程它已经在社区存储库中了点击这个链接。

3.遵循以下步骤:

截屏2018-10-22 10:58.46 AM.png

截屏2018-10-22 at 10.59.56 AM.png

单击“Apply”并运行该流程。完成了。

截屏2018-10-22 11.03.59 AM.png

RapidMining快乐!

斯科特

cleisner · 2018年10月

嗨，这里有人访问过Accurint吗?https://secure.accurint.com/app/bps/main)通过RapidMiner?这是最好的收费网站，用于人员搜索和许多其他公共记录。任何提示都将非常感激，因为我只是一个初学者。

sgenzer · 2018年10月

嗨@cleisner-不，据我所知没有。如果您是订阅者，很乐意合作使其连接。

斯科特

cleisner · 2018年10月

你好,@sgenzer。看来我根本不会用Accurint了。事实证明，这是一个高度管制的数据源，我不能按计划使用它。

bjoernbalu · 2018年10月

你好,斯科特,

感谢上传流程。我仍然有问题，以获得可用的属性。

例如，我想计算收盘数据的移动平均线。我无法选择数据。

谢谢你的帮助

比约恩

sgenzer · 2018年10月

你好@bjoernbalu你能把你的XML文件贴出来，让我看看你在做什么吗?

bjoernbalu · 2018年10月

你好@sgenzer

这是XML。API被删除。

< ?xml version="1.0" encoding="UTF-8"?> <过程version = " 9.0.003”>
> <上下文
<输入/ >
<输出/ >
<宏/ >
> < /上下文

<过程扩展= " true " >

<列出关键= "宏" >





< / >列表
您需要在运行前将ALPHA VANTAGE API KEY放入第一个宏中!> < /描述
< /操作符>

<列出关键= " attribute_value " / >
<列出关键= " set_additional_roles " / >
这是空白-忽略我
< /操作符>


<列出关键= " string_machting_queries " / >
<列出关键= " regular_expression_queries " >

< / >列表
<列出关键= " regular_region_queries " / >
<列出关键= " xpath_queries " / >
<列出关键= "名称" / >
<列出关键= " index_queries " / >
<列出关键= " jsonpath_queries " / >
https://www.alphavantage.co/query?function=%{函数},amp; outputsize = % {outputsize}, amp;符号= % {tickerSymbol}, amp; apikey = % {apikey}" / >
<列出关键= " request_properties " / >
Alpha Vantage API GET请求
< /操作符>

<过程扩展= " true " >


<列出关键= " specify_weights " >

< / >列表
< /操作符>





< /操作符>

<列出关键= " attribute_name " >

< / >列表


< /操作符>




< /操作符>




< /操作符>




< /操作符>




< /操作符>


< /操作符>

<参数键=“replace_what”值= "元数据(。)[0 - 9][]\ s " / >
< /操作符>



<列出关键= " rename_additional_attributes " / >
< /操作符>



< /操作符>



<列出关键= " set_additional_roles " / >
< /操作符>


< /操作符>




< /操作符>
























> < /过程
JSON解析和更多后处理
< /操作符>






> < /过程
< /操作符>
> < /过程

sgenzer · 2018年10月

嗯，不确定……您能否在乘法运算符处显示ExampleSet的样子(放置一个断点)?

bjoernbalu · 2018年10月

你好,

仍然有13个常规属性，但在列表中只有3个属性(value, date_3, Date)可用。

有趣的是，当我将数据存储在存储库中时，一切都正常工作。检索后的属性在移动平均算子中可用。我不明白。

谢谢你的帮助和教程。

比约恩

sgenzer · 2018年10月

是的，所以由于各种原因，RapidMiner进程丢失元数据是很常见的。你可以直接在参数框中输入属性的名称，即使它没有显示在下拉菜单中:

截屏2018-10-29 at 4.40.46 PM.png

PhilipD · 2018年11月

你好，谢谢似乎很有用。

1) Alpha Vantage API使用其他Web扩展;Web挖掘和文本处理，准备安装这些。Alpha Vantage API显示为红色，点击警告信息并按照步骤操作非常简单。

2)当我现在运行它时，只有Date列出现。没有价格或仪器信息。看不到任何明显的东西，将尝试使用断点来检查数据。

再次感谢

菲利普

PhilipD · 2018年11月

嗨，看起来Attributes不可用于选择。可能是支点的结果?我对这个还不太了解，还不能判断。数据肯定在那里，直到Set Role(连接Set Role exa到Out，结果显示了我所期望的)

我想我想知道我是否需要选择属性。

等我试着分析数据的时候再看吧…

谢谢你！

sgenzer · 2018年11月

谢谢@PhilipD。让我张贴，让我知道，如果我需要对模板进行更改。

斯科特

abevensee · 2020年2月

@sgenzer看到关于丢失元数据的评论，但是我在通过RMServer上的web服务使用Get Pages操作符失败时遇到了一个问题。过程在工作室完美地工作，但我希望最终用户能够进入一个web服务，并让它运行的报价数据。你以前见过这个吗?任何想法都将非常感激。

Image: https://us.v-cdn.net/6030995/uploads/editor/35/a86b1mwtdbx0.jpg

Image: https://us.v-cdn.net/6030995/uploads/editor/es/st8wvaehrqkr.jpg

sgenzer · 2020年2月

嗨@abevensee-这很可能是由于没有在您的工作代理上安装Web挖掘扩展。

斯科特

SkyTrader · 2020年6月

大家好，我是机器学习的新手，但对算法交易并不陌生。我很抱歉这里有很多问题，但我不知道在准备使用ML的财务数据时会有多复杂。

使用Excel文件和RM:

我假设，如果我想更新Excel并从雅虎财经(通过运行Web查询)获得更多数据，那么我将不得不将更新版本的Excel文件导入RM并失去我已经完成的RM工作，例如，一个旧的Excel文件只有截至2020年5月的数据，而不是拥有截至目前的最新数据(2020年10月6日)?

如果实时数据被直接拉入RM而不是使用Excel，似乎会更容易?所以我读了Scotts上面的帖子，其中包含:

“2。点击这个链接，进入Alpha Vantage Process，它已经在社区存储库中了”(我不得不引用它，因为没有url来参考个别帖子?)

但是链接没有任何作用，第一个图像我不确定如何在RM中实现/得到它?

当我手动搜索时，市场中也没有Alpha优势流程?

另外，你如何引入/调用Alpha Vantage网站上的一些财务指标，使它们与开盘/高/低/收盘/成交量数据并列?与我的Excel解决方案，我将有O/H/L/C/V数据加上每天的指标值。

另外，你知道为什么这个网站在Chrome中会死机/非常慢吗(与我不得不完成这篇文章的Firefox相比)?

非常感谢。

SkyTrader · 2020年6月

你好,
我只是想知道这些论坛是如何定期监测的，或者如果我写一个新的帖子会更好?
谢谢。

sgenzer · 2020年6月

你好@SkyTrader这些论坛一直受到监控，但是否有人对特定问题有答案是高度可变的。

至于这篇文章，我要诚实地说，我已经很长时间没有使用AlphaVantage了(自从我在2017年写那篇文章以来)。我知道社区中有很多RM用户使用财务数据…我的朋友@hughesfleming68我立刻想到了。也许他有什么想法?

斯科特

Telcontar120 · 2020年6月

由于您既没有提供流程，也没有提供示例数据，而且还提出了许多问题(其中一些问题很复杂)，所以我将提供一些一般性的评论。
RapidMiner进程被设计为能够非常容易地运行和重新运行。一旦您创建了一个从底层源接收数据并执行附加ETL的流程，那么当您有更多的数据需要处理时，重新运行该流程就非常简单了。只要底层数据结构没有任何变化，简单地添加更多行就不会妨碍RapidMiner高效地完成工作。因此，丢失旧工作簿上的工作通常不是一个问题，因为该工作可以很容易地重新创建

hughesfleming68 · 2020年6月

我从没用过阿尔法优势，但我用过昆德尔。这些服务中的大多数都有开发良好的python工具。在execute python操作符中使用这些操作符是获取数据的最快方法。

你好,陌生人!

快速链接

类别

Altair RapidMiner社区

得到帮助。学习最佳实践。与你的同事建立联系。

通过Alpha Venture API(雅虎财经API的替代方案)获取实时金融数据

评论