“在RapidMiner中循环令牌”
eisioriginal
成员职位:4
贡献我
你好,
是否有可能在RapidMiner内迭代文本文档的令牌?我的第一次尝试是在标记化后打开文档窗口。但是接下来的操作就很复杂了。
我这样做是为了模拟Katz Backoff等语言模型的创建。也许有更好的方法来生成语言模型，但目前我只能想到迭代标记并计算值并将它们存储到示例集中。
谢谢你！
安德烈亚斯
是否有可能在RapidMiner内迭代文本文档的令牌?我的第一次尝试是在标记化后打开文档窗口。但是接下来的操作就很复杂了。
我这样做是为了模拟Katz Backoff等语言模型的创建。也许有更好的方法来生成语言模型，但目前我只能想到迭代标记并计算值并将它们存储到示例集中。
谢谢你！
安德烈亚斯
标记:
0
答案
也许你可以使用“生成n-Grams (Terms)”运算符。
罗兰
要循环遍历令牌，可以使用loop Attributes操作符，因为每个令牌都由单个属性表示。
最好的问候,
马吕斯