在流数据计算直方图 - 在线直方图计算直方图、在线、数据

由网友(我会很乖)分享简介:我在寻找一种算法来生成柱状图在大量的数据流,最大值和最小值都没有提前,但标准差已知的和平均都在一个特定的范围内。 I am looking for an algorithm to generate a histogram over a large amount of streaming data, the max a...

我在寻找一种算法来生成柱状图在大量的数据流,最大值和最小值都没有提前,但标准差已知的和平均都在一个特定的范围内。

I am looking for an algorithm to generate a histogram over a large amount of streaming data, the max and min are not known in advance but standard deviation and mean are in a particular range.

我AP preciate你的想法。

I appreciate your ideas.

干杯,

推荐答案

我刚刚找到一个解决方案。秒。 2.2论文从流式并行决策树算法在线直方图建设的。该算法中被NumericHistogram类蜂巢项目实施的:

I just found one solution. Sec. 2.2 of "On-line histogram building from A streaming parallel decision tree algorithm" paper. The algo is implemented by NumericHistogram class in Hive project :

有一个通用的,可重复使用直方图级   支持部分聚合。   该算法适于启发式   从下面的文章:耶尔   本 - 哈伊姆和埃拉德汤姆 - 托夫,A   流并行决策树   算法,J.机器学习   研究11(2010年),第849--872。   虽然没有近似   保证,它似乎很好地工作   有充分的数据和一个大的(例如,   20-80)数柱状图箱。

A generic, re-usable histogram class that supports partial aggregations. The algorithm is a heuristic adapted from the following paper: Yael Ben-Haim and Elad Tom-Tov, "A streaming parallel decision tree algorithm", J. Machine Learning Research 11 (2010), pp. 849--872. Although there are no approximation guarantees, it appears to work well with adequate data and a large (e.g., 20-80) number of histogram bins.

阅读全文

相关推荐

最新文章