最近，北大开源了一个中文分词工具包，它在多个分词数据集上都有非常高的分词准确率。其中广泛使用的结巴分词误差率高达 18.55% 和 20.42，而北大的 pkuseg 只有 ...
发简信
IP属地：浙江
最近，北大开源了一个中文分词工具包，它在多个分词数据集上都有非常高的分词准确率。其中广泛使用的结巴分词误差率高达 18.55% 和 20.42，而北大的 pkuseg 只有 ...
user CF是基于相似用户的推荐方法，实现这种推荐的基本思路是：计算出相似用户得分，获取相似用户的物品集合的打分，最后两个得分相乘，得出相似用户推荐的物品集合topN。 ...
Python 字典(Dictionary) keys() 函数以列表返回一个字典所有的键。 keys()方法语法： dict.keys() 参数 NA。 返回值 返回一个字典...
iterrows():将DataFrame迭代为(insex, Series)对。 itertuples():将DataFrame迭代为元祖。 iteritems():将Da...
Hbase是被设计用来做K-V查询，但有时候也会遇到基于Hbase表的复杂统计，写MR很不方便。hive考虑到这一点，提供了操作Hbase表的接口。hive读取Hbase表，...
一 Receiver方式 Receiver是使用Kafka的high level的consumer API来实现的。Receiver从Kafka中获取数据都是存储在Spark...
实时流式处理系统是7*24小时运行的，同时可以从各种同时可以从各种各样的系统错误中恢复，在设计之处，Spark Streaing就支持driver和worker节点的错误恢复...
全局变量算子是updataStateByKey，需要设置checkpiont机制。 checkpoint的意思就是建立检查点,类似于快照,例如在spark计算里面计算流程DA...
streaming的窗口操作是对一定时间段内的处理，主要是有两个参数：窗口长度和窗口滑动时间。 下图中窗口长度是30秒，滑动时间是10秒，可以设置为分钟 其他窗口函数：
spark streaming是spark 核心API的拓展，是一个实时数据计算工具，具备高吞吐量、容错机制的特点，支持多种数据源获取数据，接受kafka、flume、HDF...
spark3.0版本可能不太公布底层的RDD，以后使用dataframe将成为趋势，现在大都数公司也多使用dataframe来处理数据 RDD、DataFrame和DataS...
DataFrame 的函数 Action 操作 1、collect() ,返回值是一个数组，返回dataframe集合所有的行 2、collectAsList() 返回值是一...
