240 发简信
IP属地:上海
  • 楼主,你们的faiss向量是怎么更新的呢?通过add方法增量更新吗?

    Faiss - 部署安装与Demo

    1. 概述 Faiss is a library for efficient similarity search and clustering of dense vector...

  • 你们的faiss是怎么部署成服务的,已经faiss里的向量怎么更新的呢?
    看了很多关于faiss的文章,几乎都是差不多这类型的demo,没有工程化的实战

    faiss 使用

    添加faiss到python路径 参照官网: https://github.com/facebookresearch/faiss/wiki/Getting-started I...

  • 楼主,你们的faiss里面的向量是怎么更新的,这个向量不可能永远的都不更新吧?

    faiss的一些相关调研

    需求背景 目前有项目会涉及到向量的存储和计算,以前的传统搜索引擎lucene系产品和其他数据库貌似都无法没有比较良好有效的解决方案。对于机器学习领域来说,大部分经过训练后的模...

  • 因为公司业务需要,最近也在用 Spark的 MLib 进行 LDA 模型的训练,目前在Spark集群上完成模型的训练了,也 save 到了 hdfs 上保存着,模型文件将近 10G ,现在困惑的是怎么集成我的 java 项目里,下面是我在 java 里写的代码:

    def main(args: Array[String]): Unit = {

    //启动一个spark集群
    val conf= new SparkConf().setAppName("LDA-3")
    .setMaster("spark://remote-ip:7077")
    .setJars(Array("/Users/hzw/Desktop/QA/DeepQA/target/DeepQA-0.0.1-SNAPSHOT.jar"))
    .set("spark.driver.maxResultSize", "10g")
    .set("spark.executor.memory", "12g")
    .set("spark.driver.memory", "2g")
    .set("spark.executor.cores", "2")

    val spark=SparkSession.builder().config(conf).getOrCreate()

    //模型保存的 hdfs 地址
    val model_path="hdfs://remote-ip:9000/spark-lda"

    //加载训练好的模型
    val model:LocalLDAModel=LocalLDAModel.load(spark.sparkContext, model_path)

    println("test customer lda model......")

    }

    }

    但这里总是报错,有几点很困惑:
    1、大佬在java项目里是怎么引入自己训练好的模型的,楼主只是说了怎么用模型做预测,但我连模型也加载不进来
    2、训练好的模型,正式上线使用的话,是运行在spark集群中,还是直接在部署 java 项目的机器上跑(纯粹使用本机的 cpu 来模拟 集群运行模型)
    3、我没用 pipline 什么的,因为还不熟悉,只是单纯离线训练好模型,然后想部署到 java 项目中使用
    4、我是在自己的机器用 eclipse 来调试的

    如何在Java应用里集成Spark MLlib训练好的模型做预测

    前言 昨天媛媛说,你是不是很久没写博客了。我说上一篇1.26号,昨天3.26号,刚好两个月,心中也略微有些愧疚。今天正好有个好朋友问,怎么在Java应用里集成Spark ML...

  • 很好奇问下作者,你们用推荐系统在医疗网站上做什么?推荐什么呢....

    推荐系统实践-利用用户行为数据(中)

    此文是根据《推荐系统实践》部分整理而来。 PART 1 基于邻域的算法是推荐系统中最基本的算法,主要分为两大类: 基于用户的协同过滤算法 基于物品的协同过滤算法 第一部分介绍...

  • SDK使用记录

    简单记录在项目中使用过的SDK,以便快速集成一些功能 ***即时聊天*** 1.XMPP(没用过) 2.WEBSOCKET,facebook有开源的项目 3.云信和环信 **...

  • 怎么没看到有哪个类实现了这个代理方法呢:
    - (void)willOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer

    LFVideoCapture通过GPUImageVideoCamera进行视频录制,但却没看到哪里对数据进行编
    码,楼主可以指导下吗......

    iOS视频直播初窥:高仿<喵播APP>

    效果图 由于licecap录制的GIF失帧太严重, 都模糊掉了, 再放两张高清截图png1png2 前言 今年三月份,斗鱼获腾讯领投的1亿美元融资的消息被各大平台报道转载,在...

  • 无标题文章

    关于网络请求和缓存的思路 //www.greatytc.com/p/f2e59e98ab86

  • IOS开发大牛博客列表

    //www.greatytc.com/p/ebf3d971110a Casa Taloyum写的关于iOS应用架构的文章非常好