-
3 votesanswersviews
KafKa 如何保证一致性和可用性?
我从http://engineering.linkedin.com/kafka/intra-cluster-replication-apache-kafka学到了 我们的目标是支持在单个数据中心内的 Kafka 群集中进行复制,其中网络分区很少 在分布式系统中,我认为“分区”是基本的,所以我不知道当只有服务器节点失败时,Kafka 保证没有分区的可用性。或者我想念一些东西 -
5 votesanswersviews
Spark 2.0内存分数
我正在使用Spark 2.0,该工作首先对输入数据进行排序并将其输出存储在HDFS上 . 我遇到了内存错误,解决方案是将“spark.shuffle.memoryFraction”的值从0.2增加到0.8,这解决了这个问题 . 但是在文档中我发现这是一个不推荐使用的参数 . 据我了解,它被“spark.memory.fraction”取代 . 如何在考虑HDFS的排序和存储的同时修改此参数? -
155 votesanswersviews
Spark Standalone集群中的工作者,执行者和核心是什么?
我读了Cluster Mode Overview,我仍然无法理解 Spark Standalone cluster 中的不同过程和并行性 . 工作者是否是JVM进程?我运行 bin\start-slave.sh 并发现它产生了worker,它实际上是一个JVM . 根据上面的链接,执行程序是为运行任务的工作节点上的应用程序启动的进程 . Executor也是一个JVM . 这些是我的问题: ... -
2 votesanswersviews
用reduceByKey()替换groupByKey()
这是here的后续问题 . 我正在尝试基于此implementation实现k-means . 它工作得很好,但我想用 reduceByKey() 替换 groupByKey() ,但我不确定(我现在不担心性能) . 这是相关的缩小代码: val data = sc.textFile("dense.txt").map( t => (t.split(&quo... -
111 votesanswersviews
什么决定 Kafka 消费者的抵消?
我对 Kafka 比较新 . 我已经做了一些实验,但有一些事情我不清楚消费者抵消 . 从我到目前为止所理解的情况来看,当消费者开始时,它将开始读取的偏移量由配置设置 auto.offset.reset 确定(如果我错了,请纠正我) . 现在说,例如主题中有10条消息(偏移0到9),并且消费者在它关闭之前(或者在我杀死消费者之前)恰好消耗了其中的5条消息 . 然后说我重启那个消费者流程 . 我的问题... -
1 votesanswersviews
Spark启动的执行程序多于指定的
我正在使用Pyspark在独立(客户端)模式下运行Spark 1.5.1 . 我正在尝试开始一个似乎内存繁重的工作(在python中,因此它不应该是执行程序 - 内存设置的一部分) . 我正在使用96核和128 GB RAM的机器上进行测试 . 我有一个master和worker正在运行,开始使用/ sbin中的start-all.sh脚本 . 这些是我在/ conf中使用的配置文件 . 火花de... -
-2 votesanswersviews
如何安装虚拟机?
我正在使用MPI(消息传递接口)开发分布式系统上的项目 . 我需要多个系统进行模拟,但我只有一个系统 . 如何在我的系统上安装虚拟机以实现此目的?操作系统:Ubuntu 15.04 -
5 votesanswersviews
为什么微服务之间的共享库是坏的?
Sam Newman在他的书“ Build 微服务”中说 服务之间过多耦合的弊端比代码重复引起的问题要糟糕得多 我只是不明白服务之间的共享代码是如何邪恶的 . 如果出现对共享库的需求,作者是否意味着服务边界本身的设计很差,或者他是否真的意味着我应该在通用业务逻辑依赖的情况下复制代码?我看不出那解决了什么 . 假设我有两个服务共有的实体共享库 . 两个服务的公共域对象可能有异味,但另一个服务是用... -
11 votesanswersviews
有效地使用速率受限的API(Echo Nest)和分布式客户端
背景 Echo Nest有rate limited API . 给定的应用程序(在使用API密钥的请求中标识)每分钟最多可以进行120次REST调用 . 服务响应包括对最后一分钟呼叫总数的估计;重复滥用API(超出限制)可能导致API密钥被撤销 . 当从单个机器(向客户端提供服务的Web服务器)使用时,很容易控制访问 - 服务器完全了解请求的历史并且可以正确地调节自身 . 但我正在开发一个程序,其... -
2 votesanswersviews
在处理Flask请求的同一服务器上运行Celery任务
我有一个设置,多个服务器运行我的Flask应用程序和Celery工作者 . Flask路由在本地处理文件上载并将Celery任务排队以将该文件上载到CDN . Celery任务可以由群集中的任何节点处理 . 如果Celery任务由与处理Flask路由的节点不同的节点处理,则将找不到该文件,并且任务将失败 . 如何确保Celery任务在处理Flask路由的同一节点上运行? -
0 votesanswersviews
在 Cloud 系统仿真上实现基本的DHT方法(Python)
我正在尝试创建一个基本的模拟,我生成假节点,连接它们并使用DHT方法为它们分配随机数量的进程 . 连接采用循环链表方式,我认为以这种方式实现起来会更容易 . 我正在使用以下函数来实现DHT: dc是具有哈希表的节点类,以及有关下一个节点的信息 def closest_dataCenter(dc,dcNext,key): largestNode = hash_sha1(str(com_count)... -
2 votesanswersviews
如何使用redis群集创建分布式锁
背景 我意识到一个redis客户端(支持集群),并且提出了一个问题,以支持redis集群所做的分布式锁 . 我已经阅读了redlock算法和相关辩论的帖子 问题 实际上,不可能将一个密钥散列到redis集群中的不同节点,并且很难在特定规则中生成密钥,并确保它们不会在集群中迁移 . 在最坏的情况下,所有密钥槽可能存在于一个节点中 . 然后,可用性将与一个节点中的一个密钥相同 . 我的算法 我的解决方... -
308 votesanswersviews
解释Apache ZooKeeper
我试图了解ZooKeeper,它是如何工作的以及它的作用 . 有没有可与ZooKeeper相媲美的应用程序? 如果您知道,那么您如何向外行描述ZooKeeper? 我尝试过apache wiki,zookeeper sourceforge ......但是我仍然无法与之相关 . 我只是通过http://zookeeper.sourceforge.net/index.sf.shtml阅读,所以没有更... -
0 votesanswersviews
如果没有明确指定,TensorFlow集群如何跨机器分配负载?
我拿了"Distributed TensorFlow" how-to并尝试将它应用到"MNIST For ML Beginners"教程 . 我在本地启动了三个TensorFlow工作节点(PC中有8个核心)并运行训练脚本并替换此行: sess = tf.InteractiveSession() 以下内容: sess = tf.InteractiveSes... -
0 votesanswersviews
在Apache Spark中结合数据和任务并行机制学习机器
Apache Spark提供机器学习算法的数据并行实现 . 它还开始支持机器学习算法的任务并行化,例如,在交叉验证的参数调整的上下文中,例如使用Spark的Scikit-learn集成包:https://databricks.com/blog/2016/02/08/auto-scaling-scikit-learn-with-spark.html 我的问题是,在Spark中结合这两种并行模式的推荐... -
48 votesanswersviews
Apache Spark vs Akka
你能否告诉我Apache Spark和AKKA之间的区别,我知道这两个框架都意味着编程分布式和并行计算,但我没有看到它们之间的链接或区别 . 此外,我想得到适合他们每个人的用例 . -
15 votesanswersviews
Rust是否适合Erlang风格的分布式软件? [关闭]
我非常喜欢Golang,可以轻松地编写并发软件,以便在一台机器上使用更多的CPU内核 . 我有点担心得知Go并不是真正的分布式(如多节点并发)语言 - 甚至Rob Pike也承认(在GopherCon 2014上)它从一开始就不是为分布式计算而设计的,尽管有尝试帮助的GoCircuit等软件包 . 因此,我最近对Erlang和Elixir感兴趣,因为经过实战的Erlang VM已被用于跨节点分发应... -
1 votesanswersviews
Couchbase群集故障转移架构
我指的是this文档的应用程序堆栈部分中的Couchbase服务器,概述了Couchbase集群的所需体系结构 . 我注意到图中的5个Couchbase节点中的每个节点都有一个相应的Web服务器 . 我也知道Couchbase SDK旨在 Build 与单个节点的连接,并为所有请求保留该连接,但故障转移事件除外 . 首先,我想确认图中的5个Web服务器中的每个服务器都将 Build 与5个Couc... -
0 votesanswersviews
多台计算机上的分布式Tensorflow无法扩展
我正在尝试运行分布式Tensorflow作业,该作业训练深度卷积MNIST分类器 . 我已将深度卷积mnist分类器组合在:https://github.com/tensorflow/tensorflow/blob/r1.2/tensorflow/examples/tutorials/mnist/mnist_deep.py和分布式mnist中:https://github.com/tensorfl... -
1 votesanswersviews
消息在队列中排序
我在RabbitMQ设置中有一个场景,我很好奇如何解决 . 下图说明了它(为了简洁而删除了交换和大多数队列): Scenario 生产环境 者创建消息A(1),它由顶级消费者接收,它开始处理消息 . 生产环境 者创建消息A(2),它由底层消费者接收(假设两个消费者都在循环交换中) . 底部消费者发布消息B(2),该消息被放入消息B消费者的队列中 可怜的慢速消费者终于完成并发出消息... -
1 votesanswersviews
使用Tensorflow实验对Seq2Seq模型进行批处理
我正在尝试转换Seq2Seq model我在本地运行使用Estimator和Experiment来使用Tensorflow分布式功能 . 基本功能和目标设置如下: for every input and response (translation or prompt and response): raw input -> tokenized input -> tokenized r... -
0 votesanswersviews
zookeeper获取更改的节点(而不是全部)
我有一个节点/任务,其中包含服务器需要执行的任务列表 . 我在那个节点上有一个观察者 . 当添加任务时,观察者调用zookeeper方法获取所有子节点,并且回调获取所有子节点的列表(我需要处理它) . 它看起来像这样: Watcher newTaskWatcher = new Watcher(){ public void process(WatchedEvent e) { ... -
2 votesanswersviews
筏子领导者在任期开始时进行无操作入场
最近我读了一篇关于Raft一致性算法的论文 . 新领导者不知道当前的提交索引是什么 . no-op 如何解决这个问题? -
58 votesanswersviews
Cloud 计算和分布式计算之间的区别?
我想知道 Cloud 计算和分布式计算的区别 . 我读了一篇关于 Cloud 计算的文章,感觉 Cloud 计算和分布式计算之间存在某种关系,因此想要询问技术之间的差异 . 此外,如果有人能指出我有用的 Cloud 计算资源,我们将非常感激 . 谢谢 -
1 votesanswersviews
用于分布式Tensorflow的WebUI?
早些时候我使用Spark并且非常熟悉Spark WebUI(localhost:8080) . 我能够检查一个 Worker 是否已连接到主人,连接了多少 Worker ?每个 Worker 使用的RAM量等等 . Tensorflow使用gRPC进行分布式计算 . RAM和GPU内存对于分布式计算至关重要 . Is there any utility which acts like a S... -
0 votesanswersviews
在跨机器的多个进程调用中执行使用async / await创建的协同程序
我理解使用python 3.5及其新的async / await功能(非常酷)所显示的基本示例 . 我正在探索的一件事是我如何能够开始一些异步工作,一旦开始一些阻塞工作,序列化(pickle?)协程的状态,然后在某个延迟的时间点(可能在不同的机器),重新启动相同的程序,重新加载状态,并尝试取得进展,并重复,直到异步工作完成 . 特别是在https://docs.python.org/3/libra... -
1 votesanswersviews
如果表中的行数很大(200万),NDB cluster7.5(MySQL 5.7)在获取数据上花费的时间更多
我正在尝试为我的一个实时应用程序设置NDB集群(MYsql 5.7)(具有大量的读写并发) . 我的设置 - 3数据节点1管理节点1 MySQL节点 所有节点均为亚马逊EC2 r3.4xlarge类型 . OS - centos 7 我创建了一个表并由主键分区,以确保相同的主键数据在单个节点中 . Table Schema - CREATE TABLE ContactsAgentContac... -
1 votesanswersviews
分布式领导者选举算法的可视化模拟器
这会有点长,所以请耐心等待 . 我编写了一个Visual Studio C#控制台程序来模拟单向环网中的distributed leader election algorithms . 让我先简要描述领导者选举问题:假设你有一个环网络,其中包含分配给每个节点的唯一(或非唯一,但让我们考虑唯一的情况)ID的节点 . 它们中的每一个都具有相同的程序(算法) . 消息可以在一个预定方向(CW或CCW)上... -
4 votesanswersviews
分布式张量流分配
我有两个相关的问题,关于控制实验的分布式培训,其中两台机器都有多个GPU . 在张量流Distributed Inception guidelines之后,我看到每个进程都实现了数据预处理队列和读取器;现在要通过同步或异步复制培训来实现数据并行性,TF如何确保每个工作人员处理其他工作者没有或将要处理特定时期的小批量模式?由于所有队列运行器都指向同一个数据集,因此工作者之间是否存在一些内置协调,...