-
1 votesanswersviews
分布式应用程序中基于角色的权限
我正在开发一个应用程序，该应用程序由在不同机器上运行的不同语言（Java和C＃之间）组成的模块运行（目前，在局域网内部;因此它不是一个大的，但是，它是分布式的） . 我们正在寻求一种合理的方法来实现功能的基于角色的权限（配置谁有权调用功能的哪一部分） . 目前，这是通过一个自定义数据库表来解决的，该表将用户名映射到允许使用的对话元素的GUI ID（这不是我的想法，以防你想知道......）并且我们... -
39 votesanswersviews
在Apache Kafka中，为什么不能有比分区更多的消费者实例？
我正在学习 Kafka ，在这里阅读介绍部分 https://kafka.apache.org/documentation.html#introduction 特别是有关消费者的部分 . 在引言的倒数第二段中，它读到了 Kafka 做得更好 . 通过在主题中具有并行性概念 - 分区 - ，Kafka能够在消费者流程池中提供订购保证和负载 balancer . 这是通过将主题中的分区分配给使用者... -
2 votesanswersviews
Jenkins CI-构建完成后的分布式测试
目前这是我想要实现的：我使用Jenkins不断构建我的项目，我也想在构建完成后进行分布式测试，即 . 跨多个节点/从属调度烟雾测试，以便测试可以同时在多个平台上执行，每个节点将持续接受来自主服务器的新调度测试套件，直到所有测试套件完成 . 我试过了： 在Jenkins上设置主/从配置 在构建步骤期间调用Maven以运行Junit单元测试 但是Jenkins只会选择一个slave来执行所... -
9 votesanswersviews
阿卡的分布式演员
我是Akka的新手，也是分布式编程的新手 . 使用Akka的Mist组件，我创建了受监督的actor来异步处理HTTP请求 . 目前一切都在当地演员的一台物理机器上运行 . 我不明白的是如何构建一个具有多个盒子的真正容错系统 . 正如Akka文档中所述： 此外，您（通常）需要知道一个盒子是否关闭和/或您在另一个盒子上正在与之通话的服务是否已关闭 . 这里的actor监督/链接是一个关键工具，不仅... -
1 votesanswersviews
Dask分布式确保新工作人员通过upload_file上传模块
是否有任何方法可以确保新工作人员在加入群集时获取与upload_file一起发送的python包，就像dask-ml在散布数据时所做的那样： # Serialize the training data only once to each worker with parallel_backend('dask', scatter=[digits.data, digits.target]): s... -
0 votesanswersviews
3节点Cassandra集群中的负载和模式不一致
我有一个3节点单数据中心Cassandra集群，由节点 A （10.0.0.1）， B （10.0.0.2）和 C （10.0.0.3）组成 . 重要配置包括： GossipingPropertyFileSnitch（dc = dc1，rack = rack1） 种子节点： A （参见章节：已采取的步骤） NetworkTopologyStrategy 复制因子：3 问题： 运... -
1 votesanswersviews
在使用Tensorflow分布式培训时保存Tensorflow服务模型
我们计划在Tensorflow中实施分布式培训 . 为此，我们使用Tensorflow Distributed（https://www.tensorflow.org/deploy/distributed） . 我们可以使用"asynchronous between graph replication training"实现分布式培训 . 以下是代码段 . ..... ps_h... -
0 votesanswersviews
分布式TensorFlow在CreateSession期间挂起
我是分发TensorFlow的新手 . 现在我只想尝试一些现有的例子，这样我就可以学习如何正确地做到这一点 . 我按照这里的指示在一台Linux机器上训练初始网络，一台 Worker 和一台PS . https://github.com/tensorflow/models/tree/master/research/inception#how-to-train-from-scratch-in-a-... -
2 votesanswersviews
Azure响应队列管理
我计划使用Microsoft的一种模式在一组Web角色和一组工作者角色之间实现基于队列的通信： 我还不清楚如何管理响应队列 . 每个发件人（Web角色）应该在消息中包含响应队列名称，因此当其中一个接收者处理该消息时，它仅向始发发送者发信号 . 这很重要，因为Web角色与ARR（粘性会话）保持 balancer ，并且它们使用SignalR将处理结果转发回用户浏览器 . 我计划在Web角色实例使用... -
1 votesanswersviews
如果分类账的副本存储在本地，分布式分类账（如区块链）是否可行（由于内存限制）？
我的理解是，在诸如使用区块链技术创建的分布式网络中，每个对等体都具有自链的开始以来所有先前事务的共享分类帐 . 随着时间的推移，这个分类账的规模将会增加（假设技术的进一步发展） . 如果每个对等体在本地保留分类帐的副本以确保系统的“分散化”，那么当分类帐文件变得太大而无法被认为可以在对等机器上本地存储时会发生什么？分类账的不同复制品的存储是否由人员/组织掌握，可以应对/支持分类账大小的不断增加？ ... -
0 votesanswersviews
在Clojure中，Datomic中的分布式原子与Avout中的分布式原子具有相同的概念吗？
当我查看Avout框架时 - 我在Clojure中看到了一个用于分布式事务状态的高级系统 . 有一个Distributed Atom的概念 . 现在我在我的代码中创建一个分布式原子 - 我将其称为 datom . 但这触发了另一个Clojure框架的想法 Datom ic（link） . 现在看来，Datomic是一种用于存储事实的分布式机制（称为 Datoms ） . 现在我有一些我想分发的... -
4 votesanswersviews
使用图表间复制未初始化Tensorflow变量
我有如下的Python代码 test.py ，它使用"Between-graph Replication"进行分布式Tensorflow： import argparse import logging import tensorflow as tf log = logging.getLogger(__name__) # Job Names PARAMETER_SERVER... -
1 votesanswersviews
为什么每个工作节点都使用张量流中的数据并行性来对应不同的主会话
启动分布式tensorflow程序时（请参阅官方 imagenet_distributed_train ），每个工作节点对应于日志中的不同主节点 . 我启动了2个工作节点和1 ps节点，并得到了以下日志： worker 0 : Start master session 0ea38069210dd3af with config: allow_soft_placement: true worker ... -
1 votesanswersviews
分布式张量流与身份验证
我在网络上的多台机器上运行分布式tensorflow应用程序 . 当我 ssh 到这些机器时，我需要输入我的登录名和密码 . 当我运行应用程序参数服务器时说它启动了服务器，工作者说它正在等待ps（ Error: CreateSession still waiting for response from worker tensorflow: /job/replica:0/task:0 ） . 我相信... -
1 votesanswersviews
分布式任务队列中的并发（ 生产环境 者/消费者）
我的应用程序（Java）随机生成一些任务，并由分布式后台线程消耗异步 . 我目前没有像ZooKeeper这样的分布式锁解决方案 . 我没有任何第三方消息队列 . 我使用数据库作为任务队列，消耗的结果也保存在数据库中，数据库共享所有消费者/ 生产环境 者的访问权限 . 我有一些像这样的代码： 消费者： while(true) { // block the thread and wait from... -
4 votesanswersviews
无法从Kafka制作人连接到远程zookeeper
我已经和Apache Kafka玩了几天了，这是我的问题，如果我在网站的“快速入门”部分中设置本地测试，一切都很好，kafka 生产环境 者/消费者，zookeeper服务器和 Kafka 经纪人完美合作 . 现在，如果我在远程服务器上运行（我们称之为node2）： - Zookeeper - 端口2181 - Kafka Broker - 端口9092 - kafka consum... -
12 votesanswersviews
如何运行tensorflow分布式mnist示例
我是分布式tensorflow的新手 . 我在这里找到了这个分布式的mnist测试：https://github.com/tensorflow/tensorflow/blob/master/tensorflow/tools/dist_test/python/mnist_replica.py 但我不知道如何让它运行 . 我使用了以下脚本： python distributed_mnist.py -... -
0 votesanswersviews
Oracle分布式数据库和MSVC
我正在使用Visual Studio 2008 C＃和SQL进行开发 . 我应该下载哪个oracle版本？ Oracle 10g？ 它有像sql server mangement studio这样的设计界面吗？ 这个分发概念是否有一个图形工具，说“嗨，您希望在哪些服务器上分发数据库以及基于什么”？ 使用本地应用程序，当我连接到其服务器并尝试输入或删除不在该服务器上的数据时，orac... -
0 votesanswersviews
是否有可能改善这种zmq架构？
简介： 在以下架构中，有三个关键组件 . Users - 运行用户应用程序的计算机 . Applications - 在远程服务器内运行 . Gateway/Broker - 用户设备和服务器应用程序之间隔离所必需的 . Message flow between user device and server application should happen as b... -
0 votesanswersviews
如何在分布式模式下安装Hyperledger Fabric网络（在多台计算机上）
运行Hyperledger结构样本后，似乎所有对等节点都作为docker容器运行，但它们都在同一台机器上运行 . 因此，如果我配置一个有12个对等体的网络，它将是在同一台机器上运行的12个docker容器？我们可以创建一个网络，同行将在不同的机器上运行吗？比方说，每个对等体在不同的机器上作为一个或多个docker容器运行？如何实现？ -
0 votesanswersviews
发现服务和领导者选举算法
我一直在做一些研究，以加强我项目中的内部发现服务 . 我们在集群中有许多节点负责发现服务，具有很高的可用性 . 为了访问某些服务，每个客户端应用程序都会向群集中的所有这些节点发送多播消息 . 所有节点都响应客户端，第一个响应定义了特定节点以进行进一步的工作 . 这是一个开销，我正在考虑使用某种领导者选举算法，其中只有一个领导者响应客户 . 使用这样的算法来完成这项任务是否合理？ -
8 votesanswersviews
如果有多个领导者，Raft算法如何保证共识？
正如论文所说： 选举安全：在一个特定的任期内，最多只能选出一名领导人 . §5.2 但是，系统中可能有多个领导者 . 筏只能承诺在给定的期限内只有一个领导者 . 所以如果我有多个客户端，我不会得到不同的数据吗？这如何让Raft成为一致的算法？ 有什么我不明白的，有人可以解释一下吗？ -
1 votesanswersviews
RAFT选举限制
我正在用Raft paper从零开始学习Raft，我无法理解领导者的选举过程 . 我在5.4.1中读到领导者需要在其日志中拥有集群的所有已提交条目： Raft使用更简单的方法，它保证从选举之时起，每个新领导者都会出现之前条款中的所有已提交条目，而无需将这些条目转移给领导者 . Raft使用投票过程来阻止候选人赢得选举，除非其日志包含所有已提交的条目 . 但是后来，据说如果候选人至少与大多数其... -
4 votesanswersviews
筏怎么处理从前一个提交的条目？
在筏paper第5.4.2节 如果领导者在提交条目之前崩溃，未来的领导者将尝试完成复制条目 . 但是，一旦领导者存储在大多数服务器上，就无法立即得出上一个条目的条目 . 可能存在这样的情况：旧的日志条目存储在大多数服务器上，但仍可被未来的领导者覆盖 . 提交人提到要避免上述情况 为了消除类似图8中的问题，Raft从不通过计算副本来提交先前术语的日志条目 . 通过计算副本，只提供领导者当前术语... -
19 votesanswersviews
异步培训如何在分布式Tensorflow中工作？
我读过Distributed Tensorflow Doc，它提到在异步训练中， 图表的每个副本都有一个独立的训练循环，无需协调即可执行 . 据我所知，如果我们将参数服务器与数据并行架构结合使用，则意味着每个工作人员都会计算渐变并更新自己的权重，而无需关心分布式训练神经网络的其他工作人员更新 . 由于所有权重都在参数服务器（ps）上共享，我认为ps仍然必须以某种方式协调（或聚合）来自所有工作者... -
0 votesanswersviews
同步分布式张量流训练以异步方式运行
系统信息： Debian 4.5.5 TF installed from binary (pip3 install tensorflow-gpu==1.0.1 --user) TF version: v1.0.0-65-g4763edf-dirty 1.0.1 Bazel version: N.A. CUDA 8.0 cuDNN v5.1 重现的步骤 制作目录并将以下文... -
2 votesanswersviews
如何正确使用tf.train.SyncReplicasOptimizer（）进行同步分布式培训？
要重现的文件： training.py：此文件包含参数服务器和为使用同步分布式优化器（tf.train.SyncReplicasOptimizer）和培训主管而创建的工作程序的源代码 . run.sh：此文件启动了参数服务器和工作者 . 问题描述 最近，我尝试在集群上部署同步分布式TensorFlow培训 . 我按照教程和初始示例编写了自己的程序 . training.py遵循与官方示例相同的... -
0 votesanswersviews
GRPC导致培训暂停个体工作者（分布式张量流，同步）
我试图以同步分布式方式训练模型以实现数据并行 . 我的机器有4个gpus . 每个gpu都应该运行一个worker来训练单独的非重叠数据子集（在图复制之间） . 主数据文件分为16个较小的TFRecord文件 . 每个工作者应该处理4个不同的文件 . 问题是培训在每个 Worker 流程中独立冻结并在不同时间冻结 . 他们在某个时候冻结了 . 跟随grpc相关错误的'ps'报告之一： 2017-... -
12 votesanswersviews
Python中的分布式单元测试和代码覆盖
我目前的项目的单元测试的代码覆盖率为100％ . 我们的持续集成服务不允许开发人员在没有100％覆盖的情况下推送代码 . 随着项目的不断发展，有足够的时间来运行完整的测试套件 . 虽然开发人员通常会运行与他们正在更改的代码相关的测试子集，但他们通常会在提交到CI之前执行最后一次完整运行，而CI服务器本身也会运行完整的测试套件 . 单元测试本质上是高度可并行化的，因为它们是从测试到测试的独立和无状态... -
15 votesanswersviews
Rust是否适合Erlang风格的分布式软件？ [关闭]
我非常喜欢Golang，可以轻松地编写并发软件，以便在一台机器上使用更多的CPU内核 . 我有点担心得知Go并不是真正的分布式（如多节点并发）语言 - 甚至Rob Pike也承认（在GopherCon 2014上）它从一开始就不是为分布式计算而设计的，尽管有尝试帮助的GoCircuit等软件包 . 因此，我最近对Erlang和Elixir感兴趣，因为经过实战的Erlang VM已被用于跨节点分发应...