-
2 votesanswersviews
Spring Batch Parallel Job Scaling
我目前正在开发一个Spring Batch POC，并且对大多数实际的Spring Batch功能都有很好的处理能力 . 我目前有一个程序使用Spring Integration来接收HttpRequest并使用消息通道最终将作业执行发送到队列中的作业启动器 . 我们真正想做的是在作业启动器之前实现某种“调度程序/负载均衡器”（不太清楚要调用它），该作业启动器将查看当前正在运行的工作节点以及输入文... -
0 votesanswersviews
BigQuery / SQL：由辅助表指示的时间间隔求和
假设我有两个表： intervals 包含索引间隔（其列为 i_min 和 i_max ）， values 包含索引值（列为 i 和 x ） . 这是一个例子： values: intervals: +---+---+ +-------+-------+ | i | x | | i_min | i_max | +-------+ +---------------+ | 1... -
1 votesanswersviews
对大数据架构的建议：mongodb spark
我需要实现一个大数据存储处理系统 . 数据每天都在增加（大约每天最多5000万行），数据符合大约10个字段（日期，数字，文本，ID）的非常简单的JSON文档 . 然后可以在线查询数据（如果可能），在文档的某些字段（日期范围查询，ID等）上进行任意分组 . 我正在考虑使用MongoDB集群存储所有这些数据并为我需要查询的字段构建索引，然后在apache Spark集群中处理数据（主要是简单的聚合排序... -
0 votesanswersviews
Cassandra突然错误x字节的突变太大
在使用Cassandra 3.10群集进行了几周的压力测试后，突然出现了错误"Mutation of x bytes is too large"，所有6个节点都出现了高CPU负载（例如 load average: 33.26, 32.47, 32.15 ） . 执行的查询的大小没有变化，因此我们尝试增加 commit_log_segment_size_in_mb . 它没有多... -
0 votesanswersviews
Titan / Cassandra读取可扩展性，随机服务器关闭或丢弃消息
我们正在使用支持的 Titan-1.0.0 作为 cassandra 2.1.7 . 该集群由36个虚拟机组成，每个虚拟机具有16GB RAM（6GB堆）和16个CPU核心 . 我们使用SSD磁盘用于cassandra数据，使用普通HDD用于提交日志 . RF为3，读/写每个CF = 2 . Java版本是1.8.0_45通过此群集提供大量读取 . 在服务器停机的第一天，我们面临着一些服务器... -
2 votesanswersviews
将分离的实时服务器与标准Web服务器一起扩展
假设我有一个典型的Web服务器为客户端提供标准HTML页面，并且与它一起运行的websocket服务器用于实时更新（聊天，通知等） . 我的一般工作流程是当主服务器上发生触发实时消息需求的事件时，主服务器将该消息发送到实时服务器（通过消息队列），实时服务器将其分发给任何相关连接 . 我担心的是，如果我想扩展一点，并添加另一个实时服务器，似乎我唯一的选择是： 让主服务器跟踪客户端连接到哪个实时服... -
3 votesanswersviews
具有HA代理的Spring STOMP Broker Relay RabbitMQ集群面向每个负载 balancer
我正在设计一个系统，其中从设备生成的大量实时数据最好通过websockets传输给用户 . 我已经决定使用Spring STOMP Websockets，因为它更快地设置，理解并且像RabbitMQ和Security一样支持开箱即用 . 而且因为计划是将Spring用于另一个REST API，所以Spring作为技术堆栈的选择 . RabbitMQ是我决定使用的消息代理 . 但是，我找不到关于如... -
1 votesanswersviews
Apache Thrift如何可扩展？
在它们的website中，Apache Thrift被引入 软件框架，用于可扩展的跨语言服务开发...... 但我找不到什么使它可扩展 . 所以我的问题是什么使它可扩展？使用Thrift是否可以使您的应用程序可扩展？如果没有，我如何以可扩展的方式使用thrift？ -
2 votesanswersviews
取消静态HttpClient上的异步调用
我正在使用静态HttpClient（出于可伸缩性的原因 - 请参阅What is the overhead of creating a new HttpClient per call in a WebAPI client?），并希望能够取消花费太长时间的单个请求 . SendAsync 上有一个需要 CancellationToken 的重载 - 但由于我的 HttpClient 实例是 st... -
2 votesanswersviews
Compute Engine Autoscaler：选择要终止的机器
Autoscale (Beta) documentation说： [Autoscaler]随机选择要终止的虚拟机 . 这是一个问题，因为机器可能正在运行一个很长的过程，并且突然终止......即使其他机器处于空闲状态！您是否知道防止任务中止的解决方法？ 根据CPU或其他指标，使用启发式来确定要终止的机器是有意义的 . shutdown script可用于执行一些清理操作和gives a 90... -
0 votesanswersviews
简单Node.js App的突然缩放
我的网站是用Node.js编写的，没有数据库或外部依赖，但确实有很多大型媒体文件（图像和一些视频）总共大约2GB . 该网站的结构来自几个简单的JSON文件 . 我的问题是剧烈和突然的缩放 . 任何小型VPS实例通常都可以轻松处理到我网站的流量，但偶尔流量可以在短时间内达到正常水平的数百倍 . 我的问题是如何快速扩展，无需停机和自动扩展 . 我知道自动缩放存在问题，但是可能缺少数据库会否定一些问题... -
7 votesanswersviews
DefaultMessageListenerContainer没有缩放
我有一个DefaultMessageListenerContainer，（在我看来）没有扩展 . Container被定义为侦听队列，其中包含100条消息 . 我希望，Container可以达到任何长度，消息将尽可能快地消耗（通过观察maxConcurrentConsumers配置） . 所以我认为，有7个并发的消费者 . （在容器启动时由2个concurrentConsumers开始）一些日... -
13 votesanswersviews
使用kafka作为消息代理为桌面/移动/ Web应用程序创建实时推送通知系统
我有一个用例，需要在发布/订阅消息传递模式之后在服务器和客户端之间进行实时通信 . 生产环境 者将是java，节点等服务器，客户端将是 - java桌面应用程序，移动应用程序（android / ios），浏览器（javascript） . 我已经探讨了下面讨论的许多选项，但我无法提出强大的可扩展解决方案 . 使用案例：服务器将发布各种主题的通知/消息，订阅一组主题的所有客户端（java / ... -
0 votesanswersviews
如何存储大数据？
假设我们有一个聚合了20 000个用户的Web服务，并且每个用户都链接到包含任何内容的300个唯一用户数据实体 . 这是关于如何设计能够存储上述数据的示例关系数据库的天真方法： 为用户创建表 . 为用户数据创建表 . 因此，用户数据表包含6 000 000行 . 查询具有数百万行的表格很慢，特别是因为我们必须处理分层数据并执行一些与 SELECT * FROM userdata 不同的... -
0 votesanswersviews
亚马逊 Cloud 计算中的虚拟化实现
我是 Cloud 计算的初学者，已经阅读了一些关于亚马逊 Cloud 计算的文档 . 我有一个关于Xen和亚马逊网络服务中实现的虚拟化艺术的问题 . 众所周知， Cloud 计算为部署应用程序提供了弹性和可扩展性 . 当我们将 Cloud 应用程序部署到亚马逊时，当我们的应用程序的用户数量增加时，我认为亚马逊将自动生成一个新的虚拟服务器来处理用户请求 . Cloud 应用程序第一次在一个虚拟服务... -
-1 votesanswersviews
为什么sql可以垂直扩展，而nosql是水平的
我是NoSQL的新手并试图理解它的含义 . 我在许多不同的网站上看过许多文章，重复这样的事实：“SQL数据库是垂直扩展的（通过添加CPU /内存），而NoSQL数据库是水平扩展的（通过添加更多可以执行分布式计算的机器）” . 例如这些文章：http://dataconomy.com/sql-vs-nosql-need-know/http://www.thegeekstuff.com/2014/01... -
12 votesanswersviews
你能推荐一个水平扩展的数据库吗？ [关闭]
通常，数据库服务器是我们必须购买的最大，最昂贵的盒子，因为垂直缩放是唯一的选择 . 是否有任何数据库可以横向扩展（即跨多个商用机器），这种方法的局限性是什么？ -
8 votesanswersviews
关系数据库可以横向扩展
经过一些谷歌搜索我发现： 来自mysql docs的注释： MySQL Cluster跨节点自动分片（分区）表，使数据库能够在低成本的商用硬件上水平扩展，以提供读写密集型工作负载，从SQL和直接通过NoSQL API访问 . 关系数据库可以横向扩展吗？它会以某种方式基于NoSQL数据库吗？ 有人有任何现实世界的例子吗？ 如何在这样的数据库中管理sql请求，事务等？ -
3 votesanswersviews
在nosql vs rdbms中扩展？
我试图在可伸缩性的上下文中理解nosql和关系数据库中的体系结构差异 . 我对可伸缩性（水平）的理解是，随着我们的数据增长，我们添加越来越多的服务器来均匀地分配负载 . 在键值NO-SQL数据库中，我们可以添加新机器并拆分键 . 但是，到目前为止我所看到的所有示例都是为了理解NO-SQL数据库中的最终一致性，它们都具有主从配置，其中数据在所有从属服务器上复制，而不是在各种机器上进行拆分以实现可... -
1 votesanswersviews
Cassandra - 一致性的顺序
我知道在Cassandra中，没有强烈的一致性，除非你明确要求它（即便如此，也没有交易） . 但是，我对一致性的“顺序”感兴趣 . 请看以下示例： 在数据库节点中，有3个节点（A，B和C） . 通过相同的CQL连接发送两个插入查询（或者就此问题而言，我也不会发送与此问题相关的问题） . 两者都在不同的表上运行（这可能是相关的） . INSERT INTO table_a (id) VALUES (... -
1 votesanswersviews
如何在可伸缩，高度并发和容错的系统中逐个处理来自同一客户端的多个API调用
我们有Web服务API来支持在数千万台设备上运行的客户端 . 通常客户每天呼叫服务器一次 . 这是每秒约116个客户 . 对于每个客户端（每个客户端都有唯一的ID），它可以同时进行多个API调用 . 但是，Server只能从同一客户端逐个处理这些API调用 . 因为，那些API调用将在后端Mongodb数据库中更新该客户端的同一文档 . 例如：需要更新此客户端文档中的上次查看时间和其他嵌入文档 .... -
0 votesanswersviews
CosmosDB如何扩展图表？
我刚刚开始使用图形数据库和Azure CosmosDB . 根据Microsoft的定义： Azure Cosmos DB是一个完全托管的图形数据库，提供全局分布，存储和吞吐量的弹性扩展，自动索引和查询，可调整的一致性级别以及对TinkerPop标准的支持 . 我的问题是Cosmos DB如何实现图形的全局分布和缩放？图表是在多台机器上复制 fully （如主从设置）还是在机器上切割有意义的部... -
0 votesanswersviews
用于可扩展读取应用程序的mongoDB体系结构（常量写入）
我的应用程序运行每日作业，收集数据并将其提供给mongoDB . 处理此数据，然后通过rest API公开 . 需要在AWS中设置mongodb集群，要求： 数据每天将增长大约相同的大小（约50M记录），因此写入吞吐量不会增长 读取吞吐量将取决于用户/流量的数量，因此它应该是可扩展的 . 一开始交通不会很重 . 数据主要是简单的JSON，需要围绕某些字段的几个索引进行快速查询/过滤 .... -
23 votesanswersviews
如何模拟Web应用程序的高流量负载？ [关闭]
我编写了一个Python Web API，每天可能会收到大量请求 . 我想在进一步测试之前测试负载水平 . 在我的localhost Web应用程序上模拟大量流量的最佳方法是什么？是否有（linux兼容的）工具将大量请求发送到localhost URL？ -
5 votesanswersviews
构建可扩展的文件上载站点
我正在尝试构建一个文件上传站点作为辅助项目，我从来没有构建任何需要处理大量这样的文件的东西 . 据我所知，存储和检索文件有三个主要选项（请注意，每次上传可能有多个文件，因此，例如，website.com/a23Fc可能允许您下载单个或多个文件，具体取决于用户最初上传的数量 - 与imgur.com类似： 将所有文件粘贴在一个巨大的文件目录中，并使用（关系）数据库确定哪些文件属于哪些URL，然后... -
1 votesanswersviews
ASP.NET页面加载soap调用
我正在对专用服务器上的许多ASP.NET应用程序进行更改，并且想知道由此可能发生的潜在问题 . 基本上对于每个页面加载，我将需要至少对另一个服务器上的SOAP服务进行一次调用，以获取用户数据处理它并呈现页面 . 我可能必须根据情况在Page_Load事件中对远程服务器进行一次或两次调用 . 该站点每天处理大量流量，我想知道站点凸轮在ASP.NET中的出站连接数量是否有限制 . 即，是否建议进行与入... -
6 votesanswersviews
Rails 3应用，如何测量高负载下的稳定性
嗨，我是一个新的程序员，我一直在研究我将在未来几周推出的第一个真正的应用程序 . 该应用程序使用围绕照片共享的一些巧妙的想法，但基本上只是一个照片共享Web应用程序 . 我想找到关于小型轨道3应用程序可以处理什么类型的负载的信息，但我不知道从哪里开始 . 我是否需要运行基准测试来查找它可以处理的请求数量以及执行此操作的速度有多快？如何为他们的应用程序找到这样的统计数据？ 最后，我想了解一下网站可以... -
2 votesanswersviews
如何重构Django站点以便它可以扩展
根据以下Stack Overflow问题：Does Django scale? Django非常适合每天/每月预计成千上万用户的网络应用程序，但要实现这一目标，您必须拥有正确的设计 . 现在我的方案如下： 我刚刚加入一家初创公司担任技术主管/首席开发人员，虽然我有两年的Django经验，但我从来没有将它用作大型应用程序 . 最新的大型应用程序我参与了使用Zope，并依靠SQL Server来处理缓... -
1 votesanswersviews
大型网站如何在多台服务器上存储数据？
假设我是使用PHP构建Web应用程序并使用数据库来存储每个用户的数据 . 我开发网站，获取专用服务器，并开始宣传我的产品 . 随着时间的推移，我的网站会有越来越多的人注册，最终他们的所有数据开始填满我服务器中的TB级硬盘，直到显然我需要更多的磁盘空间 . 我的问题是如何在没有盲目地将磁盘添加到同一服务器直到我不能再填充，而不分离大量用户数据的情况下如何实现？如果我的原始服务器上有网站页面以及用户数... -
6 votesanswersviews
使用mqtt协议和kafka作为消息代理
我们如何将mqtt协议与kafka一起用作消息代理？ 客户端（android / ios / desktop java apps等）将使用mqtt phao客户端库生成和使用消息，这些库使用kafka作为消息代理以不同语言提供 . 有什么建议？