首页 文章
  • 7 votes
     answers
     views

    无法部署本地Spark作业,工作程序因EndPointAssociationError而失败

    我下载了Spark 1.1.0,并使用"sbt assembly"构建它 . 我试图运行示例Spark-Cassandra project: import org.apache.spark.{SparkContext, SparkConf} import org.apache.spark.SparkContext._ import com.datastax.spark.conn...
  • 0 votes
     answers
     views

    调试akka性能

    我正在开发一个Akka应用程序,每个actor调用一个Web服务 . 当进行性能测试时,演员在大约6分钟后开始响应非常缓慢 . 我已经创建了一个单元测试来测试性能而没有看到任何问题 . 我意识到这是一个通用的问题,但我是否可以调查一下应用程序的一般领域,以发现问题所在? 我正在考虑的一个领域是路线:http://doc.akka.io/docs/akka/snapshot/scala/routin...
  • 7 votes
     answers
     views

    使用Maven打包和运行Scala Spark项目

    我在Scala中编写了一个使用Spark的应用程序 . 我正在使用Maven打包应用程序并在构造"uber" or "fat" jar时遇到问题 . 我面临的问题是运行应用程序在IDE内运行正常,或者如果我提供非超级jar版本的依赖项作为java类路径,但如果我将uber jar作为uber jar,它就不起作用类路径,即 java -Xmx2G -cp t...
  • 6 votes
     answers
     views

    使用Akka,SQS和Camel的消费者民意调查率

    我正在研究的项目需要从SQS读取消息,我决定使用Akka来分发这些消息的处理 . 由于SQS是Camel支持的,并且内置了在Consumer类中使用Akka的功能,我想最好以这种方式实现 endpoints 和读取消息,尽管我没有看到很多人这样做的例子 . 我的问题是我不能足够快地轮询我的队列以保持我的队列空,或接近空 . 我最初的想法是,我可以让消费者从SQS以X / s的速率接收来自Camel...
  • 0 votes
     answers
     views

    阻止包含在Akka Future中的代码也会阻塞Future支持的线程,那么在这种情况下未来将如何有用

    Akka / Scala Future背后的理念是,当我们发现阻塞的代码片段(如IO调用,网络调用等)时,我们必须将其包装在未来并在某个时间点之后异步获取结果 . 但是,之前阻塞主线程的阻塞代码现在在Future支持的单独线程中阻塞 . 然后Akka / Scala Future给我们带来了什么 . val blockingCallResult: Result = block() //blocks...
  • 13 votes
     answers
     views

    在Akka演员中使用Futures

    我刚刚开始学习Scala中的Akka Actors . 我的理解是,Actor接收的消息在Actor的邮箱中排队,并且一次处理一个 . 通过一次处理一个消息,可以减轻并发问题(竞争条件,死锁) . 但是如果Actor创建了一个与消息相关的工作的未来会发生什么?由于未来是异步的,因此Actor可以开始处理接下来的几条消息,而与先前消息相关联的未来仍然在运行 . 这不会产生竞争条件吗?如何在Actor...
  • 0 votes
     answers
     views

    期货与阿卡的演员一起使用

    我想使用akka远程处理创建服务器/客户端系统 . 首先,我创建一个简单的远程服务器 . (我为了测试目的编写了下面的代码,并澄清了我的概念,所以它确实没有做太多 . ) 我希望我的客户端向服务器发送用户名和密码,服务器可以验证并回复 . 起初我创建了一个客户端角色 . 从我的客户端对象,我发送此演员的用户名和密码(我在这里使用未来) . 然后,客户端actor使用另一个未来将此用户名和密码发送...
  • 0 votes
     answers
     views

    如何在Akka的当前演员调度员上运行期货

    Akka的documentation警告: 当使用未来的回调,例如onComplete,onSuccess和onFailure时,你需要小心避免关闭包含actor的引用,即不要在回调中调用方法或访问封闭actor上的可变状态 在我看来,如果我能够获得希望访问可变状态的Future来运行在安排互斥线程处理actor消息的同一个调度程序上,那么可以避免这个问题 . 那可能吗? (为什么不?) co...
  • 0 votes
     answers
     views

    Akka:演员沟通的未来?

    我有一个系统可以产生一个会产生许多未来的演员 . 其中一些未来会遇到需要产生更多期货的情景(但请告诉演员) . 在完成未来的操作后,如何将未来的消息发送给演员? 我查看了 pipeTo 文档但是我在将来的课程中引用系统中的actor时遇到了问题 . 这是我的Future类的样子: class crawler(string: String) { val status: Future[Boole...
  • 3 votes
     answers
     views

    akka如何启动一个主任务并阻止它完成?

    我正试图在scala中开始使用akka . 在主scala线程中,我想启动一个akka actor,向它发送一条消息,并阻塞直到该actor终止 . 做这个的最好方式是什么? 例如,我有一个测试演员只是反复向自己发送消息: class Incrementer() extends Actor { val maxMessages = 5 var counter = 0 def rece...
  • 0 votes
     answers
     views

    Scala,使用Responder抽象可能的异步计算

    我一直在研究scala和AKKA来管理一个明显可并行化的算法 . 我对函数式编程有一些了解,而且大部分都是Java,所以我的FP可能还不是最好的 . 我正在使用的算法非常简单,有一个顶级计算: def computeFull(...): FullObject 此计算调用子计算,然后将其求和(以简化): def computePartial(...): Int 和 computeFull 做这样...
  • 0 votes
     answers
     views

    用Akka控制外部期货

    我一直在使用Akka,而且在更简单的项目中,只使用Scala 2.10期货 . 然而,有一天我不得不混合一个图书馆返回Futures和Akka Actors,我不知道如何整合Actor调度系统和失控的未来 . 在项目中使用Akka actor的选择是能够微调actor队列并控制代码的并行化,并且可能最终向外扩展(即使现在它不是优先级) . 但是,如果我有这样的代码(故意简化): package e...
  • 5 votes
     answers
     views

    如何在Scala中找到每个未来的时间?

    我有一个scala代码一次运行多个期货 . 我想分析执行每个时间所花费的时间 . 例如: for (i <- 1 to 100) { val f = future { runAndTime(doSomething()) } f.onComplete { case Success(timeTaken) => println(timeTaken) c...
  • 14 votes
     answers
     views

    在处理Akka中的下一条消息之前等待异步Future调用

    接收事件时,Akka Actors将一次处理一条消息,阻塞直到请求完成,然后再转到下一条消息 . 这适用于同步/阻塞任务,但是如果我想执行异步/非阻塞请求,Akka将继续处理而无需等待任务完成 . 例如: def doThing():Future[Unit] = /* Non blocking request here */ def receive = { case DoThing ...
  • 0 votes
     answers
     views

    在Scala中实现没有Akka的Actor模型

    我正在做我的小型研究,实现没有Akka的Actor我在Scala中找到了一个Actor的实现 . (How to implement actor model without Akka?) 这很简单 . 因为我没有足够的声誉来添加评论,所以我创建了这个问题 . 我想知道我是否使用如下的Actor . 1 /如何从主线程中关闭该actor? 2 /如何添加类似于Akka的功能,如父演员,杀戮请求,并...
  • 15 votes
     answers
     views

    执行io时akka jvm线程vs os线程

    我已经搜索了一些网站,以帮助理解这一点,但没有找到任何超级明确的东西,所以我想我会发布我的用例,看看是否有人可以解决一些问题 . 我有一个关于在akka中用于io操作时jvm线程vs os线程的扩展的问题 . 来自akka网站: Akka支持事件驱动的轻量级线程的调度程序,允许在单个工作站上创建数百万个线程,以及基于线程的Actors,其中每个调度程序都绑定到专用的OS线程 . 基于事件的Act...
  • 35 votes
     answers
     views

    Akka HTTP:将来阻止阻止服务器

    我正在尝试使用Akka HTTP来基本验证我的请求 . 碰巧我有一个外部资源来进行身份验证,因此我必须对此资源进行休息调用 . 这需要一些时间,并且在处理时,我的API的其余部分似乎被阻止,等待此调用 . 我用一个非常简单的例子重现了这个: // used dispatcher: implicit val system = ActorSystem() implicit val executor =...
  • 3 votes
     answers
     views

    Akka路由:回复发送到路由器最终为死信

    我正在玩Actor Routing并且我无法将回复发送回路由器,以便路由列表中的另一个演员可以选择这个,我在这里看不到什么;) 我正在使用: sender.tell([Message], context.parent) 根据akka docs回复路由器,路由的actor将发送者设置为自己,父母是实际的路由器 回复时,它会在控制台中给出以下消息: [INFO] [12/13/2013 11:19...
  • 0 votes
     answers
     views

    如何在Play Framework 2中从外部向演员发送消息?

    我是Akka的新手,并尝试在Java中使用Play Framework 2编写一些代码并使用Akka . 要创建一个actor并向其发送测试消息,我有: public class Global extends GlobalSettings { @Override public void onStart(Application app) { final ActorR...
  • 2 votes
     answers
     views

    喷洒死信

    我正在尝试执行以下代码 trait CustomHttpService extends HttpService { import MyJsonProtocol._ import spray.httpx.SprayJsonSupport._ implicit def executionContext = actorRefFactory.dispatcher implicit va...
  • 1 votes
     answers
     views

    斯卡拉阿卡演员,问模式,发送回复时遇到的死信

    我正在尝试使用ask模式向远程actor发送请求 . 本地演员收到一些 Value ,并在其上执行一些任务并更新它 . 然后,当本地actor尝试将更新的值发送回远程actor时,发送时会发生错误 . 我该如何处理这个错误? 错误:[INFO] [03/31/2017 17:28:18.383] [ClientSystem-akka.actor.default-dispatcher-3] [akk...
  • 0 votes
     answers
     views

    如何处理Akka Actor内部WS调用的超时

    我有以下actor向WebService发送请求: class VigiaActor extends akka.actor.Actor { val log = Logging(context.system, this) context.setReceiveTimeout(5 seconds) import VigiaActor._ def receive = { cas...
  • 1 votes
     answers
     views

    了解崩溃时的akka actor默认行为

    actor的默认行为是restart . 为了更好地理解,我创建了两个actor并导致重启: class PingActor extends Actor with ActorLogging { import PingActor._ override def postRestart(reason: Throwable): Unit = { log.info(s"RESTAR...
  • 0 votes
     answers
     views

    具有特征的案例类的scala / akka

    我无法在特征中获取案例类来使用Akka序列化 . 以下代码按预期工作: import akka.actor.ActorSystem import akka.serialization.SerializationExtension /*trait TestProtocol {*/ sealed abstract class Expr /* extends Serializable */ f...
  • 0 votes
     answers
     views

    Intellij在Java中错误地指示了Akka代码的错误

    这是设置: IntelliJ 13.1.2(也尝试过13.1.1) Akka 2.3.2 Java 1.8(也尝试过Java 1.7) Scala库2.11(也试过2.10) Scala IntelliJ插件0.35.683 Gradle 1.11(IntelliJ正在使用相同的安装) 我正在尝试编写一些Java代码来做一些Akka的东西 - 创建Actors,发送消息...
  • 1 votes
     answers
     views

    玩Java Akka - Await.result期待等待对象而不接受Future <Object>

    我是新玩框架和AKKA,我是一名Java开发人员 . 我使用Play 2.3.7和IntelliJ 14.我调用了Pattern.ask,它返回一个Future对象,该对象具有来自Web服务调用的String . 通过控制台我可以发现我的演员能够接收请求并执行操作 . 我不知道如何解析它 . 我试图通过使用Await.result来阅读Future . 但是这个Await.result期待着等待的...
  • 2 votes
     answers
     views

    如何升级Akka最顶级的主管?

    我有以下顶级(“父母最多”)演员: // Groovy pseudo-code class Master extends UntypedActor { ActorRef child1 ActorRef child2 ActorRef child3 ActorRef backup @Override void onReceive(Object mes...
  • 0 votes
     answers
     views

    Akka Futures和Supervisor Strategies如何应对失败

    Akka Java 在这里 . 我刚刚阅读了the “ask” pattern using futures上的Akka文档,并且我不了解几个方面的工作原理,这些情况与主管策略(决策者)和故障回调都是图片的一部分有关 . 父母问孩子 假设我有两个演员, Fizz 和 Buzz ,其中 Fizz 是 Buzz 的父/创作者 . 因为 Fizz 是 Buzz 的父级,所以 SupervisorStra...
  • 0 votes
     answers
     views

    监控系统用户对覆盆子pi与akka演员

    我的网络上有一个覆盆子pi,上面附有一个LED灯条 . 我的目的是创建一个jar文件,它将位于pi上,监视系统事件,例如登录和平均负载,并根据这些输入驱动LED . 为了持续监控登录用户,我正在尝试使用akka actor . 使用提供的示例here,这是我到目前为止所获得的: import com.pi4j.io.gpio.GpioFactory import com.pi4j.io.gpio....
  • 3 votes
     answers
     views

    Akka Ask with Timed Retry

    这是一个简单的函数,我写了一个Akka“问”与定时重试 . 有一个明显的竞争条件,我不知道如何解决 . def askWithRetry(actor: ActorRef, message: Any, timeout: Timeout): Future[Any] = (actor ? message)(timeout) recoverWith { case e: AskTimeoutExcept...

热门问题