首页 文章

从MySQL切换到Cassandra - 优点/缺点？

提问于
浏览 次
58

对于一些背景知识 - 这个问题涉及在单个小型EC2实例上运行的项目，并且即将迁移到中型项目 . 主要组件是Django，MySQL和大量用python和java编写的自定义分析工具，这些工具都是繁重的工作 . 同一台机器也在运行Apache .

数据模型如下所示 - 大量实时数据来自各种网络传感器，理想情况下，我想 Build 一个长轮询方法，而不是每15分钟进行一次当前轮询（限制为计算统计数据并写入数据库本身） . 一旦数据进入，我将原始版本存储在MySQL中，让分析工具在这些数据上松散，并将统计信息存储在另外几个表中 . 所有这些都是使用Django呈现的 .

我需要的关系功能 -

  • 排序[Cassandra API中的SliceRange似乎令人满意]

  • 分组依据

  • 多个表之间的多关系[Cassandra SuperColumns似乎对一对多表现良好]

  • 对此，Sphinx给了我一个很好的全文引擎，所以这也是必要的 . [在Cassandra上，Lucandra项目似乎满足了这种需求]

我的主要问题是数据读取非常慢（并且写入也不是很热） . 我现在不想在它上面投入大量资金和硬件，而且我更喜欢随着时间的推移可以轻松扩展的东西 . 在这种意义上（或便宜），纵向扩展MySQL并非易事 .

所以基本上，在阅读了很多关于NOSQL并尝试了像MongoDB，Cassandra和Voldemort这样的东西之后，我的问题是，

  • 在中型EC2实例上， would I gain any benefits in reads/writes by shifting to something like Cassandra ？ This article（pdf）肯定似乎暗示了这一点 . 目前，我会说每分钟几百次写入是常态 . 对于读取 - 由于数据每5分钟左右更改一次，因此缓存失效必须非常快 . 在某些时候，它应该能够处理大量并发用户 . 即使创建了索引，MySQL在大型表上进行某些连接时，应用程序性能也会被杀死 - 大约32k行的内容需要超过一分钟才能呈现 . （这可能是EC2虚拟化I / O的工件） . 表的大小约为4-5百万行，并且大约有5个这样的表 .

  • 鉴于CAP定理和最终一致性，每个人都在谈论在多个节点上使用Cassandra . 但是，对于刚刚开始增长的项目， does it make sense to deploy a one node cassandra server ？有什么警告吗？例如，它可以取代MySQL作为Django的后端吗？ [这是推荐的吗？]

  • 如果我转移，我猜我将不得不重写部分应用程序以执行更多“administrivia”，因为我必须执行多次查找才能获取行 .

  • Would it make any sense to just use MySQL as a key value store 而不是关系引擎，并与之相伴？这样我可以利用大量可用的稳定API，以及稳定的引擎（并根据需要使用关系） . （Brett Taylor在Friendfeed上的帖子 - http://bret.appspot.com/entry/how-friendfeed-uses-mysql）

任何转变的人的见解将不胜感激！

谢谢 .

mysql django migration nosql cassandra

3 回答

  • 38

    Cassandra和今天可用的其他分布式数据库不提供您习惯从sql使用的那种即席查询支持 . 这是因为您无法按性能分发具有连接的查询，因此重点在于非规范化 .

    但是，Cassandra 0.6（测试版明天正式发布，但如果您不耐烦，可以自己从0.6分支构建）支持Hadoop map / reduce进行分析，这实际上听起来非常适合您 .

    Cassandra为无痛地添加新节点提供了出色的支持，甚至是初始的一个节点 .

    也就是说，只需几百次写入/分钟，你就可以在很长一段时间内使用mysql了 . Cassandra在成为一个键/值存储（甚至更好，键/列家族）方面要好得多，但MySQL在成为关系数据库方面要好得多 . :)

    目前还没有对Cassandra（或其他nosql数据库）的django支持 . 他们正在谈论为1.2之后的下一个版本做些什么，但是基于与pycon的django开发者交谈，没有人真正确定它会是什么样子 .

    回复于
  • 1

    如果您是关系数据库开发人员（就像我一样），我建议/指出：

    • 在您承诺在 生产环境 系统上使用Cassandra之前，获得一些使用Cassandra的经验......特别是如果该 生产环境 系统有一个艰难的完成期限 . 也许用它作为后端对于一些不重要的事情 .

    • 它预计会做一些我认为使用SQL引擎进行数据操作的理所当然的事情 . 特别是，索引数据和排序结果集非常重要 .

    • 数据建模也证明了具有挑战性 . 作为一名关系数据库开发人员，你带着很多包袱来到桌面......你需要愿意学习如何以非常不同的方式建模数据 .

    这些事情说，我强烈建议在Cassandra建造一些东西 . 如果你甚至意识到我举行了 .

    我发现的一些好资源包括：

    回复于
  • 19

    Django-cassandra是一种早期的beta模式 . Django也没有为no-sql数据库做过 . Django ORM中的关键是基于SQL（Django建议使用PostgreSQL） . 如果你只需要使用no-sql（你可以在同一个应用程序中混合使用sql和no-sql），你需要冒险使用no-sql ORM（它比传统的SQL orm或直接使用No-SQL存储要慢得多） . 或者你需要完全重写django ORM . 但在这种情况下，我不能假设，为什么你需要Django . 也许你可以使用其他东西，比如龙卷风？

    回复于

相关问题