首页 文章

如何为“大数据”分析项目设置架构?

提问于
浏览
-1

我和我的一个朋友在我们的高年级,很快就会开始一个高级项目 . 我们有想法为它做一个数据分析和数据可视化项目 . 我们的项目涉及读取每2分钟更新一次的CSV文件,解析该数据,然后将其存储在数据库中 . 存储该数据后,我们希望对其进行一些分析并提供一个API,通过该API我们可以访问该数据以便以某种方式进行可视化 . 我们的最终目标是构建一个Android应用程序,以用户友好的格式显示CSV中的一些原始数据和分析 . 我和另一个CS Major谈过,他解释说我需要一些不同的服务器才能完成这个:一个用于存储,另一个用于分析,另一个用于某种类型的队列,这将确保事情不会变得棘手我们是做刮刮和分析 . 问题是,我真的不知道从哪里开始 . 我之前和SQL前端做了一些SQL数据库的工作,但是没有多个服务器 . 我听说过使用像Hadoop这样的大数据项目的工具,但我不确定它适合的位置 . 如果有人能指出某种资源来解释或解释自己,我将如何开始构建这样的项目,真棒!

1 回答

  • 1

    因为你不想看看像Cloudera这样的项目 . 具体来说,他们的resources页面有一套很好的视频和文章 .

    另一个可靠信息来源(我个人使用)是通过单击Stack Overflow tag 并选择 votes 选项 . 关于过多的big data主题的许多好问题 .

相关问题