我的公司处理来自我们客户的数据。我们的客户通过将数据推送到我们维护的 sftp 服务器来提交数据。我们的代码(主要是 Java、Scala 和 Node.js 以及一些 Python/shell)然后以只读模式访问这些服务器,并在下载这些文件后进行大量数据处理。
我们对这个系统感到沮丧,因为不仅 Java 库不适合做 sftp,而且即使是节点之一也不能在一些开发人员使用的 Windows 中工作,所以我们有一些 hacky shell 脚本来同步来自 sftp 的文件。
有哪些好的架构模式可以解决这个问题?我们想要一个安全的内部文件服务器,它可以通过良好的操作系统无关库轻松访问,并且具有通过文件查看器浏览的良好工具?