适配内网数据库与公网云数据库不同运维环境
FilestoMongo MacOS版有填写IP+端口、标准Mongo连接字符串URI两种连接方式,兼容单机实例、副本集、分片集群、MongoDB Atlas 云端数据库,支持账号密码认证、SSL加密连接,适配内网数据库与公网云数据库不同运维环境。
① 表头存在空格、特殊符号:清理表头多余空格与特殊字符。

② 源文件表头为空无字段名称:文件第一行设置规范英文字段表头。

③ Mongo 集合预先设置了固定 Schema 校验规则,字段类型不匹配:查看 Mongo 集合校验规则,统一两边字段数据格式。

卡住原因:
1、某行脏数据格式异常,触发写入报错且容错行数设置为 0。
2、磁盘 IO 性能不足,大批量写入磁盘瓶颈。
3、MongoDB 服务器资源占用满载,拒绝新增写入请求。
4、源文件中途被其他程序修改、移动。

解决办法
(1)适当调高「Errors to allow」允许错误条数。
(2)避开数据库业务高峰期执行大批量导入。
(3)导入过程锁定源文件,不要编辑移动原始文件。
(4)查看导入日志定位异常脏数据并清洗修正。

可将整套导入参数保存为会话文件,周期性同步数据时直接加载配置,无需重复配置所有参数。
内置系统定时调度功能,搭配Windows任务计划、Linux crontab,结合CLI命令行实现自动同步。
自动检测文件编码,记录成功数据量、失败数据、异常原因,从源头杜绝中文乱码问题。
导入过程会生成完整日志文件,保存为txt格式,方便后期对账排查脏数据问题。
软件分类:MAC软件
运行环境:macOS 10.13及以上
官网地址:https://www.withdata.com/file-to-mongo/
软件语言:简体中文
授权:免费软件
软件类型:应用软件