DEV Community
·
Drupal中的迁移
💡
原文约900字/词，阅读约需4分钟。
📝
内容提要
该项目涉及重要的数据迁移，面临服务器共享、备份时间不确定和重复文件等问题。Drupal的迁移框架在处理大规模数据时存在不足，尤其是时间戳相同的文件迁移。为优化迁移过程，提出通过自定义源和动态方法来避免重复和错误。
🎯
关键要点
- 该项目涉及重要的数据迁移，面临服务器共享和备份时间不确定等问题。
- Drupal的迁移框架在处理大规模数据时存在不足，尤其是时间戳相同的文件迁移。
- 项目中有大量文件，约300,000条记录，其中70,000条为重复文件。
- 使用hash_file函数可能导致内存不足，容易出现PHP错误。
- 迁移过程中可以使用'--limit='标志控制迁移数量，但存在已迁移记录的重复处理问题。
- Highwater Marks选项允许定义时间戳字段，但在处理大量相同时间戳文件时会导致遗漏。
- 提出通过自定义源和动态方法来优化迁移过程，避免重复和错误。
- 动态方法通过获取最后的ID来控制迁移，确保不遗漏文件。
❓
延伸问答
Drupal的迁移框架在处理大规模数据时存在哪些不足？
Drupal的迁移框架在处理大规模数据时，尤其是时间戳相同的文件迁移时存在不足，容易导致遗漏和重复处理。
在数据迁移过程中，如何避免重复文件的迁移？
可以通过自定义源和动态方法来优化迁移过程，避免重复和错误，确保只迁移必要的文件。
在进行大规模数据迁移时，如何控制迁移数量？
可以使用'--limit='标志来控制迁移数量，但需注意已迁移记录的重复处理问题。
Highwater Marks选项在迁移中有什么作用？
Highwater Marks选项允许定义时间戳字段，但在处理大量相同时间戳文件时可能导致遗漏。
使用hash_file函数时可能遇到什么问题？
使用hash_file函数可能导致内存不足，容易出现PHP错误，因为它不会及时关闭打开的文件。
如何动态控制文件迁移以避免遗漏？
可以通过获取最后的ID来动态控制迁移，确保不遗漏文件，具体方法是修改源类以获取最后的ID。
➡️
