Блог пользователя codenote

Автор codenote, история, 11 дней назад, По-английски,

What is good approach to merge sorted files. I have around 10k files of size 1-2 mb and want to merge them in single sorted file.

 
 
 
 
  • Проголосовать: нравится  
  • -2
  • Проголосовать: не нравится  

»
11 дней назад, # |
  Проголосовать: нравится +3 Проголосовать: не нравится

That sounds like you have only 20GB of data. If you have, say, 10GB, you can just read all the data in-memory and sort it. If you don't, you can do that thing with each, say, gigabyte you have and then merge resulting 20 files using several iterations of merge sort.

  • »
    »
    11 дней назад, # ^ |
      Проголосовать: нравится 0 Проголосовать: не нравится

    In linux i am not able to open more than 1024 files at a time.

    • »
      »
      »
      11 дней назад, # ^ |
        Проголосовать: нравится 0 Проголосовать: не нравится

      Even i have set sysctl -w fs.file-max=500000 , then also it not opening. command used to set max files which we can open.

    • »
      »
      »
      10 дней назад, # ^ |
        Проголосовать: нравится 0 Проголосовать: не нравится

      You don't need to open more than two files at once. Open, fully read, close, repeat. Also, try looking at solutions here.