Android SQLite y enormes conjuntos de datos

Qué opciones tenemos en la consulta y la visualización de decenas de miles de filas de datos en Android?

¿Quieres decir además de decirle que la lectura de 20.000 + filas en un LCD de 3,5 "es el palo-guano loco ?;-)

Parece que CursorWindow , que se utiliza en algún lugar bajo las cubiertas, tiene problemas para gestionar> 17.000 filas. Ésa podría ser una de dos cosas:

1. Usted está fuera del montón de espacio. Con un montón de 16 MB sin compactación, y el hecho de que un Cursor mantiene todo el conjunto de resultados en el montón, eso no está fuera de la cuestión.
2. CursorWindow sólo admite 1 MB de datos, que es lo que el mensaje de error sugiere más directamente.

Si hay una manera lógica de dividir sus consultas en trozos discretos, puede realizar consultas incrementales y utilizar CursorJoiner para CursorJoiner juntas, y ver si eso ayuda.

Pero, con toda seriedad, 20.000 filas más en una pantalla de 3.5 ", en un dispositivo que se asemeja más a una PC de 12 años en caballos de fuerza, realmente está pidiendo mucho.

Si realmente necesita que también puede dividir sus datos y leer trozos como este:

  int limit = 0; while (limit + 100 < numberOfRows) { //Compose the statement String statement = "SELECT * FROM Table ORDER someField LIMIT '"+ limit+"', 100"; //Execute the query Cursor cursor = myDataBase.rawQuery(statement, null); while (cursor.moveToNext()) { Product product = new Product(); product.setAllValuesFromCursor(cursor); productsArrayList.add(product); } cursor.close(); limit += 100; } //Compose the statement String statement = "SELECT * FROM Table ORDER someField LIMIT '"+ (numberOfRows - limit)+"', 100"; //Execute the query Cursor cursor = myDataBase.rawQuery(statement, null); while (cursor.moveToNext()) { Product product = new Product(); product.setAllValuesFromCursor(cursor); productsArrayList.add(product); } cursor.close(); 

Está trabajando debajo de 2 s para las filas 5k si usted tiene tabla indizada.

Gracias, Arkde

En mi experiencia, limitar las consultas hace que tome mucho más tiempo obtener resultados porque iniciar nuevos cursores es caro para límites bajos. Intenté hacer 62k filas con 1k e incluso 10k límite ahora mismo y es muy lento e inutilizable ya que tengo que empezar más de 6 cursores. Me quedo con no apoyar 2.3.3 …. Es la última versión que tengo CursorWindow ERROR en lugar de WARN.

Aquí es lo que hice sin embargo. Este es probablemente el mejor algoritmo que creo. No tiene que hacer las consultas dos veces, etc Sin embargo, puede ser bastante lento con grandes consultas y pequeños límites por lo que tiene que probar lo que funciona mejor mucho. En mi caso, no es lo suficientemente rápido para mis propósitos ya que no maneja 62k filas bien.

 int cursorCount = 0; int limit = 1000; //whatever you want while (true) { Cursor cursor = builder.query(mDatabaseHelper.getReadableDatabase(), columns, selection, selectionArgs, null, null, null, Integer.toString(limit)); if (cursor == null) { return null; } else if (!cursor.moveToFirst()) { //if it is empty, return null return null; } cursorCount = cursor.getCount(); if (cursorCount % limit != 0) { return cursor; } limit+=1000; //same amount as the one above }