Análisis de un sitio web con Jsoup que se carga dinámicamente a medida que el usuario se desplaza
Estoy trabajando en un proyecto que muestra nombres de canciones y un enlace a esa canción al analizar un sitio web usando Jsoup. El único problema es que sólo puedo obtener los primeros 10 elementos que quiero de ese sitio web, porque a medida que se desplaza hacia abajo, el sitio web genera más elementos. El sitio web específico que estoy tratando de analizar es un sitio de música llamado TrappedIO . Te darás cuenta al ver el sitio web que cuando se desplaza hacia abajo, más nombres de canciones y las imágenes aparecen. Cuando utilizo inspeccionar elemento en cromo, veo que a medida que se desplaza, genera más elementos que estoy tratando de analizar.
El CSS Camino de lo que estoy analizando: #content> div.container> div> div: nth-child (índice del elemento)
- Cierre de la conexión Jsoup
- Cómo agregar una nueva etiqueta html con Jsoup?
- Extraer texto fuera de una etiqueta HTML
- ¿Hay algo más rápido que Jsoup para el raspado de HTML?
- Analizando HTML con Jsoup y eliminando spans con cierto estilo
El problema es cuando consigo este Web site con Jsoup usando este método,
Document doc = Jsoup.connect(url).get();
HTML devuelto desde Jsoup: Pastebin
Sólo los primeros 10 elementos que quiero analizar se devuelven, junto con todos los demás HTML. Para ser más específico, estoy analizando usando Jsoup en un AsyncTask, luego rellenando un ListView con los datos analizados.
¿Algunas ideas? ¿Alguna sugerencia sobre cómo cargar todo a la vez? Cualquier respuesta es muy apreciada, gracias.
- Cómo enviar texto a través de formularios mediante JSoup
- Android java.lang.NoClassDefFoundError: org.jsoup.Jsoup
- Problemas al pasar las cookies a la solicitud GET (después del POST)
- Uso de Jsoup en los datos de inicio de sesión de POST
- Utilice jsoup para extraer texto de la clase 'form' con datos de página variable
- ¿Cómo agrego archivos .jar en Android Studio
- Android y Jsoup
- RoboSpice y Jsoup
Su muy simple, para obtener el siguiente conjunto de 10, acaba de golpear el siguiente
http://trapped.io/?page=2
Para generalizar, basta con page=PAGE_NUMBER
número de página adecuado en la page=PAGE_NUMBER
parámetro de consulta, puede obtener un conjunto de 10 elementos en esa página.
Editar:
Sólo una nota de lado, podría haber problemas legales en los sitios de raspado. Espero que haya comprobado su legal legalmente para hacer raspado en su sitio.
- Mi aplicación para Android, de repente, requiere permisos no establecidos en AndroidManifest.xml. ¿Por qué?
- Dagger2 error: No se puede proporcionar sin el constructor @Inject