NW
/
DCG
1
0
Fork 0
Code Issues 3 Pull Requests Packages Projects Releases Wiki Activity

Парсер сайта idealista.com #3

New Issue
Open
opened 2024-09-17 11:47:52 +00:00 by NW · 0 comments
NW commented 2024-09-17 11:47:52 +00:00
Owner
Copy Link

Описание:

Необходимо создать парсер для сайта idealista.com на языке Go. Парсер должен извлекать данные с сайта и форматировать их в JSON. Далее, полученные данные должны быть записаны в базу данных SQLite.

Цели:

  1. Разработать парсер для извлечения данных с сайта idealista.com.
  2. Обеспечить форматирование извлеченных данных в формат JSON.
  3. Реализовать запись данных в базу данных SQLite.
  4. Гарантировать корректную работу парсера и сохранение данных в базу данных.

Варианты использования:

  1. Запуск парсера для регулярного извлечения данных с сайта.
  2. Форматирование данных в JSON для интеграции с другими системами или аналитическими инструментами.
  3. Хранение данных в базе данных SQLite для последующего анализа и обработки.

Типы рабочих задач:

  1. Разработка парсера на Go:

    • Написать код для извлечения данных с сайта idealista.com.
    • Реализовать обработку HTML-страниц и извлечение необходимых данных (заголовки, описание, цены, изображения и т.д.).
    • Протестировать парсер для корректного извлечения данных.

  2. Форматирование данных в JSON:

    • Создать структуру данных для хранения информации о недвижимости.
    • Реализовать конвертацию извлеченных данных в формат JSON.

  3. Запись данных в SQLite:

    • Разработать схему базы данных SQLite для хранения данных о недвижимости.
    • Написать код для записи данных в базу данных SQLite.
    • Обеспечить корректное подключение и взаимодействие с SQLite.

  4. Тестирование и отладка:

    • Провести тестирование парсера на различных страницах сайта.
    • Проверить корректность записи данных в базу данных.
    • Устранить возможные ошибки и улучшить производительность.

Аннотации:

  • Парсер должен поддерживать обновления данных в реальном времени, если сайт изменяется.
  • Важно обеспечить обработку ошибок, таких как недоступность сайта или неправильный формат данных.
  • Необходимо соблюдать правила использования и робот-стандарт сайта idealista.com.

Сделано:

  • Разработан парсер на Go.
  • Реализовано извлечение данных и их форматирование в JSON.
  • Код для записи данных в SQLite написан и протестирован.
  • Проведено интеграционное тестирование и отладка.
## Описание: Необходимо создать парсер для сайта idealista.com на языке Go. Парсер должен извлекать данные с сайта и форматировать их в JSON. Далее, полученные данные должны быть записаны в базу данных SQLite. ## Цели: 1. Разработать парсер для извлечения данных с сайта idealista.com. 2. Обеспечить форматирование извлеченных данных в формат JSON. 3. Реализовать запись данных в базу данных SQLite. 4. Гарантировать корректную работу парсера и сохранение данных в базу данных. ## Варианты использования: 1. Запуск парсера для регулярного извлечения данных с сайта. 2. Форматирование данных в JSON для интеграции с другими системами или аналитическими инструментами. 3. Хранение данных в базе данных SQLite для последующего анализа и обработки. ### Типы рабочих задач: 1. Разработка парсера на Go: - Написать код для извлечения данных с сайта idealista.com. - Реализовать обработку HTML-страниц и извлечение необходимых данных (заголовки, описание, цены, изображения и т.д.). - Протестировать парсер для корректного извлечения данных. 2. Форматирование данных в JSON: - Создать структуру данных для хранения информации о недвижимости. - Реализовать конвертацию извлеченных данных в формат JSON. 3. Запись данных в SQLite: - Разработать схему базы данных SQLite для хранения данных о недвижимости. - Написать код для записи данных в базу данных SQLite. - Обеспечить корректное подключение и взаимодействие с SQLite. 4. Тестирование и отладка: - Провести тестирование парсера на различных страницах сайта. - Проверить корректность записи данных в базу данных. - Устранить возможные ошибки и улучшить производительность. ## Аннотации: - Парсер должен поддерживать обновления данных в реальном времени, если сайт изменяется. - Важно обеспечить обработку ошибок, таких как недоступность сайта или неправильный формат данных. - Необходимо соблюдать правила использования и робот-стандарт сайта idealista.com. ## Сделано: - [ ] Разработан парсер на Go. - [ ] Реализовано извлечение данных и их форматирование в JSON. - [ ] Код для записи данных в SQLite написан и протестирован. - [ ] Проведено интеграционное тестирование и отладка.
NW added this to the MVP milestone 2024-09-17 11:47:52 +00:00
jacob was assigned by NW 2024-09-17 11:47:52 +00:00
Sign in to join this conversation.
No Branch/Tag Specified
Branches Tags
main
Labels
Clear labels
No items
No Label
Milestone
Clear milestone
No items
No Milestone
MVP
Projects
Clear projects
No project
Assignees
Clear assignees
No Assignees
jacob
1 Participants
Notifications
Due Date
The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: NW/DCG#3
No description provided.
Delete Branch "%!s(<nil>)"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?