Імпорт великих наборів даних у MATLAB Щоб керувати пам’яттю MATLAB, обробляйте дані частинами. Використовуйте функцію fetch, щоб обмежити кількість рядків, які повертає ваш запит, за допомогою вхідного аргументу "MaxRows". Використовуючи сценарій MATLAB, ви можете імпортувати дані поступово, доки не буде отримано всі дані.
Єдиного підходу до роботи з великими наборами даних немає, тому MATLAB® містить ряд інструментів для доступу та обробки великих даних. Почніть зі створення сховища даних, яке матиме доступ до невеликих частин даних одночасно. Ви можете використовувати сховище даних для керування поступовим імпортом даних.
Найкраща практика:
- Вбудуйте всі операції в аркуш набору даних, включаючи об’єднання, агрегації, сортування або фільтри.
- Обов’язково обмежте набір даних лише потрібними стовпцями. …
- Обов’язково відфільтруйте набір даних лише до необхідних рядків. …
- Увімкніть Materialization (Див. документи: Sigma Materialization) і встановіть графік оновлення.
MATLAB може допомогти вам ефективно обробляти великі дані, інтегруючи їх із наявною інфраструктурою.
Ви можете використовувати об’єкт DatabaseDatastore для імпорту великих даних у робочу область MATLAB. Щоб створити цей об’єкт, використовуйте функцію databaseDatastore. Після імпорту даних у робочу область MATLAB ви можете використовувати високі масиви для їх аналізу.
Імпорт великих наборів даних у MATLAB Щоб керувати пам’яттю MATLAB, обробляйте дані частинами. Використовуйте функцію fetch, щоб обмежити кількість рядків, які повертає ваш запит, за допомогою вхідного аргументу "MaxRows". Використовуючи сценарій MATLAB, ви можете імпортувати дані поступово, доки не буде отримано всі дані.