Генераторы и итераторы: как экономить память

Что такое итератор

• Итератор — это объект, который умеет поочерёдно возвращать элементы коллекции.
• Он не обязан хранить весь набор данных в оперативной памяти.
• Подходит для обхода файлов, строк, результатов запросов, потоков данных.

Пример пользы: вместо списка из миллиона элементов можно читать значения последовательно — в каждый момент времени хранится только текущий элемент.

Что такое генератор

• Генератор — удобный способ создать итератор.
• В Python он часто пишется через yield.
• Генератор “замораживает” состояние функции и продолжает работу с того места, где остановился.

Пример:

def numbers():
    for i in range(1000000):
        yield i

Такой код не создаёт миллион чисел в памяти сразу. Он отдаёт их по запросу.

Чем это лучше списков

nums = [i for i in range(1000000)]

nums = (i for i in range(1000000))

Разница ключевая:

• список сразу выделяет память под все элементы;
• генератор создаёт значения лениво, по мере использования;
• это особенно важно при обработке логов, CSV, JSONL, API-ответов и больших выборок из БД.

Где генераторы реально экономят память

• Чтение больших файлов построчно
• Пайплайны обработки данных
• Фильтрация и трансформация больших коллекций
• Стриминг данных из сети
• ETL-процессы и аналитика

Например, чтение файла через цикл for line in file: уже работает по итераторной модели и не грузит весь файл в RAM.

Когда генераторы особенно полезны

• Если данные большие или потенциально бесконечные
• Если нужен только частичный результат
• Если важно снизить нагрузку на сервер
• Если приложение работает в контейнере с ограниченной памятью

Но есть нюансы

• Генератор можно пройти только один раз
• Нельзя быстро обратиться к элементу по индексу
• Иногда отладка сложнее, чем со списками
• Если данные нужны многократно, список может быть удобнее

Практический вывод

Итераторы и генераторы — это базовый инструмент оптимизации в IT-разработке. Они помогают писать код, который:

• масштабируется лучше;
• потребляет меньше памяти;
• стабильнее работает на больших данных;
• подходит для высоконагруженных систем.

Если кратко: не храните всё сразу, если можно обрабатывать по частям. Это один из самых простых способов улучшить производительность без сложной архитектурной магии 🧠

📌 Ниже — подборка каналов про IT: разработка, инфраструктура, аналитика и практические кейсы.

🗣 Подборки каналов
🧠 Каталог ботов и приложений
🗺 Навигация