Интернированные немцы или вестарбайтеры
Немцы, депортированные на работы в СССР с освобождённых территорий Восточной Европы в рамках закреплённых Ялтинским соглашением "репараций трудом"
Остарбайтеры, осты или восточные рабочие Советские граждане, угнанные с оккупированных Германией территорий для работы на Третий Рейх во время Второй мировой войны
Умерли в пути или на работах:
Умерли в пути или на работах
На какие работы отправляли?
На какие работы отправляли?
И весты, и осты жили в бараках: за колючей поволокой и под наблюдением конвоя. Несмотря на то, что формально они не были арестованными или пленными, а за свой труд получали зарплату, их жизнь была строго регламентирована. Еды, мебели и одежды не хватало, каждый день нависала угроза бытового насилия со стороны непосредственных начальников и наблюдающих. Наказания за нарушение правил могло доходить до до перевода в концентрационные или исправительно-трудовые лагеря.
Из дневника интернированной
Интересно для изучения и систематизации
1. Возвращение домой -- как принимали тех, кто "трудился на врага"
2. Актуальный легальный статус остов и вестов -- как к ним отнеслось государство, есть ли дополнительные субсидии, компенсации, повышенные пенсии
320 000 писем, среди них -- более 15 тысяч документов и фотографий остарбайтеров. Ключевой интерес в анализе этого массива данных -- это поиск коллективных историй на основе личных писем.
I. Поиск кластеров среди адресов отправителей -- ищем тех, кто остался на малой родине.
II. Поиск одинаковых фотографий, сохранившихся у разных людей.
Чистка данных - Убрали улицы, переулки, проспекты, дома на русском
- Убрали имена
- Убрали знаки препинания и лишние пробелы
- Итого: 86350 адресов
- Деление на адреса на три части:
- В большинстве случаев определяется страна (кроме России)
- Два других поля: крупный населенный пункт и мелкий, если 3 столбец не пустой
Геокодирование - Software → Python in Jupyter and Spyder with packages "geopy" and "numpy"; QGIS with package MMQGIS
- What we have done and what didn't work out → We imported the dataset with the addresses in Python. The geocoding worked for some addresses, but stopped after some convertings. The main problem is the encoding of the address_data, which is not unitary. After we cleaned the addresses multiple times it started working, but after couple of outputs the server of OSM (OpenStreetMap) stopped responding.
- Furthermore we want to continue to by cleaning the address_data for a geographical visualisation
Кластеризация: - Что сделали: сеть отправление-место работы
- Что дает: легче найти места, интересные для анализа
- Что нашли: нет крупных кластеров-мест работы, но есть хабы, которые их связывают
- Возможная кластеризация:
- % схожести адреса
- tf-idf
- деревья или lda позволит объединить вместе поселки, районы одного города и прочее
Картинки (более 15 000):- Что делали: сравнение по гистограммам
- Что дает: отделение фото от документов (с погрешностью)
- Что можно сделать: пофрагментное сравнение для поиска идентичных фото
I. Поиск кластеров среди адресов отправителей -- ищем тех, кто остался на малой родине.
II. Поиск одинаковых фотографий, сохранившихся у разных людей.