Jak stworzyć dobry zbiór danych?
Aby wytrenować model sztucznej inteligencji do zadania detekcji i klasyfikacji obiektów, kluczowe jest stworzenie wysokiej jakości zbioru danych. Ten przewodnik przeprowadzi Cię przez proces tworzenia solidnego zbioru danych, który umożliwi sztucznej inteligencji dokładną identyfikację i kategoryzację obiektów na zdjęciach i filmach.
1. Zdefiniuj swoje cele
Zanim zaczniesz zbierać dane, jasno zdefiniuj swoje cele. Określ typy obiektów, które chcesz wykryć i/lub sklasyfikować. Rozważ zamierzone zastosowanie i potencjalne wyzwania.
2. Wybór źródeł danych
Zidentyfikuj i zbierz źródła danych. Mogą to być publicznie dostępne zbiory danych, takie jak Kaggle i Open Images Dataset, internetowe repozytoria obrazów, takie jak Unsplash, nasz rynek lub po prostu własne zdjęcia zrobione aparatem lub kamerą internetową. Upewnij się, że dane są istotne dla twojego zadania i rozważ kwestie etyczne/prywatności. Zanonimizuj wrażliwe informacje w obrazach, uzyskaj niezbędne uprawnienia do korzystania z danych i zachowaj przejrzystość co do pochodzenia zestawu danych. Przestrzegaj przepisów dotyczących prywatności i zgody.
3. Dodaj etykiety wykrywania i/lub przypisz kategorie klasyfikacji
W edytorze obrazów narysuj ramki, aby wskazać lokalizację obiektów i/lub przypisz kategorie klasyfikacji, aby zdefiniować obiekt przedstawiony na obrazie. Użyj trybu automatycznego, aby rysować jeden typ adnotacji detekcyjnej w sposób ciągły i/lub użyj opcji Edytuj wiele w szczegółach zbioru danych, aby wybrać wiele obrazów i przypisać je do kategorii zbiorczo. Aby ułatwić pracę, użyj skrótów klawiaturowych i myszy lub funkcji udostępniania, która umożliwia współpracę z innymi użytkownikami nad tym samym zestawem danych.
Aby dowiedzieć się więcej o adnotacjach detekcyjnych i kategoriach klasyfikacji, przeczytaj artykuły dotyczące detekcji i klasyfikacji.
4. Zapewnienie różnorodności
Tworzenie zróżnicowanego zbioru danych ma kluczowe znaczenie dla niezawodnej wydajności modelu. Aby to osiągnąć, należy rozważyć szeroki zakres wariantów obiektów, takich jak różne rozmiary, kąty, oświetlenie i warunki tła. Ponadto podobne obiekty powinny być umieszczone w różnych pozycjach wokół obiektu docelowego, aby poprawić możliwości uogólniania modelu. Ważne jest, aby często zmieniać położenie obiektu docelowego podczas gromadzenia danych, aby zapobiec kojarzeniu przez model obiektu tylko z określonymi pozycjami. Aby jeszcze bardziej zróżnicować zbiór danych, należy rozważyć pokrycie do 20% obiektu, dostosowanie poziomów powiększenia i różnych rozmiarów obiektów, pamiętając, że mniejsze obiekty mogą wymagać mniejszej odległości kamery.
Na potrzeby klasyfikacji każdy obraz w zbiorze danych powinien zawierać tylko jeden obiekt.
Należy zachować ostrożność przy uwzględnianiu nadmiernej liczby podobnych obrazów, ponieważ może to prowadzić do przeuczenia, w którym model staje się zbyt specyficzny dla zestawu treningowego i ma trudności z efektywnym uogólnianiem na nowe dane.
Przykłady
Załóżmy, że chcesz utworzyć trzy różne zbiory danych do detekcji obiektów. Jeden z różnymi rodzajami węzłów, drugi z kompasami i czekoladowymi monetami, a trzeci z symbolami kart do gry. Każdy z tych zbiorów danych jest inny i wymaga zrobienia różnych zdjęć i rozważenia różnych kwestii, które wyjaśnimy poniżej.
Węzły
Dla tego zbioru danych należy:
- użyć różnych kolorów liny,
- tworzyć węzły w różnych rozmiarach,
- umieścić węzły w różnych pozycjach na wielu różnych tłach, takich jak biurko, podłoga, ściana itp,
- trzymać węzły w rękach w różnych pozycjach na różnych tłach, można zakryć do 20% węzła,
- umieść różne przedmioty w różnych pozycjach wokół węzłów, tymi przedmiotami mogą być zegarek, taśma, nożyczki lub inne rzeczy, które masz pod ręką,
- użyć innego oświetlenia, można zwiększyć lub zmniejszyć jasność i użyć różnych kolorów, takich jak biały lub żółty.
Kompasy i czekoladowe monety
W przypadku tego zbioru danych należy:
- umieścić kompasy i czekoladowe monety w różnych pozycjach na wielu różnych tłach,
- trzymać kompasy i czekoladowe monety w dłoniach w różnych pozycjach na różnych tłach,
- umieścić różne obiekty w różnych pozycjach wokół kompasów i czekoladowych monet, obiekty te powinny mieć okrągły kształt, aby przypominały obiekty docelowe,
- przybliżać i oddalać kamerę od kompasów i czekoladowych monet,
- używać różnego oświetlenia, ale uważać na jasność, ponieważ czekoladowe monety odbijają światło.
Symbole kart do gry
W przypadku tego zbioru danych należy:
- umieścić karty w różnych pozycjach na wielu różnych tłach,
- trzymać karty w rękach w różnych pozycjach na różnych tłach,
- przybliżać i oddalać kamerę od kart, ale zachować ostrożność, ponieważ zbyt duże przybliżenie może spowodować, że model nie rozpozna symboli,
- używać różnego oświetlenia, ale uważać na jasność, ponieważ karty odbijają światło.
5. Rozszerzanie danych
Jeśli nie masz wystarczającej liczby obrazów lub potrzebujesz więcej obrazów o różnych rozmiarach, kątach, jasności i kontraście, możesz użyć manipulatora zestawu danych, aby rozszerzyć swoje dane, generując wiele obrazów w chmurze na podstawie wejściowego zestawu danych.
Należy pamiętać, że korzystanie z manipulatora nie jest obowiązkowe. Jeśli zbiór danych zawiera już obrazy niskiej jakości, manipulator może pogorszyć te kwestie.
Aby dowiedzieć się więcej, przeczytaj artykuł Manipulator danych.
6. Zapewnienie jakości danych
Dokładnie przejrzyj i oczyść swój zbiór danych. Usuń zduplikowane i niewyraźne obrazy oraz usuń brakujące lub niedokładne adnotacje. Regularnie przeprowadzaj kontrole jakości w celu utrzymania integralności zbioru danych.
Podsumowanie
Stworzenie wysokiej jakości zbioru danych do wykrywania i/lub klasyfikacji obiektów jest podstawą do opracowania skutecznego modelu sztucznej inteligencji. Postępując zgodnie z krokami opisanymi w tym przewodniku, możesz upewnić się, że Twój zbiór danych jest zróżnicowany, dobrze oznaczony i stanowi podstawę dla dokładnych i niezawodnych systemów detekcji i klasyfikacji obiektów.