Frisch aufgetankt mit Inspirationen von der Mobile HCI Konferenz in München wollte ich mich die letzten Tage dran machen, ein Testsetup für Usability Tests von mobilen Geräten zusammen zu stellen. Irgendwie hatte ich gehofft, dass es mittlerweile etwas Professionelleres gäbe, als Webcams, die mit Klebeband an selbst gebaute Gestängekonstruktionen geklebt werden und den Teilnehmer zwingen eine Stunde regungslos sitzen zu bleiben.
Ein Smartphone oder ein Tablet bringt an sich ja alles mit, was man zum Aufzeichnen eines Usertests braucht. Es sollte also doch möglich sein eine App zu bauen, die den Usertest aufzeichnet mit dem Video des Teilnehmers, dem Ton und der Aufzeichnung des Bildschirms. Leider steht dieser Idee im Weg, dass Apps aus Sicherheitsgründen untereinander nur eingeschränkte Zugriffsrechte haben, was hauptsächlich der Aufzeichnung des Bildschirms im Weg steht. Hier ein vergleich der momentan verfügbaren Apps zum Aufzeichnen von Usability Tests:
iOS Apps
Aufgrund der Zugriffsbeschränkungen für Apps unter iOS gibt es keine universelle Lösung um UX Tests für Websites UND Apps aufzuzeichnen.
UX Recorder
http://www.actualinsights.com/go/ux-recorder/
Preis: Einzel-Session 1,79 EUR, 5er Pack 6,99 EUR, unlimitiert 54,99 EUR
iPad App mit der ihr nur Webseiten testen könnt, keine Apps. Kann als Testversion installiert werden, mit der Einschränkung, dass man nur 30 Sekunden Sessions aufzeichnen kann. In meinem Test traten deutliche Performance-Probleme auf, Reaktionen auf Klicks und Zooming waren zum Teil stark verzögert, die App stürzte auch mehrfach ab.
Das ist der Einstiegsscreen, auf dem man die Tests anlegen und verwalten kann. Einstellen lässt sich die Bild-in-Bild Position, die Videoqualität, Aktivieren/Deaktivieren der Soundaufnahme, Aktivieren/Deaktivieren der Screen Gesture Anzeige im Ergebnisvideo:
Das ist der Recording Screen. Während der Aufzeichnung wird das Bild-in-Bild ausgeblendet. Ansonsten gibt es nur noch oben die Adresszeile:
Fertige Sessions erscheinen in der Übersicht:
Im Ergebnisvideo werden Gesten mit pinkfarbenen Markern angezeigt. Wie ihr hier sehen könnt, ist die Nutzung der internen Kamera für die Aufzeichnung des Teilnehmervideos nicht optimal, da man den Teilnehmer bei normaler Sitzposition nicht unbedingt im Bild hat und man oft mehr Hände als Gesicht aufzeichnet. Tonaufzeichnung über das eingebaute Mikro funktioniert dagegen sehr gut.
Fazit: Die Bedienung des Tools ist sehr einfach und es lässt sich ohne großen finanziellen Einsatz testen. Durch die Beschränkung auf Website Tests ist die App jedoch nicht universell einsetzbar. Weiteres Manko ist die Stabilität und die Performance der App. Für mich als Nicht-iTunes-Nutzer stellt sich als zusätzliche Herausforderung: wie bekomme ich die Videodateien vom Gerät runter? Export ist möglich nach iTunes, in die Dropbox und in die Camera Roll. Die Dropbox App unterstützt aber nur Uploads die maximal 200 MB groß sind. Das 30 Sekunden Video ist allerdings schon 16 MB groß…
Magitest
http://magitest.com/
https://itunes.apple.com/us/app/magitest/id580459701?ls=1&mt=8
Preis: Magitest App für Browser-Tests 44,99 EUR, Magistest Native SDK zum Testen von Apps 44,99 EUR.
Mit der Magitest App kann man Websites und Apps testen. Zum Testen von nativen Apps muss man allerdings den Quellcode der Magitest App in den Quellcode der App integrieren. Dafür steht das Magitest Native SDK zur Verfügung. Letzteres habe ich nicht ausprobiert.
Einstiegsscreen mit den Einstellungen für die Testsitzung:
Ansicht während der Aufzeichnung:
Nach Abschluss der Sitzung wird das Video direkt gerendert:
Auch hier werden die Gesten im Ergebnisvideo mit pinkfarbenen Markern hervorgehoben:
Fazit: Auch diese App ist einfach zu bedienen. Sie läuft zwar stabil, zeigt aber wie auch der UX Recorder deutliche Performance Probleme, was zu einer starken Verzögerung beim Laden der Inhalte führt. Weitere Nachteile: es gibt kein gestaffeltes Preismodell.
Das Testen von nativen Apps über die Integration von Magitest Quellcode ist in der Praxis nur bedingt tauglich. Testet man projektintern, mag dieser Anpassungsaufwand noch zu leisten sein. Kunden, die nur einen Test einer nativen App wünschen, ist dieser Aufwand und Eingriff in den Quellcode nur schwer zu vermitteln. Die Ergebnisvideos werden in der Camera Roll abgelegt, so dass auch hier das Problem des Exportieren der Videos besteht.
delight.io
Preis: monatlich 3 Stunden Aufzeichnung 50$, 10 Stunden 150$, 30 Stunden 300$
delight.io ist ebenfalls eine Lösung, bei der native Apps getestet werden, indem Aufzeichnungs-Quellcode in den App Quellcode integriert wird. Die Aufzeichnungen werden hier allerdings nicht auf dem Mobilgerät gespeichert, sondern auf dem delight.io Server.
Die Oberfläche sieht ganz ansprechend aus:
Es gibt einen Testaccount, mit dem man 1 Stunde im Monat kostenlos testen kann. Etwas suspekt ist mir der Anbieter. Auf der Website finden sich keine Firmeninformationen, so dass ich die Speicherung sensibler Testdaten hier nicht empfehlen würde. Darüber hinaus finde ich es schlichtweg zu teuer, vor allem bei dauerhafter Nutzung.
Jailbreak Lösung
Die Übertragung des Bildschirms des iOS Geräts wird möglich durch „jailbreaken“ des Geräts. Ein komplettes Testsetup beschreibt capstrat.com auf: https://www.capstrat.com/posts/recording-usability-tests-iphone/. Hier sollte man sich aber bewusst sein, dass man sowohl Garantieansprüche für das Gerät verlieren kann, als auch Gefahr läuft, das Gerät zu beschädigen. Es sei hier nur der Vollständigkeit halber erwähnt.
Android
Es gibt keine App für das Aufzeichnen von Usability Tests auf Android Geräten. Für „gerootete“ Android Geräte gibt es zumindest Programme zum Aufzeichnen des Bildschirms, allerdings ohne Bild-in-Bild-Aufzeichnung der Testperson und ohne Sound.
Windows Mobile
Auch hier keine App, nicht mal ein Tool zur Bildschirmaufzeichnung…
Fazit
Das Ergebnis meiner Recherche ist ernüchternd. Leider gibt es keine App, die so ordentlich funktioniert, dass man sie bedenkenlos zum Testen einsetzen kann.
Dann werd ich mich morgen wohl doch mal dran machen, eine Webcam an eine Stange zu kleben… Als Einstimmung hier schon mal ein Interview mit Steve Krug vom 9.8.2013, der seinen Lösungsansatz beschreibt: http://www.peachpit.com/articles/article.aspx?p=2126861.