Erfahrungen mit dem Application Test Toolkit

Hallo,

hat sich schon mal jemand hiermit beschäftigt: https://msdn.microsoft.com/de-de/dynami ... pplication

Scheint hier im Forum irgendwie keine große Rolle zu spielen. Oder suche ich nur nach den falschen Begriffen?

VG
Martin

Ja, habe ich. Vor vielen Jahren. Hast du eine konkrete Frage?

Scheint hier im Forum irgendwie keine große Rolle zu spielen.

naja - möglicherweise kamen bei der Benutzung nur keine Fragen auf ;) - denn beschäftigt haben sich sicherlich schon einige damit.
gibt es denn eine konkrete Frage, die du hast?

Willst du selber Tests programmieren oder die aus dem Kit ausführen?
Letzters machen wir regelmäßig vor jedem neuen Release (ein Komplettlauf aller Testobjekte dauert ca. 8 Stunden), ist danach sehr zeitraubende Fleiß- und Analysearbeit. Das Paket ist jeden Monat aktuell dabei, siehe hier.

Teilweise muss man die Testobjekte vorher noch anpassen, falls z.B. Funktionen im Standard durch das eigene Add-on weitere Parameter erhalten haben.
Es ist aber bisweilen sehr aufwendig, die Ursachen der ausgeworfenen Fehlermeldungen zu finden, zumal das manchmal auch nur "false negatives" sind, weil der Standardest ein Verhalten erwartet, welches das Add-on zum Glück nicht mehr hat.

Ob reelle Fehler durch eigene Codeänderungen verursacht wurden, kann man erst beurteilen, wenn der NAV-Standard auch aktuell komplett durchgestestet wurde, da auch auch dieser gelegentlich Fehler auswirft (ob durch Fehler im Tool oder Fehler in der Applikation selber ist dann ggf. auch Detektivarbeit), daher muss man die immer zuerst ermitteln und von der eigenen Fehlerliste "abziehen".

FehlerTestToolPub.png

Du hast keine ausreichende Berechtigung, um die Dateianhänge dieses Beitrags anzusehen.

Hallo,

naja - möglicherweise kamen bei der Benutzung nur keine Fragen auf ;)

Naja, Fragen tauchen bei der Verwendung schon eine ganze Menge auf Nur sind das meistens keine Fragen für das Forum hier
(besonders beliebt:

• Was hab ich bzw. der da wieder für ein Sch.. !#%&§§ programmiert .
• Warum findet ausgerechnet dieser Test eine Fehler an einer ganz anderen Stelle, der mit dem Test gar nichts zu tun hat.
• Ganz besonders interessant in 2017: Ein Test schlägt schlägt gegenüber dem Standard fehl, obwohl der einzige Unterschied im OnModify- Trigger gegenüber dem Standard, die zusätzliche Zuweisung eines DateTime- Feldes mit CURRENTDATETIME ist (auch andere Felder werden noch zugewiesen). Fehlermeldung sinngemäß: "Sie greifen auf einen alten Datensatz zu, lesen Sie den Datensatz neu". Ursache: durch die Zuweisung mit CURRENTDATETIME wird der Datensatz nahezu garantiert geändert, was auch zu einer Änderung in der Datenbank führt. Ohne die Anpassung wurden zwar auch Felder zugewiesen, die führten aber zu keiner Änderung des Datensatzes, was auch zu keinem neuen TimeStamp in der DB führte. Viel Spaß so einen Fehler in der beliebten Extension "zeig mir den letzten Änderungszeitpunkt von Artikel/Debitor/Kreditor" zu finden.

Ansonsten kann man nur empfehlen diese Test laufen zu lassen (und zwar alle). Die bringen einem doch manche Erkenntnisse, und vor allem mehr Sicherheit, dass die Anwendung auch im Normalbetrieb funktionieren könnte.
Ich hatte jetzt allerdings Probleme die Tests in in 2015 zum Laufen zu bekommen (Die Ansteuerung von Controls in Testpages scheint (manchmal) nicht sauber zu funktionieren). In 2017 gibt es manchmal das Problem, das er die Query 1850 nicht findet (die es im normalen Objektstand nicht gibt, stammt aus einer Extension). Nach ein wenig Fummel- Arbeit mit Dienst neu starten und Objekte syncen, läuft es dann aber irgendwann wieder.
Ein Tipp noch: Man macht in der Testdatenbank am besten keine manuellen Aufrufe von Irgendeinem Objekt. Es könnten Einstellungen (z.B.Filter) gespeichert werden, die später Tests fehlschlagen lassen. (Oder man erweitert die Test-CUs um explizite Löschaufrufe für diese Daten)

Gruß Fiddi

@Kowa:

die Fehler in CU134450 sind weg, wenn man sie einzeln aufruft (bzw. nur diese drei Tests zusammen).

Gruß Fiddi

Also ich selber habe damit noch überhaupt nix zu tun gehabt.

Wir haben hier ein Modul entwickelt mit knapp über 700 Objekten (was nur am Ende des Prozesses im Standard endet und dort zu Belegen führt) und da wird immer mal wieder neue Funktionalität reingebracht.
Um die Entwicklung zu unterstützen und die Tester nachher etwas zu entlasten, würde ich vor dem finalen Test gerne mit diesen Codunits Tests einschieben, die von uns Entwicklern immer wieder durchgeführt werden müssen um eine gewisse Funktionalität zu garantieren. Ich kenne sowas ähnliches aus dem Bereich des "Test-driven development".

Aber wie gesagt, für mich ist das Application Test Toolkit im Bereich NAV komplett neu.

[…]müssen um eine gewisse Funktionalität zu garantieren.

Ob das eigene Add-on sauber funkioniert, kann man nur durch eigene selbst entwickelte Tests (manuelle oder eben automatische mit simulierten Eingaben wie die von MS) ermitteln.
Die mitgelieferten Standardtests können lediglich ermitteln, ob die Eigenentwicklung etwas im Standard unabsichtlich beschädigt hat, aber nicht, ob diese das zusätzlich geplante auch korrekt ausführt.

@Fiddi
Danke. Typische "Fehler" nach dem Motto: Nicht ärgern, nur wundern .